摘要：針對鐵路安檢 X 光圖像判圖高度依賴人工，時有發(fā)生漏檢的問題，提出一種基于智能識別技術的鐵路安檢輔助分析裝置;通過采用視頻圖像接口的硬件設計，解決與安檢儀的適配問題;通過采用跟蹤進程、分析進程、推送進程的多進程思路設計，解決 60 Hz 刷新率下的高精度分析顯示問題;跟蹤進程采用關鍵點差分算法實現(xiàn)安檢 X 光圖像跟蹤，分析進程采用改進的殘差網(wǎng)絡(ResNet)實現(xiàn)特征提取，采用 CenterNet 算法實現(xiàn)禁限物品檢測，推送進程通過檢測鍵盤中斷實現(xiàn)報警圖像推送;經(jīng)實驗測試，該裝置禁限物品識別準確率達 92%，顯示幀率達 60 幀/秒，可適配主流品牌安檢儀，滿足鐵路車站安檢輔助分析需求。

　　關鍵詞： 鐵路安檢;禁限物品檢測;圖像跟蹤;卷積神經(jīng)網(wǎng)絡;輔助分析

　　0 引言

　　鐵路旅客運輸安全檢查主要依托安檢儀檢測旅客行李并成像，值機人員根據(jù)圖像顏色及形狀判斷查堵禁限物品。目前鐵路客運安檢物防和技防措施相對較少，仍采用傳統(tǒng)的人工判圖方式，時有發(fā)生漏查漏檢事件[1]。因此，迫切需要基于機器視覺、深度學習等智能識別技術，并結合鐵路車站現(xiàn)場情況，研究鐵路安檢輔助分析裝置，輔助安檢判圖作業(yè)[2,3]。鐵路安檢輔助分析裝置相關研究較少，現(xiàn)有研究主要圍繞禁限物品識別算法。文獻[4]基于Faster-RCNN、RetinaNet等主流目標檢測算法針對手槍檢測進行研究，實驗環(huán)境為GTX1080TI顯卡，未分析算法的檢測速度和資源消耗。文獻[5]以Yolo-V3為基線算法，通過引入復合骨干網(wǎng)絡、特征增強模塊改進算法，提高了檢測精度，在2張RTX2080TI的環(huán)境下，檢測速度達到40幀/秒(FPS)。

　　文獻[6]以Yolo-V3為基線算法，通過引入密集連接，改進損失函數(shù)的方法進行優(yōu)化，提高了檢測精度，檢測速度低于10FPS。上述研究主要關注識別精度的提升，缺乏對模型輕量化部署、資源消耗、檢測速度、安檢儀適配、整體設計的統(tǒng)一考慮，均無法直接運用于鐵路安檢輔助分析裝置，不滿足現(xiàn)場需求。鐵路安檢作業(yè)流程如下：判圖員通過盯控安檢儀顯示器，根據(jù)圖像顏色及形狀判斷查堵禁限物品，若發(fā)現(xiàn)疑似禁限物品，則通知處置人員進行開包核驗，并對核驗確認攜帶禁限物品的旅客登記信息。綜上分析，鐵路安檢輔助分析裝置主要功能如下：1)實時分析安檢X光圖像，準確識別圖像中的禁限物品，并以直觀、清晰的方式在安檢X光圖像中進行展示，且不影響判圖員看圖作業(yè);2)支持導出發(fā)現(xiàn)的禁限物品圖像、報警信息等。

　　1.硬件設計

　　目前，全路客運站的安檢通道約5300個，主流安檢儀廠家約30家，沒有標準化的對外數(shù)據(jù)接口，安檢儀內置工控機與顯示器通過VGA、HDMI、DVI等接口連接。綜合業(yè)務需求和現(xiàn)場情況，輔助分析裝置采用邊緣分析方案設計。輔助分析裝置與安檢儀通過視頻圖像接口連接，可適配VGA、HDMI、DVI接口，滿足主流安檢儀的接入適配;輔助分析裝置與顯示器通過視頻圖像接口連接，將識別禁限物品后的視頻信號傳送至顯示器。基于上述的裝置連接設計和功能需求，輔助分析裝置應盡量小型化，且支持視頻采集、分析處理和實時展示功能。因此，輔助分析裝置硬件采用定制工控機，整機采用電源外置設計，以盡可能減小機身尺寸，方便實施部署，裝置基于X86架構，并搭載視頻采集卡和GPU，滿足視頻采集和分析處理展示要求。主流安檢儀的畫面刷新率為60Hz，畫面分辨率不超過1 080 P，視頻接口通常為DVI、HDMI或VGA接口。

　　因此，視頻采集卡的最高采集性能需支持60 Hz下的1 080 P分辨率，在采集接口方面，DVI、HDMI為數(shù)字高清接口，VGA為模擬接口，且3種接口可相互轉換，故視頻采集卡僅需支持一種接口，本設計選擇DVI接口的視頻采集卡。估算視頻分析、處理、展示需求，進行CPU和GPU選型。由于系統(tǒng)軟件涉及目標檢測、目標跟蹤、實時視頻展示等多種功能，存在多進程需求，故采用4核CPU。GPU選型主要由目標檢測算法和模型的算力需求決定。經(jīng)實驗測試，禁限物品檢測算法和模型的顯存需求不高于4 GB，在10.6 TFlops算力的GTX1080TI顯卡下，檢測一張圖片的時間約為10 ms。經(jīng)分析，禁限物品檢測算法的檢測時間在100 ms即可滿足需求，故GPU顯存應不低于4 GB，浮點算力不低于1 TFLops，兼顧成本控制情況下，選擇4 GB顯存、896Cuda核心的入門級計算卡。輔助分析裝置配置8 GB內存，硬盤容量要求較低，為提高讀寫速度，提高整機性能，采用固態(tài)硬盤，選擇240GB SSD硬盤。

　　2.軟件設計輔助分析

　　裝置主要功能為對接入的安檢視頻信號實時分析，檢測禁限物品，并將識別禁限物品后的視頻信號實時展示。軟件設計主要有以下2點挑戰(zhàn)：1)高速處理及顯示問題：安檢視頻信號刷新率通常為60 Hz，即每一幀安檢畫面的分析、顯示全流程需在16 ms內完成;2)高準確率問題：對手搶、刀具、壓力罐等禁限品的識別準確率應盡量高。為保證高準確率，采用基于深度學習的目標檢測算法進行禁限物品識別。對主流基于深度學習的目標檢測算法Faster-RCNN,[7] SSD, [8]Yolo,[9] RetinaNet[10]等進行性能比選，均無法在有限的邊緣算力下，在16ms內完成1幀安檢X光圖像的處理。為保證軟件在低資源消耗下可實時準確地進行安檢X光圖像檢測，軟件整體設計采用基于深度學習的目標檢測算法結合安檢X光圖像跟蹤算法實現(xiàn)。

　　軟件采用多進程設計。主進程為跟蹤進程，采用關鍵點差分算法實現(xiàn)安檢X光圖像跟蹤，負責讀取安檢X光圖像、控制分析進程啟動、執(zhí)行安檢X光圖像跟蹤算法、識別結果展示，整個流程控制在16ms內完成，可滿足安檢X光圖像實時展示需求。首先，對讀取的每一幀安檢X光圖像，判斷是否需要做分析檢測，分析檢測采用定時輪詢方式，即每隔固定的幀數(shù)圖像進行分析檢測。然后，計算讀取的圖像與參考基準圖像的畫面偏移量，將禁限物品檢測的標記方框按照計算的偏移量進行調整，并標記在新讀取的圖像上，實現(xiàn)安檢X光圖像中禁限物品的跟蹤。最后，調用展示函數(shù)，展示最新的安檢X光圖像。子進程為分析進程和推送進程。

　　分析進程根據(jù)檢測標志位數(shù)值，執(zhí)行禁限物品檢測，通過對每次的分析檢測結果進行鎖定，保存為參考基準信息，主進程中的跟蹤算法便可根據(jù)參考基準信息進行跟蹤，降低了對分析進程實時性的要求，分析進程僅需在200ms內完成分析檢測即可。分析進程采用改進的ResNet實現(xiàn)禁限物品圖像的特征提取，采用CenterNet算法實現(xiàn)禁限物品檢測，可實現(xiàn)手搶、刀具、扳手、鉗子、剪刀、壓力罐、打火機、充電寶、塑料瓶、保溫杯10類禁限物品的檢測和識別，檢測結果以目標類別、置信度、標記方框坐標進行輸出。推送進程根據(jù)鍵盤中斷判斷是否推送信息，判圖員通過指定按鍵操作，可實現(xiàn)向外部系統(tǒng)平臺推送檢測結果的操作，便于禁限物品信息錄入和統(tǒng)計分析。

　　3.關鍵技術

　　3.1 改進的 ResNet 特征

　　提取網(wǎng)絡何愷明等提出的ResNet網(wǎng)絡，已在眾多圖像分類算法中取得優(yōu)異成績，并被廣泛運用在目標檢測算法中作為特征提取網(wǎng)絡。

　　3.2 CenterNet 算法

　　禁限物品檢測CenterNet算法為無錨點目標檢測算法，與傳統(tǒng)的二階段目標檢測算法和一階段目標檢測算法相比，算法舍棄了錨點框的思想，且最終生成的預測框不需要進行非極大值抑制運算，在保證高精度的同時，大幅提升了檢測速度，在coco數(shù)據(jù)集中達到了142FPS的檢測速度。[17-20]CenterNet算法使用預測框的中心來表示目標，在預測目標中心的基礎上，同時預測目標的分類、目標中心的偏移量以及目標的寬高。[21]將128×128×128的輸入特征分別送入3個預測分支，用于預測目標中心點、中心的偏移量以及目標的寬高。由于特征圖相比于輸入圖像有4倍的下采樣率，預測的目標中心與真實目標中心存在一個偏差，這個偏差通過中心的偏移量預測分支進行預測。

　　3.3 關鍵點差分算法

　　關鍵點差分算法的目的是實現(xiàn)禁限物品的目標跟蹤。視覺目標跟蹤指在一個視頻序列中，給定第一幀目標區(qū)域，在后續(xù)幀中自動匹配到該目標區(qū)域的任務。[22]視頻目標跟蹤算法大多基于粒子濾波、均值漂移、孿生網(wǎng)絡等技術，這些算法為適應場景遮擋、光照變化、物體本身形變等復雜因素，均有大量復雜計算，無法滿足系統(tǒng)目標跟蹤實時性要求。因此，分析安檢X光圖像的生成機制和特點，設計關鍵點差分算法。安檢儀生成安檢X光圖像的方式與攝像機生成視頻信號的方式不同。攝像機生成的視頻信號，每一幀的整幅畫面都是重新曝光生成的，即使是完全靜止的畫面，每一幀圖像中的相同位置的像素值也會有差異。安檢X光圖像是通過安檢儀探測器掃描產(chǎn)生，數(shù)據(jù)以列信號方式生成，即隨著待檢測物體在安檢傳送帶的傳送，逐列增量產(chǎn)生新的數(shù)據(jù)信號，故連續(xù)安檢X光圖像中的相同畫面部分，像素數(shù)值完全相同。安檢X圖像的這一特點，使得安檢X光圖像的跟蹤算法可通過像素差值對齊的方式進行設計，大幅降低運算量。

　　3.4 報警圖像推送

　　為支持報警圖像、報警信息的導出，方便處置登記，設計推送進程。推送進程采用獨立進程設計，通過檢測鍵盤中斷，在判圖員按下指定按鍵時，向外發(fā)送報警圖像，以及報警時間、禁限物品類別、禁限物品置信度等報警信息。報警圖像及報警信息通過socket連接的方式，以流的形式進行發(fā)送。

　　4. 實驗結果與分析

　　輔助分析裝置操作系統(tǒng)為Ubuntu16.04，軟件采用python3.7實現(xiàn)。多進程基于multiprocessing包實現(xiàn);安檢X光圖像數(shù)據(jù)采集基于cv2包中的VideoCapture類實現(xiàn);改進的ResNet網(wǎng)絡及CenterNet算法基于pytorch1.7實現(xiàn);算法GPU加速基于Cuda10.1和Cudnn7.6實現(xiàn);關鍵點差分算法基于numpy包實現(xiàn);報警圖像推送基于cv2包中的事件函數(shù)實現(xiàn)。

　　4.1 禁限物品識別檢

　　測禁限物品識別模型基于鐵路安檢數(shù)據(jù)集訓練，該數(shù)據(jù)集包含簡單背景、復雜背景下共10類禁限品的10 000張圖像，禁限物品種類包括：手搶、刀具、扳手、鉗子、剪刀、壓力罐、打火機、充電寶、塑料瓶、保溫杯。選取數(shù)據(jù)集中70%為訓練集，30%為測試集，模型訓練采用SGD優(yōu)化器，超參設置如下：初始學習率0.005，訓練100輪，學習率在第60輪和第90輪分別衰減至1/10，訓練batch設置為16，采用平均精度(mAP)作為評價指標。

　　4.2 整機測試

　　按硬件參數(shù)設計定制工控機，整機采用小型化設計，尺寸為23.5 cm×18.0 cm×13.2 cm。對整機在車站進行現(xiàn)場測試，輔助分析裝置與安檢儀通過DVI接口連接。采用車站收繳的刀、剪刀、打火機、壓力罐、扳手等禁限物品實物測試裝置報警準確率。將禁限物品裝入書包、行李箱等，進行過機測試，干擾物為筆記本電腦、衣服、書籍、電子產(chǎn)品、食品等，統(tǒng)計分析檢測的準確率。

　　分析裝置在復雜背景下的表現(xiàn)與簡單背景下存在較大差距。分析實驗數(shù)據(jù)，發(fā)現(xiàn)算法對復雜背景存在較多誤判，拉低了算法準確率。在復雜背景中，多種目標混合重疊，對算法干擾較大，尤其是筆記本電腦目標，由于筆記本電腦有較大的金屬和電路板區(qū)域，產(chǎn)生了大量紋理紋路復雜的藍色背景，貢獻了較多誤判。下一步，將從以下方面對裝置進行改進：1)對訓練數(shù)據(jù)集中添加筆記本電腦等非禁限物品，擴充數(shù)據(jù)集，以進一步提升模型在復雜背景下的性能;2)不斷擴充數(shù)據(jù)集，并加入多種品牌型號安檢儀的安檢圖像，持續(xù)迭代模型，提升精度。

　　5.結束語

　　為解決鐵路安檢高度依賴人工判圖，時有發(fā)生漏報的問題，基于智能識別技術和多進程思路設計了鐵路安檢輔助分析裝置，并對識別檢測算法和跟蹤算法進行了深入研究。經(jīng)車站試點測試，輔助分析裝置可適配多品牌安檢儀，部署實施方便，報警準確達92%，漏報率為3.5%，安檢畫面達60FPS，滿足車站使用需求。輔助分析裝置可輔助安檢判圖員作業(yè)，提升整體安檢質量，促進安檢作業(yè)提質增效。

　　參考文獻：

　　[1]張秋亮，唐雯，楊棟. 基于智能識別技術的鐵路旅客運輸安全檢查管理信息系統(tǒng)[C]//第十六 屆 中 國 智 能 交 通 年 會 科 技 論 文 集 .2021:275-282.

　　[2] 梁添汾，張南峰，張艷喜，等. 違禁品 X光圖像檢測技術應用研究進展綜述[J]. 計算機工程與應用，2021，57(16):74-82.

　　[3] 張積存，費繼友，宋雪萍，等. 基于深度學習的 X 光圖像智能審像系統(tǒng)[J]. 計算技術與自動化，2021，40(2):125-130.

　　[4] GAUS Y F A， BHOWMIK N， BRECKONT P. On the use of deep learning for the detectionof firearms in x-ray baggage securityimagery[C]// IEEE Symposium on Technologiesfor Homeland Security (HST 2019)，IEEE，2019.

　　[5]郭守向， 張良. Yolo-C:基于單階段網(wǎng)絡的 X光圖像違禁品檢測[J]. 激光與光電子學進展，2021，58(8):67-76. .

　　作者：楊棟 1 李超 2 吳興華 2 王椿鈞 2 唐雯 2