摘要：智能目標識別技術是光電系統多維立體偵察體系的重要支撐，是實現多角度、全方位目標定位、感知分析的基礎。為滿足復雜環境下光電系統中基于深度學習的目標識別需求，聚焦數據、算法和計算能力三大挑戰，提出一種基于多源信息融合的智能化目標識別方法，對多個傳感器融合得到的圖像進行學習和訓練，從而提高目標識別的能力。基于多維圖像融合的目標識別技術，將多波段融合圖像數據進行標注、訓練學習，用來自動識別出圖像中的多個目標。實驗結果表明，所提算法能夠實現對融合目標的精確識別與定位。

　　關鍵詞：光電系統;智能目標識別;深度學習;多源數據;圖像融合;視覺感知

　　引言

　　光電系統是戰場偵察感知體系的重要組成部分，在情報、監視、目標跟蹤和偵察方面具有重要的應用前景�，F代無人系統的感知環境十分復雜，數據信息量大，既有地面目標的識別，又有對空中目標的警戒。單一傳感器和單一手段所獲取到的數據信息量有限，不同時域、多種波段、多維空間采集到的多源數據信息能夠更全面地提供態勢信息，生成可深層溯源的全數字化實時態勢圖，使圖中給個點都由數據支撐。多源數據是構建多維立體偵察體系的重要支撐，是實現多角度、全方位目標分析、識別的基礎，是確定智能感知數據信息的重要參考[1]。

　　基于多源信息并結合人工智能(AI)的視覺感知系統能“理解”視頻圖像內容[2]，自動進行目標檢測[3]、目標跟蹤[4]、深度估計[5]、目標識別，對視頻圖像進行實時處理并以現實增強技術和語音合成技術將對光電場景的理解實時播報給操作人員[6]，解放相關人員的雙眼，提高操作人員對態勢的掌控以及提高對突發事件的應對能力[7]。

　　智能信息化體系包括數據感知系統、數據處理系統、智能決策系統等。數據為王，數據的收集與構建是整個信息化感知體系的關鍵，而光電數據信息具有信息量大、直觀性強、可視化程度好的優點，是感知系統的主要信息，占到整個數據系統的75%~80%[8]智能感知系統的核心技術是光電視頻圖像內容的理解，目標分類識別技術是光電視頻圖像內容理解的基礎[9]。目標分類識別技術在信息化體系的預警探測、精確制導、戰場指揮和偵察、敵我識別等軍事領域都有廣泛應用前景[10]，已受到世界各國的關注。通過多源數據的引入，特別是實時準實時北斗、光電數據與現有偵察數據的融合使用，將極大地提升區域態勢感知能力，并為指揮決策提供有利支撐。

　　近年來，基于數據驅動的深度學習技術獲得了突破[11]，AI領域取得了顯著的技術進步，深度學習技術得到了迅速發展、計算機性能呈指數級增長、訓練機器學習的大型數據集數量增加、商業投資迅猛，使得AI技術已經有能力給各領域產生顛覆性變化[12]。例如，在圖像識別領域，由于深度學習技術的引入與發展，AI僅用了年時間就在圖像識別正確率上超過了人類。如今AI機器學習技術已經可使衛星圖像分析和網絡防御等勞動密集型活動實現高度自動化，未來的AI技術有可能與核武器、飛機、計算機和生物技術一樣，成為給國家安全帶來深刻變化的顛覆性技術[13]。

　　可以預期，AI技術會為國家安全機構的戰略[1、組織、優先事項和資源分配帶來重大變革。由于AI深度學習技術具有顛覆性的革新能力，世界各國都將AI的發展列為重中之重。美國情報高級研究計劃局(IARPA)和哈佛大學在《人工智能與國家安全》報告中指出：AI技術是給國家安全帶來深刻變化的顛覆性技術，其未來影響力至少可與核武器比肩。習近平主席在“一帶一路”論壇提出數字絲綢之路，將AI列入規劃。我國國務院發布《新一代人工智能發展規劃》，部署構筑我國AI發展的先發優勢，加快建設創新型國家和世界科技強國。

　　未來AI將極有可能完全取代人類成為無人系統的大腦，對傳統的智能系統帶來顛覆性升級，提升無人感知系統的性能。為滿足復雜環境下光電系統中基于深度學習的目標識別需求，聚焦數據、算法和計算能力三大挑戰，本文提出一種基于多源信息融合的智能化目標識別方法，對多個傳感器融合得到的圖像進行學習和訓練，從而提高目標識別的能力。基于多維圖像融合的目標識別技術，將多波段融合圖像數據進行標注、訓練學習，用來自動識別出圖像中的多個目標。

　　1智能視覺感知理論框架

　　基于多源信息融合的智能視覺感知技術研究以多源數據高效和能耗高效為核心，覆蓋從二維視覺到三維視覺的技術和應用，主要包含視覺計算、語義理解、三維視覺、數據生成、多模態融合、并行處理等方面。在此基礎上，將進一步聚焦到數據、算法和計算能力三大挑戰，具體表現在：

　　1)數據上，如何從海量數據中挖掘有用的信息。海量和優質的應用場景數據是訓練算法精確性的關鍵基礎。隨著互聯網、物聯網的發展，其產生并存儲的數據量急劇增加，為深度學習算法訓練模型提供了數據基礎。以生成數據訓練和不同模態數據對齊兩個應用場景為主，使用知識蒸餾與自動數據擴增結合的方法讓AI模型高效地挖掘數據中的有用信息。

　　2)算法上，如何設計高效的視覺模型。在深度學習年代，視覺模型主要包含神經網絡模型設計和神經網絡模型加速兩個場景，具體包括如何通過局部連接思路解決網絡冗余問題，如何加入正則化思想來解決局部連接帶來的不穩定性等。為實現通用視覺模型的目標，推理預測是從視覺感知到認知的關鍵步驟。雖然預訓練方法目前在視覺領域的應用還不成熟，但是近期自監督學習的成果為視覺通用模型的發展注入了新活力，也將成為常識學習的必經之路。 計算能力上，如何提高數據的處理能力。

　　3)AI芯片的出現彌補了CPU在并行運算上的不足，提高了運算能力。計算能力對于AI的普及具有關鍵的作用。AI發展初期由于傳統數據處理技術難以滿足大數據的處理需求，限制了技術的落地應用。AI芯片的出現提高了數據的處理能力，彌補了CPU在大規模和高速率計算能力上的不足，當前主流AI芯片有三類：以GPU為代表的通用芯片、以FPFA為代表的半定制化芯片和ASIC定制化專用芯片。其中，GPU作為市場上AI計算最成熟、應用最廣泛的通用型芯片，短期內GPU仍將繼續占領AI芯片的主要市場份額。

　　2目標圖像數據模型庫的構建

　　由于目標圖像的數據通常是有限的，為解決目標檢測識別的圖像目標數據缺乏問題，本文采用軟件仿真建模方式，構建帶有目標標注信息的圖像數據庫，并以此圖像目標數據庫為數據樣本，開發圖像目標檢測的算法模型，實現圖像數據在軍事偵察與作戰保障等方面的高效應用。圖像目標識別支持環境主要是利用圖像目標仿真軟件構建圖像目標樣本庫管理。

　　其中，圖像目標仿真軟件主要由目標及場景模型庫、材質數據庫、目標場景溫度特性計算、大氣特性建模、環境特性建模、傳感器特性建模、場景合成渲染和場景想定與編輯等子模塊組成，實現目標樣本圖像和標注信息的自動匹配生成，為圖像目標樣本庫管理模塊提供各種目標、各種環境、各種類別的樣本圖像。

　　對圖像數據進行人工標注，按照所需格式構建樣本數據庫;同時更大規模的樣本訓練圖像通過仿真得到，構建各類目標在不同環境、天氣、時間等狀態下的圖像(帶標注信息)，形成圖像目標數據庫，為訓練各類型目標識別算法提供基礎數據支撐。研究實現稀疏目標觀測輔助的跨模態圖像生成方法，并基于生成對抗網絡構建跨模態圖像生成模型，通過利用對抗學習以及稀疏目標觀測的監督學習，提高跨模態圖像生成的效果。

　　針對稀疏圖像中有效觀測的稀疏性以及卷積神經網絡在處理稀疏圖像時的局限性，采用稀疏卷積融合操作，并結合跨模態圖像生成，構建稀疏卷積融合網絡，能夠從稀疏的目標觀測圖像中提取有效的模態信息并將其與源模態圖像進行融合學習。目標三維幾何模型數據庫(包括模型數據和材質數據)的各類目標模型涵蓋多個國家，主要包括固定設施(機場、港口、橋梁、航天發射場、導彈發射陣地、雷達陣地)、動態目標(航空器、艦船、地面車輛等)、空天預警目標(彈道導彈、火箭等)以及其他目標模型。

　　同時，根據工程應用的實際需求，模型開發人員通過Creator或3DMAX三維建模軟件后續可進行相關目標模型擴展與仿真加載，補充現有的模型庫來滿足實際工程項目的需求。同時，軟件提供多場景城市、沙漠、山地、林地和海洋配置，實現目標在多種場景下的圖像成像仿真。建模過程中，根據目標實際裝備的真實尺寸如長、寬、高和直徑等參數，對目標三維模型進行建模。目標及場景三維模型數據支持通用模型數據格式FLT，并支持其他數據格式的模型(MAX/3DS/MAYA/OBJ)通過三維軟件轉換生成LT數據模型，同時軟件可支持OSG格式的模型數據，且提供模型材質文件。材質劃分工具對目標建模，主要分為實體模型映射和特效模型建模兩部分。

　　以飛行器建模為例，飛行器的仿真建模主要由蒙皮、尾噴管、尾焰三部分組成。其中，蒙皮和尾噴管采用實體模型映射方式將實體模型和材質庫進行關聯，尾焰的紅外輻射計算，結合了場景特效庫來建模飛機尾焰、火焰、煙霧彈這類特殊效果。

　　3深度學習的計算能力

　　深度神經網絡復雜，訓練數據多，計算量大。深度神經網絡中神經元多，神經元間連接數量也相當驚人。從數學角度看，每個神經元都要包含數學計算(如Sigmoid、ReLU或者Softmax函數)，需要估計的參數量也極大。語音識別和圖像識別應用中，神經元達數萬個，參數的數量千萬，模型復雜導致計算量大，因此計算能力是深度學習應用的基礎。

　　目前隨著數據、算法、計算能力三大要素的集聚，以深度學習為代表的AI研究呈現快速發展的趨勢。以美國為代表的西方國家，在AI硬件基礎設計、深度學習框架等AI底層技術領域占據優勢，其中深度學習處理器就有美國Nvidia公司的GPU系列產品、Google公司的TPU、IBM公司的TrueNorth(真北)芯片等。目前深度學習圖形處理單元(GPU)加速市場機會呈現英偉達(NVIDIA)公司一家壟斷的局面。

　　更重要的是，NVIDIA公司在利用GPU構建訓練環境時還考慮到了生態的重要性，這也是一直以來困擾AI發展的難題。首先，NVIDIA上線了NVIDIAGPUCloud，亞馬遜上線了云平臺(AWS)等云平臺，觸及到了更多云平臺上的開發者。其次，NVIDIA公司也與研究機構、大學院校以及Facebook、YouTube等科技巨頭合作，部署PU服務器的數據中心。同時，還為全球數千家創業公司推出了Inception項目，除提供技術和營銷的支持外，還會幫助這些公司在進入不同國家或地區的市場時尋找潛在的投資機會。

　　NVIDIA公司之于GPU領域的成功除了歸功于專屬的工作站或云服務器平臺，更依托于構建了完整的產業鏈通路，讓新技術和產品有的放矢，從而形成了自己的生態圈。在AI硬件方面優化針對AI算法和軟件系統的硬件處理能力，并改進硬件體系架構，同時推動開發更強大和更可靠的智能化硬件設備。

　　4基于多源信息融合的目標識別算法

　　為滿足復雜環境下的目標識別需求，本文提出一種基于多維圖像融合的目標識別方法，該方法對多個傳感器融合得到的大數據圖像進行學習和訓練，從而提高目標識別的能力�；�于多維圖像融合的目標識別技術是將多波段融合圖像大數據進行標注、訓練學習，用來自動識別出圖像中的多個目標。通過采用圖像融合方法對多波段視頻圖像序列進行融合，并采用深度學習方法最終智能識別出目標。

　　視頻圖像序列是本文需要處理的對象。單一波段傳感器所獲取的圖像信息存在著不足之處。例如，可見光圖像細節豐富，但是晚上或者光線弱的情況下無法成像;紅外圖像能夠全天候成像，但是得到的是物體溫度的分布，不能夠實現對細節的觀測。采用圖像融合手段，可以將單一傳感器的多波段信息或不同類傳感器所提供的信息加以綜合，消除多傳感器信息之間可能存在的冗余和矛盾，以增強影像中信息透明度，改善解譯的精度、可靠性以及使用率，形成對目標的清晰、完整、準確的信息描述。

　　高效的圖像融合方法可以根據需要綜合處理多源通道的信息，從而有效地提高圖像信息的利用率、系統對目標識別的可靠性及系統的自動化程度。在無人系統中，通過基于多維圖像融合的目標識別技術可以滿足系統的多項需求，解決對外部場景的自動化、智能化感知能力，同時基于多維圖像融合的目標識別技術在民用領域的航測、工業測量方面也有廣泛用途。

　　本文通過研究不同傳感器的成像特性和圖像特征之間的相關性，實現了基于多分辨率分析的拉普拉斯金字塔分解結構的融合算法。利用圖像的金字塔分解，還能分析圖像中不同大小的物體。同時，通過對高分辨率的下層進行分析所得到的信息還可能用于指導對低分辨率的上層進行分析，從而大大簡化分析和計算。由于本文的圖像融合方法符合復雜環境中的自然現實條件，與其他現有圖像融合方法相比，具有融合效果好、細節豐富等特點。

　　4.1多源圖像空間參數求解對多源圖像進行融合，需要計算圖像相對參數變換矩陣，并將不同視場的圖像變換到同一個坐標系中。

　　4.2多源圖像目標識別進行目標識別時，首先要進行數據集的標注。對于張采集到的數據集圖像，采用標注代碼選擇矩形區域，將背景區域的label定義為、目標的區域label為;分類構成一個有一定規模的用于訓練深度學習模型的訓練集和驗證集，實現對目標的識別;數據集的數量至少為12000張。數據標注后進行數據訓練，利用標注好的數據集對目標分類模型進行訓練;實時采集可見光圖像與紅外圖像，并進行融合，得到融合后的圖像。

　　5實驗結果

　　本文的圖像采集裝置采用銳爾威視公司的全瑞視訊可見光相機，采用菲力爾公司的XAIR2非制冷熱像儀。計算機硬件采用I77700處理器，主頻為2.80G，硬盤大小為1T，用該計算機對一幀圖像進行目標識別算法計算只需0.1左右。

　　6結論本文提出一種基于多源信息融合的智能視覺感知方法，該方法對多個傳感器融合得到的大數據圖像進行學習和訓練，從而提高目標識別的能力�；�于多維圖像融合的目標識別技術是將多波段融合圖像大數據進行標注、訓練學習，用來自動識別出圖像中的多個目標。對艦船目標的實驗結果表明本文算法能夠實現對融合目標的精確識別。通過基于多維圖像融合的目標識別技術可以滿足軍用光電系統的多項需求，解決對外部場景的自動化、智能化感知能力。

　　參考文獻(References)

　　[1]EE，ARKFastroaddetectionbyCNNbasedcameralidarfusionandsphericalcoordinatetransformation[J].IEEETransactionsonIntelligentTransportationSystems，2021，2258025810

　　[2]AVALIERE，OIA，AGGESE，etal.SemanticallyenhancedUAVstoincreasetheaerialsceneunderstanding[J].IEEETransactionsonSystems，Man，andCybernetics:Systems，2019，49:555567.

　　[3]王芳，王海晏，寇添，等多維特征點空間的紅外弱小目標檢測方法[J].應用光學，2021，41:12681276.ANG，ANG，OU，talMultidimensionalfeaturepointspaceinfrareddimtargetdetectionmethod[J].JournalofAppliedOptics，2021，):12681276(inChinese)

　　[4]牛暢，尹奎英，黃銀和無人機對地目標自動檢測與跟蹤技術[J].應用光學，2021，41:11531160.IU，IN，UANG.AutomatictargetdetectingandtrackingtechnologybasedonUAVgroundtargetimages[J].JournalofAppliedOptics，2021，):11531160.(inChinese)

　　[5]高文靜，楊預立，邢強，等基于目標運動的復眼式雙目視覺測距法[J].應用光學，2020，41:571579.

　　作者：李良福，陳衛東，高強，許開鑾，劉軒，何曦，錢鈞