摘要：由于不同道路監控視角下的車輛姿態不斷變化，因此車輛重識別仍是智慧交通系統中一項具有挑戰性的任務。現有的車輛重識別的方法大多數基于車輛的外觀屬性，但識別受光照和角度等因素影響導致識別效果較差。因此，本文設計了一種車輛姿態感知注意力增強網絡以提高車輛在光照和角度等因素影響下的重識別效果。首先，將圖片輸入到卷積姿態網絡中生成12個關鍵點重建車輛姿態信息，然后將輸入圖像車輛與目標圖像車輛進行比較，提取出兩輛車公共區域的特征;最后，計算車輛全局特征和局部特征之間的距離，并根據最終結果對識別結果進行排序。本文在VehicleID和VeRi776數據集上進行驗證，實驗結果表明，所提出的網絡相較于其他模型top10的檢測準確率提高了10%左右。

　　關鍵詞:關鍵點;車輛姿態;注意力機制;車輛重識別

　　0引言

　　車輛重識別是一種跨相機車輛跟蹤技術，因此，車輛重識別任務在智能交通、刑事偵查和重大事件信息安全等方面具有廣泛的應用。但是，在監控視角下車輛的視覺外觀在不同的車輛姿態時有很大的不同，相反，從相同的角度看，兩輛相似的車外觀變化又很小。因此，從多個監控攝像頭的外觀、姿態、軌跡等方面搜索相同的車輛協助社會公共衛生安全的建立具有一定的重要意義。為了解決上述兩個問題，目前的方法主要集中在元信息(例如，車輛屬性，時空信息)來提高特征的表示能力，文獻[1]就是采用一種基于屬性的車輛重識別方法，它訓練了具有各種屬性的模型，并在數據集中搜索了具有相似屬性的車輛，文獻[2]使用三維邊界框來糾正車輛的不同圖像，然后提取顏色直方圖，并將他們連接到一個特征向量，最后，他們訓練了SVM分類器來判斷兩個圖像是否具有相同的ID。

　　最近，許多深度學習方法應用于車輛重識別，文獻[3]介紹了一種基于孿生網絡的度量學習方法，文獻[4]采用一種區域感知深度模型進行車輛重識別，文獻[5]則考慮了輸入鄰域之間的差異，文獻[6]提出了一種精細的搜索框架，通過車輛屬性和時空信息建模來進行車輛重識別;文獻[7]引入了一個深層網絡，將攝像機的視野、車輛類型和顏色融合到車輛的特征中，上述方法都側重于學習車輛的全局表示。

　　但是，在不同的監控視角下，整體外觀會發生巨大變化，這導致全局功能的不穩定，并且也帶來了第一個挑戰。相反，局部特征通常提供穩定的判別線索，從而有利于獲取更多車輛區別性特征。文獻[8]基于車輛的車窗、車頂等局部特征并采用了焦點融合的方法對車輛進行了重識別;文獻基于車輛關鍵點檢測生成方向不變特征、文獻[10]基于車輛的三個均勻分離的區域提取局部特征以獲得顯著性的車輛局部特征。文獻[11]通過YOLO檢測器檢測每輛車的車窗，燈光和品牌，以產生判別特征。

　　以上方法著重于預定義的區域，以學習細微的局部提示。但是，顯著的提示(例如排氣，貼紙和裝飾物)由于其形狀小而不易區分，并且可能出現在車輛的任何部分，增加了檢測的復雜性，這導致了第二個挑戰。上述方法只是從車輛的外觀信息來進行重識別，而忽略了車輛的姿態等屬性。目標關鍵點定位具有許多重要的應用，例如，面部對齊[12,13]、人體姿勢估計[14，15]和目標定位[16]等。在大多數人臉識別框架中都進行基于關鍵點的人臉對齊[17]。

　　關鍵點的位置非常有用，因為可以通過關鍵點很好地對齊學習的功能。但是，在現有文獻中，對車輛關鍵點的研究還不夠深入。本文提出的方法表明，車輛關鍵點可以指導學習和對齊，并提高整體車輛重識別的性能。因此考慮到同一車輛在同一視角下的姿態變化較大，本文提出了一個車輛姿態感知注意力增強框架，首先，將圖像輸入到CPM網絡中判別車輛的姿態;其次，對輸入圖像與目標圖像的交叉區域進行過濾，通過注意力網絡對公共區域進行特征提取;最后，計算車輛全局特征和局部特征之間的距離，按相似度從高到低排序，篩選出相似度排名前10的目標車輛。

　　1方法

　　本文提出了一種車輛姿態感知注意力增強的車輛重識別方法，包括車輛姿態判別，公共區域特征提取以及全局與局部特征的相似度計算三部分。以下是對每個部分的詳細介紹。

　　1.1車輛姿態重建

　　在本節中，主要介紹車輛框架重建以及姿態判別的方法，利用關鍵點檢測和形狀調整的框線來進行車輛姿態的判別。假設每輛車在3D中是由12個關鍵點的線框組成，這些關鍵點對應于車輛上易于識別的位置，比如前燈、反光鏡、尾燈、車頂拐角、車輪等(圓點即為關鍵點)。

　　給定輸入的車輛圖像，使用深度學習網絡預測車輛的語義關鍵點，CNN輸出12個帶有突出顯示的關鍵點的熱圖，接著，將輸出熱圖作為輸入，并顯示熱圖中最大概率的關鍵點，關鍵點將車輛框架劃分為3個平面，頂層、中間層和底層。第一層為前擋風和后擋風玻璃的上方角點，第二層為左前燈，左后燈，右前燈，右后燈，第三層為左前輪，左后輪，右前輪，右后輪。根據圖像檢測出來的關鍵點構成的車輛框架與形狀框線模型進行對比分析，從而判斷出車輛所處姿態。

　　車輛可以粗略的看成是具有8個表面的模型，車輛底部在攝像頭的下方是不可見的。八個部分(除車輛底部外)進行不同顏色的區域劃分，分為頂部、前部、后部和側面四部分，以便在后續中提取車輛的公共區域的特征。在監控視角下，車輛的左側和右側通常是不能同時出現的，并且在視覺上通常是對稱的，基于這些觀察，本文將車輛的姿態分為正面、背面、正右側、背右側、正左側和背左側六個車輛姿態，將判別后的車輛姿態作為第二部分特征提取的已知條件。

　　1.2公共區域的特征提取

　　在監控視角下，圖像能夠覆蓋整輛車，因此可以捕獲兩輛車之間的每一個細微差異;其次，在大多數監控視角下，圖像中的車輛框架的3個部分是可見的，因此目標車輛與輸入車輛之間至少有兩個相同的部分。在上述階段之后，就可以獲得車輛的公共區域的特征，本文采用公共注意力網絡，以增強公共區域的特征，這有助于捕獲同一車輛的穩定判別信息。本文提出的該注意力模型能夠自動選擇顯著的區域，并且刪除無用的信息，在車輛重識別問題中，本文模型需要關注輸入車輛和目標車輛之間車輛重疊的區域，例如，為了從正左側和正右側的角度分辨兩輛相似的車輛之間的區別，人們通常會關注車輛的共同的外觀部分(比如車輛正面和頂部)以區分兩輛車是否相同。

　　因此，提出了一種車輛姿態感知的注意力模型。本文提出的注意力網絡主要由三部分組成，首先，通過車輛的外觀屬性等訓練深層的CNN網絡，從而篩選出與目標車輛相似的車輛。其次，根據篩選出的相似車輛的圖片，對車輛的關鍵點進行檢測，從而重建車輛的線性框架圖，進行車輛的姿態判別;最后，將輸入車輛姿態與目標車輛姿態進行比較，從而獲取公共區域。

　　1.3車輛特征相似度計算

　　在上述階段之后，本文獲得了注意力模型提取出來的局部特征，本節將結合全局特征對圖像進行相似度計算。如果車輛某些區域不是公共區域，則相應區域的分數將相對較小，因此，只有得分高的特征圖才有助于最終距離，本文通過構建全局特征的ID損失和三元組損失以及局部特征的三元組損失來優化網絡，根據上述局部特征的距離計算三元損失。

　　2實驗

　　2.1數據集

　　本文選用VehicleID和VeRi776數據集來驗證所提出方法的性能。VehicleID:是由監控相機收集的，該數據集包含26267種車輛以及221763張車輛圖像，該數據集的訓練集由13182輛車的100182張圖像組成，測試集由2400輛車的19777張圖像組成，VehicleID中的圖像是從車輛前方視角和車輛后方視角中捕獲的，它還提供了250種車輛模型的注釋。VeRi776：是從實際監控場景中20個不重疊的交通監控攝像頭中收集的，它包含776輛車的51035個邊界框，該數據集劃分了576輛車用于訓練，200輛車用于測試，該數據集中的車輛包含三個視點，即正視圖、后視圖和側視圖，VeRi-776提供以下信息的注釋：ID,型號，車輛顏色，攝像機之間的關系以及軌跡信息。

　　2.2評價指標

　　受文獻[18]行人重識別的研究啟發，本文采用top@1,top@5,top@10的平均精度(mAP)作為本實驗的評估指標。

　　2.3實驗分析

　　1)關鍵點回歸分析在本節中，將根據回歸的精度以及標簽與車輛姿態之間的關系對關鍵點回歸器進行全面的研究。為了訓練和評估關鍵點回歸器，在整個VeRi776數據集圖像上手動標注12個關鍵點位置。在測試階段，提取測試圖像的響應圖，并預測具有最大響應的關鍵點位置。如果回歸的關鍵點位置與真實位置之間的距離小于閾值r0,則認為該點為正確的預測的關鍵點。否則為錯誤的預測關鍵點，在評估階段中不可見的關鍵點將被忽略。

　　2)注意模型的作用由于輸入圖像的每個車輛的姿態都不相同，對于車輛重識別任務相對困難，因此，本文考慮關注輸入車輛與目標車輛之間的公共區域，從而探索注意力機制在基線中的意義。如果不使用注意力機制，mAP會降低10%左右，由于注意力模型可以通過深度k步建立，因此，對于變量k進行進一步評估以選出最佳性能的k值，顯示了當k=2時達到了最高的mAP，因此，本文模型的k取值為2。如果不使用注意力模型，則結果不令人滿意。

　　3)全局和局部損失權重的選擇本節通過實驗驗證了車輛姿態感知增強注意力模型對車輛重識別性能的影響，全局損失和局部損失之間不同權重對結果的影響，從中可以發現，本文所提出的車輛姿態注意力模型在mAP、top@1、top@5、top@10上都得到改善。

　　3結論

　　本文提出了一種車輛姿態感知增強注意力模型，抓住車輛姿態的屬性，基于車輛關鍵點重構車輛的姿態，通過CPM網絡劃分車輛的姿態，通過注意力機制改進了特征提取的方式，進一步提取出車輛重識別中顯著性的特征，最終計算全局特征與局部特征的距離。本文所提出的模型有助于獲得同一車輛的穩定判別信息。并且在數據集上的實驗數據表明，本文所提出的模型相較于其他模型在top10準確度上提高了10%左右。該技術可廣泛引用語智能公共安全防護、智能交通環境感知領域，對于追捕違法車輛、治安防控、刑事偵破等社會重大公共安全衛生具有重要意義。

　　參考文獻：

　　[1]FERISRS,SIDDIQUIEB,PETTERSONJ,etal.Large-scalevehicledetection,indexing,andsearchinurbansurveillancevideos[J].IEEETransactionsonMultimedia,2011,14(1):28-42.

　　[2]ZAPLETALD,HEROUTA.Vehiclere-identificationforautomaticvideotrafficsurveillance[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognitionWork-shops.2016:25-31.

　　作者：朱肖磊吳訓成