摘要：深度學(xué)習(xí)在計算機視覺領(lǐng)域已經(jīng)取得很大發(fā)展，雖然基于深度學(xué)習(xí)的實例分割研究近年來才成為研究熱點，但其技術(shù)可廣泛應(yīng)用在自動駕駛，輔助醫(yī)療和遙感影像等領(lǐng)域。實例分割作為計算機視覺的基礎(chǔ)問題之一，不僅需要對不同類別目標(biāo)進行像素級別分割，還要對不同目標(biāo)進行區(qū)分。此外，目標(biāo)形狀的靈活性，不同目標(biāo)間的遮擋和繁瑣的數(shù)據(jù)標(biāo)注問題都使實例分割任務(wù)面臨極大的挑戰(zhàn)。本文首先對實例分割中一些具有價值的研究成果按照兩階段和單階段兩部分進行了系統(tǒng)性的總結(jié)。其次，分析了不同算法的優(yōu)缺點并對比了模型在COCO數(shù)據(jù)集上的測試性能。此外，還歸納了實例分割在特殊條件下的應(yīng)用，簡要介紹了常用數(shù)據(jù)集和評價指標(biāo)。最后，對實例分割未來可能的發(fā)展方向及其面臨的挑戰(zhàn)進行了展望。

　　關(guān)鍵詞：計算機視覺;實例分割;圖像分割;卷積神經(jīng)網(wǎng)絡(luò);深度學(xué)習(xí);目標(biāo)檢測;兩階段實例分割;單階段實例分割

　　近年來，深度學(xué)習(xí)和CUDA等并行計算技術(shù)迅速發(fā)展直接推動了計算機視覺和圖像處理領(lǐng)域進入了新的技術(shù)時代，實例分割作為計算機視覺基礎(chǔ)研究問題之一，其技術(shù)可廣泛應(yīng)用于汽車自動駕駛，機器人控制，輔助醫(yī)療和遙感影像等領(lǐng)域。在計算機視覺的基本任務(wù)中目標(biāo)檢測是預(yù)測圖像中目標(biāo)位置和類別。語義分割則是在像素級別上對目標(biāo)分類。而實例分割可看作是目標(biāo)檢測和語義分割的結(jié)合體，旨在檢測圖像中所有目標(biāo)實例，并針對每個實例標(biāo)記屬于該類別的像素。即不僅需要對不同類別目標(biāo)進行像素級別分割，還要對不同目標(biāo)進行區(qū)分。與其他計算機視覺研究問題相比，實例分割的挑戰(zhàn)性在于：

　　(1)它需要預(yù)測并區(qū)分圖像中每個目標(biāo)的位置和語義掩碼，并且由于實例的不可知形狀使得預(yù)測實例分割的掩碼比目標(biāo)檢測任務(wù)預(yù)測矩形邊界框更靈活。(2)密集目標(biāo)的相互遮擋與重疊使網(wǎng)絡(luò)很難有效區(qū)分不同實例，并且小目標(biāo)的實例分割由于普遍缺少細節(jié)導(dǎo)致分割精度仍然很低。(3)繁瑣精細的數(shù)據(jù)標(biāo)注耗費大量人力與時間，如何減少成本，有效利用現(xiàn)有未標(biāo)注或粗糙標(biāo)注的數(shù)據(jù)提升實例分割精度仍是一個亟待解決的問題。

　　1980年日本學(xué)者福島邦彥[1]提出的神經(jīng)認知機模型可以稱為卷積神經(jīng)網(wǎng)絡(luò)的前身，YannLeCun[2]提出反向傳播算法使網(wǎng)絡(luò)訓(xùn)練成為可能，之后2012年AlexNet[3]在ImageNet圖像識別大賽上獲得冠軍。從此深度卷積神經(jīng)網(wǎng)絡(luò)引起人們關(guān)注，研究者用它解決計算機視覺任務(wù)。近年來，實例分割的研究基本是建立在基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測和語義分割基礎(chǔ)之上。

　　因此，從研究發(fā)展來看實例分割任務(wù)是卷積神經(jīng)網(wǎng)絡(luò)成功運用在計算機視覺領(lǐng)域的產(chǎn)物[4]。所示實例分割方法主要歸納為兩階段與單階段兩類，其中兩階段實例分割有兩種解決思路分別是自上而下基于檢測的方法和自下而上基于分割的方法。而單階段實例分割可細化為感知實例分割，建模掩碼，Transformer嵌入及一些其他方法。本文從實例分割的研究現(xiàn)狀，算法優(yōu)缺點和主流方法性能對比，特殊條件下的應(yīng)用，常用數(shù)據(jù)集與權(quán)威評價指標(biāo)等角度出發(fā)對一些具有啟發(fā)性的研究成果進行整理，歸納和分析，為相關(guān)研究提供有價值的參考。

　　1實例分割研究現(xiàn)狀

　　從研究時間線來看，實例分割技術(shù)根據(jù)處理過程目前主要歸納為兩類：兩階段和單階段，本文將分別進行介紹。

　　1.1兩階段的實例分割兩階段實例分割是以處理階段劃分，其中自上而下的基于檢測方法是先檢測出圖像中實例所在區(qū)域，再對候選區(qū)域進行像素級別分割。而自下而上的基于分割思想則將實例分割看作是一個聚類任務(wù)，通過將像素分組為圖像中呈現(xiàn)的任意數(shù)量的目標(biāo)實例，最后判斷每組的類別來生成實例掩碼，這種不需要束縛于目標(biāo)框的影響。

　　1.1.1自上而下的實例分割自上而下的實例分割研究受益于目標(biāo)檢測的豐碩成果。下面介紹一下代表性的方法。2014年BharathHariharan在SDS[5]中首次實現(xiàn)檢測和分割同時進行，也是最早的實例分割算法，奠定了后續(xù)研究基礎(chǔ)[6]。具體分為四步。

　　(1)建議框生成，使用MCG[7]為每張圖片產(chǎn)生2000個候選區(qū)域。(2)特征提取，聯(lián)合訓(xùn)練兩個不同的CNN網(wǎng)絡(luò)同時提取候選區(qū)域和區(qū)域前景特征。(3)區(qū)域分類，利用CNN中提取到的特征訓(xùn)練SVM分類器對上述區(qū)域進行分類。(4)區(qū)域細化，采用NMS來剔除多余區(qū)域，最后使用CNN中的特征來生成特定類別的粗略掩碼預(yù)測，以細化候選區(qū)域?qū)⒃撗诖a與原始候選區(qū)域結(jié)合起來可以進一步高分割效果。

　　雖然SDS效果遜色后續(xù)方法，但SDS先用檢測生成候選區(qū)域再對其語義分割的思想為后續(xù)實例分割提供了重要的研究啟發(fā)。2015年該團隊又對SDS重新分析認為，只使用CNN最高層的特征來解決實例分割問題存在著掩碼細節(jié)粗糙的缺陷。即高層特征的語義信息豐富有利于目標(biāo)分類，但缺少精確的位置信息。

　　例如在底層特征圖中可以定位目標(biāo)部件，但是沒有豐富語義信息判別區(qū)分這個目標(biāo)部件具體屬于哪個物體。所以，引入Hypercolumns[8](所有CNN層對應(yīng)該像素位置的激活輸出值所組成的向量)作為特征描述符，將底層特征與高層特征融合從而提升分類的精確性并改善目標(biāo)分割細節(jié)。之后，CFM[9]算法首次將掩碼(Mask)這一概念引入到實例分割中。CFM通過矩形框生成特征圖的掩碼，并將任意區(qū)域生成固定大小的特征以方便處理。

　　這里是從卷積特征中提取掩碼而非原始圖像中提取。 DeepMask[10]是首個直接從原始圖像數(shù)據(jù)學(xué)習(xí)產(chǎn)生分割候選的工作。簡單講，給定一個圖片塊作為輸入，輸出一個與類別無關(guān)的mask和相應(yīng)的分?jǐn)?shù)。它最大的特點是不依賴于邊緣、超像素或者其他任何輔助形式的分割，是用分割的方法來生成高召回率的候選區(qū)域。但缺點是只能捕捉目標(biāo)大致外形，不能準(zhǔn)確描繪目標(biāo)邊界。為了優(yōu)化DeepMask的掩碼，SharpMask[11]先在前向反饋通道中生成粗略的掩碼，并在自上而下的通道中引入較低層次富有位置的特征逐步加以細化，最后產(chǎn)生具有更高保真度的能精確框定物體邊界的掩碼。

　　但是上面提到的方法都需要先在原圖生成掩膜候選區(qū)域，沒有充分利用深度學(xué)習(xí)特征及大規(guī)模訓(xùn)練數(shù)據(jù)的優(yōu)勢并且推斷時間緩慢，這些都是影響實例分割準(zhǔn)確性的瓶頸。2016年，何凱明團隊在多任務(wù)網(wǎng)絡(luò)級聯(lián)(MNC)[12]中提出了一種級聯(lián)結(jié)構(gòu)，將實例分割任務(wù)分解為目標(biāo)定位，掩碼生成以及目標(biāo)分類三個子任務(wù)，共用一 個主干網(wǎng)絡(luò)，將三個不同功能的網(wǎng)絡(luò)分支級聯(lián)起來。每個階段都以前一階段的結(jié)果作為輸入。

　　整個網(wǎng)絡(luò)是端到端的。這樣主干網(wǎng)絡(luò)的訓(xùn)練可以共享三個子任務(wù)的監(jiān)督，有利于訓(xùn)練出更好的特征。這種設(shè)計另一個優(yōu)點是可以快速地進行推斷。隨著計算機并行處理數(shù)據(jù)能力的提升和目標(biāo)檢測網(wǎng)絡(luò)性能的快速更新，實例分割研究趨勢打開了一個新的局面。前沿的設(shè)計思想和領(lǐng)域的認識革新碰撞出新的學(xué)術(shù)火花。2017年何凱明團隊提出簡單通用且性能強大的兩階段MaskR-CNN[13]，是FasterR-CNN[14]思想應(yīng)用在實例分割的經(jīng)典之作，用于許多衍生應(yīng)用的基線算法，也是現(xiàn)今使用最多，效率最高的實例分割算法。它的成功又激起實例分割領(lǐng)域新的技術(shù)浪潮。MaskR-CNN[13]在目標(biāo)分類和回歸分支上增加了用于預(yù)測每個ROI的語義分割分支。

　　基礎(chǔ)網(wǎng)絡(luò)中采用了當(dāng)時較為優(yōu)秀的ResNet-FPN[15,16]結(jié)構(gòu)，多層特征圖有利于多尺度物體及小物體的檢測。首先，將輸入圖片送入到特征提取網(wǎng)絡(luò)得到特征圖，然后對特征圖的每一個像素位置設(shè)定固定個數(shù)的ROI(也可以叫Anchor)，然后將ROI區(qū)域送入RPN推薦網(wǎng)絡(luò)進行二分類(前景和背景)以及坐標(biāo)回歸，以獲得修正后的ROI區(qū)域。為了保證特征分辨率，對ROI執(zhí)行提出的ROIAlign[13]操作替換原始的ROIPooling[14]，取消了取整操作，而是通過雙線性插值的方法保留所有的浮點數(shù)。最后增加了一個Mask(掩碼)分支來預(yù)測每一個像素的類別。采用了FCN(FullyConvolutionalNetwork)[17]的網(wǎng)絡(luò)結(jié)構(gòu)，利用卷積與反卷積構(gòu)建端到端的網(wǎng)絡(luò)，對每一個像素分類，實現(xiàn)了較好的分割效果。

　　同時，2018年Masklab[18]也改進了FasterR-CNN[14]，并產(chǎn)生兩個額外的輸出，即語義分割和實例中心方向。由于MaskR-CNN對實例分割研究具有重要的啟發(fā)意義，后續(xù)涌現(xiàn)了一系列相關(guān)的工作，具體方法如下。2018年P(guān)ANet[19]在MaskR-CNN基礎(chǔ)上引入自下而上的路徑改進并擴展了金字塔特征提取網(wǎng)絡(luò)，使用自適應(yīng)融合的ROI區(qū)域特征池化，很好地融合了不同層次的特征信息。DetNet[20]將空洞卷積加到骨干結(jié)構(gòu)中即保證了特征分辨率同時又增大感受野，并提出重新對檢測、分割任務(wù)訓(xùn)練骨干網(wǎng)絡(luò)以提高特征表達能力。

　　2019年MSR-CNN[21]提出現(xiàn)有的mask打分策略是使用分類的指標(biāo)，缺乏針對性的評價機制。故在MaskR-CNN基礎(chǔ)上修改了mask評價標(biāo)準(zhǔn)，通過添加MaskIOU分支來預(yù)測mask并且給其打分來提升模型實例分割性能。同年，何凱明團隊提出PointRend[22]將實例分割看作圖像處理中渲染問題，細化MaskR-CNN產(chǎn)生的粗糙掩碼邊緣，先在邊緣上選幾個點再提取點的特征進行迭代計分計算達到細化掩碼的目的。2020年BMaskR-CNN[23]則將目標(biāo)邊緣信息加入MaskR-CNN中用于監(jiān)督網(wǎng)絡(luò)以增強掩碼預(yù)測。

　　2021年BPR[24]提出一個后處理細化模塊以提高MaskR-CNN的邊界質(zhì)量。RefineMask[25]利用邊緣信息和語義分割信息細化MaskR-CNN生成的粗糙掩碼邊緣。姜世浩等[26]在MaskR-CNN基礎(chǔ)上引入兩條分支，基于整體嵌套邊緣檢測(HED)模型生成邊緣特征圖，一條基于FCN生成偏重于空間位置信息的語義特征圖。最后融合以上得到的多個特征圖，生成信息更加豐富的新特征。

　　1.3算法優(yōu)缺點對比和實驗結(jié)果比較

　　本小節(jié)對文中涉及到的部分實例分割算法進行優(yōu)缺點比較和性能分析。不同實例分割算法在COCO數(shù)據(jù)集上的性能對比。本文在最大程度上選擇相同的基礎(chǔ)網(wǎng)絡(luò)且沒有引入任何訓(xùn)練技巧，以保證算法性能比較的公平性。

　　比較的結(jié)果均在COCO公開測試數(shù)據(jù)集上測試，因為COCO數(shù)據(jù)集是實例分割最常用的數(shù)據(jù)集，圖片背景復(fù)雜，目標(biāo)種類和數(shù)量多，目標(biāo)尺寸相對較小，有很大難度。算法性能主要比較的參數(shù)是精度(COCO評價標(biāo)準(zhǔn)，詳細介紹見3.4節(jié))及模型參數(shù)(#Params)和推斷速度(fps)。其中，fps指每秒幀數(shù)，值越大算法速度越快，“−”表示未知，學(xué)習(xí)率規(guī)則“1×”表示模型訓(xùn)練12個epoch(180Kiterations),“3×”為36個epoch，以此類推。

　　主要從兩階段和單階段這兩類對通用場景下的實例分割算法進行分類總結(jié)。從精度上看，相同基礎(chǔ)網(wǎng)絡(luò)時兩階段普遍優(yōu)于單階段，且模型所需訓(xùn)練迭代次數(shù)少。從速度上看，單階段則快于兩階段，且精度也是處于平均水平，但以大量訓(xùn)練迭代次數(shù)為代價。因此，應(yīng)用時需要根據(jù)具體需求選擇合適的算法。綜上分析，沒有一種算法可以兼顧精度高和速度快，未來還可以從同時提升實例分割的速度與精度入手。

　　2實例分割的特殊應(yīng)用

　　實例分割作為像素級別的目標(biāo)識別任務(wù)，目前已廣泛應(yīng)用在遙感影像[62-67]，文字檢測[68-70]，人臉檢測[71,72]，輔助駕駛系統(tǒng)[73-76]，醫(yī)療圖像處理[77,78]等各個場景下。遙感圖像中需要對標(biāo)的物體進行識別，進而分析與測繪[79]。李瀾等人[80]將MaskR-CNN應(yīng)用于高分辨率光學(xué)遙感影像的目標(biāo)檢測和實例分割任務(wù)中，目的是在地圖上找到遺漏的地理實體并提高矢量地圖的質(zhì)量。瑚敏君等人[65]在MaskRCNN原有的特征提取中每個層級的特征圖后再增加一層卷積操作。

　　然后，在原有掩碼預(yù)測結(jié)構(gòu)的基礎(chǔ)上增加一個分支實現(xiàn)了高效、準(zhǔn)確的高分辨率遙感影像建筑物提取算法。王昌安等人[79]則用于光遙感影像中近岸艦船的檢測任務(wù)。輔助駕駛系統(tǒng)不僅需要在行駛過程中識別不同的車道線，進行駕駛模式的決策，而且也需要對周圍的車輛、行人等進行分析，判斷周圍的駕駛環(huán)境等這些都用到了實例分割[81,82]。鄧琉元等人[83]針對無人駕駛中用到的環(huán)視相機所呈環(huán)形圖像中存在目標(biāo)幾何畸變難以建模問題，在MaskR-CNN中引入可變形卷積和可變形ROIPooling來提升網(wǎng)絡(luò)對幾何形變的建模能力以實現(xiàn)環(huán)視魚眼圖像中準(zhǔn)確的交通目標(biāo)實例分割。

　　田錦等人[74]和蔡英鳳等人[73]將實例分割模型用于車道線檢測解決了傳統(tǒng)的車道線檢測算法易受光照變化、陰影遮擋等環(huán)境干擾的缺陷。最后，所提算法可以完成復(fù)雜交通場景下的多車道線實時檢測。除此之外，陳健雄等人[84]提出實例分割模型也可以有效識別中低速磁浮列車上接觸軌固件的松動狀態(tài)，保證了城市軌道交通的安全運行。醫(yī)療圖像處理需要對血管、骨骼、細胞等區(qū)域進行分割與檢測，幫助醫(yī)生進行診斷和研究[81]。同時降低誤診率和漏診率，所以實例分割也是重要的關(guān)鍵技術(shù)之一。

　　趙旭等人[77]研究基于實例分割的乳腺超聲腫瘤識別，分割出乳腺超聲圖像的腫瘤區(qū)。鄭楊等人[78]在MaskR-CNN中加入空洞卷積完成宮頸細胞圖像分割。吳宇[85]則提出一個級聯(lián)的3D椎骨分割網(wǎng)絡(luò)�？梢�，實例分割應(yīng)用已經(jīng)非常廣泛，都是建立在兩階段MaskR-CNN[13]基礎(chǔ)之上并有很好的算法效果。未來，實例分割技術(shù)一定會有更大的發(fā)展應(yīng)用前景。

　　3數(shù)據(jù)集與評價指標(biāo)

　　深度學(xué)習(xí)領(lǐng)域關(guān)注的是通過使用計算機算法自動發(fā)現(xiàn)數(shù)據(jù)中的規(guī)律性，并通過使用這些規(guī)律性來采取一些行動�？梢�，數(shù)據(jù)規(guī)模驅(qū)動深度學(xué)習(xí)領(lǐng)域的發(fā)展，收集一個大規(guī)模的數(shù)據(jù)集也是實例分割研究中重要的工作。目前，公開的大型數(shù)據(jù)集大多是由公司、科研團隊或特別舉辦的專業(yè)比賽等收集創(chuàng)建的，需要大量人工進行手動標(biāo)注，時間成本高[86]。

　　4未來展望

　　綜合來看，實例分割技術(shù)正趨向兼并算法實時性和性能高精度的方向發(fā)展。單階段的實例分割在性能上不弱于兩階段的實例分割，但相較于兩階段法的網(wǎng)絡(luò)架構(gòu)更為簡潔，高效且易于訓(xùn)練。由現(xiàn)存算法的性能比較來看還有提升空間。所以，總體期望發(fā)展的方向應(yīng)該是在追求精度提升的基礎(chǔ)上實現(xiàn)快速實時實例分割，更好的適用于實際應(yīng)用。此外，(1)筆者認為實例分割與目標(biāo)檢測，語義分割等其他高級計算機視覺任務(wù)可以互惠互利，可重點研究在不同圖像感知任務(wù)之間的相互關(guān)系。此外，自然語言處理和計算機視覺兩大任務(wù)可以彼此互鑒。最近，自然語言處理中常用的Trans- former[91,92]在計算機視覺(CV)領(lǐng)域已經(jīng)做了一些初步探索，未來針對CV的特點設(shè)計更適配視覺特性的Transformer將會帶來更好的性能提升[93]。

　　(2)目標(biāo)間遮擋和交疊情況仍然是實例分割最具挑戰(zhàn)性的問題，可借鑒圖卷積神經(jīng)網(wǎng)絡(luò)，膠囊網(wǎng)絡(luò)和目標(biāo)檢測中的推理關(guān)系網(wǎng)絡(luò)來有效解決遮擋情況下的實例分割問題。(3)目前實例分割只針對單獨的目標(biāo)，沒有考慮目標(biāo)間的關(guān)系。從目標(biāo)檢測的經(jīng)驗來看，圖像中不同目標(biāo)是具有空間和語義的上下文聯(lián)系，這種信息的流動和融合有助于目標(biāo)檢測精度的提升。實例分割可以借鑒注意力機制，圖神經(jīng)網(wǎng)絡(luò)的方法來建立目標(biāo)在空間布局以及幾何形狀之間的聯(lián)系。(4)從現(xiàn)有算法的精度來看，小目標(biāo)的實例分割問題仍然是一個挑戰(zhàn)。COCO數(shù)據(jù)集中定義像素總數(shù)小于322為小目標(biāo)。可見其在圖像中像素面積占比很小，經(jīng)過多次采樣和池化等定會缺少很多細節(jié)。而實例分割是一個需要精確和完整的像素信息才能完成的任務(wù)，兩者產(chǎn)生矛盾。未來的研究可以小目標(biāo)檢測為切入點，結(jié)合超分辨率圖像任務(wù)、生成對抗網(wǎng)絡(luò)、尺度自適應(yīng)和注意力機制等策略來提高小目標(biāo)的實例分割精度。

　　(5)實例分割大多是有監(jiān)督學(xué)習(xí)，其數(shù)據(jù)采用人工手動進行像素標(biāo)注的方式，繁瑣的數(shù)據(jù)標(biāo)注耗費大量的人力和時間。為了減少成本，使用自監(jiān)督學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)方式從已有未標(biāo)注或少量標(biāo)注數(shù)據(jù)中自動生成標(biāo)簽實現(xiàn)實例分割。也可利用現(xiàn)有的已標(biāo)注邊界框作為先驗信息輔助鎖定目標(biāo)范圍。(6)從實際應(yīng)用的角度，現(xiàn)有網(wǎng)絡(luò)設(shè)計的復(fù)雜度高，占用內(nèi)存大，速度和準(zhǔn)確度之間還不能達到平衡。輕量化的網(wǎng)絡(luò)架構(gòu)，滿足速度快和精度高的需求將是實例分割未來探究的重要內(nèi)容。

　　參考文獻：

　　FukushimaK.Neocognitron:ASelf-organizingNeuralNetworkModelforaMechanismofPatternRecognitionUnaffectedbyShiftinPosition[J].BiologicalCybernetics,1980,36(4):193–202.

　　[1]LeCunY,BottouL,BengioY,etal.Gradient-basedlearningappliedtodocumentrecognition[J].ProceedingsoftheIEEE,1998,86(11):2278–2324.

　　[2]KrizhevskyA,SutskeverI,HintonG.ImageNetClassificationwithDeepConvolutionalNeuralNetworks[J].Advancesinneuralinformationprocessingsystems,2012,25(2):1097–1105.

　　作者：蘇麗1,2，孫雨鑫1，苑守正1