摘要：堆石料的形狀、尺寸以及級配等參數直接影響堆石壩的穩定性和抗滲性能，為滿足工程建設質量需求，需要對堆石料進行測量分析。當前主要采用人工的方式篩分堆石料，效率低下。而傳統的圖像分割算法分割精度低，無法準確測量巖石的參數信息。針對這一問題，本文提出一種深度圖像引導的巖石顆粒分割方法。首先對深度圖像進行預處理，去除深度圖像的噪聲;然后提取深度圖像與可見光圖像的隨機特征和顯著性特征，并對隨機特征進行多次抽樣;最后根據多組隨機特征和顯著性特征得到多個分割預測結果，并選擇最優的分割。實驗結果表明，本文方法能夠實現巖石顆粒的準確分割，并將其應用到巖石顆粒度評估的場景中，計算巖石顆粒參數信息。

　　關鍵詞：圖像分割;深度圖像;可見光圖像;顯著性檢測;堆石料;隨機特征;顯著性特征;級配

　　1堆石料開采過程中常采取爆破直采的方法[1]。

　　堆石壩的填筑材料需要具有良好的級配，以保證壩體的穩定性[2]。同時堆石料的級配性狀直接影響到石壩的力學特性和抗滲性能[34]。因此需要對堆石料進行準確的測量，將石料的粒徑控制在一定的范圍內。傳統的巖石顆粒篩分以人工的方式進行，通過肉眼估計或手工測量的方法，需要花費大量的人力和時間成本，效率低下且精確度不夠。相較于傳統的人工篩分法，圖像分割技術具有簡單、快速、花費小的優點，能夠實現更智能化的堆石料巖石顆粒參數測量和分析[5]。通過圖像處理技術，對巖石顆粒圖像進行分割后獲取巖石顆粒的形狀等信息，能夠測算堆石料的級配數據。在巖石圖像分割方面，目前有很多學者進行了大量的研究。

　　文獻[5]提出一種基于MaskCNN和分水嶺算法的巖石顆粒圖像分割方法，能避免圖像過分割和欠分割的問題，但網絡訓練過程耗時較長;文獻[6]通過分類器學習圖像的特征，利用圖像特征對像素進行分類后實現分割，但方法對巖石顆粒圖像的分割精度低;文獻[7]提取圖像感興趣的區域后進行SRM圖像分割，對小面積區域進行合并處理得到最終的分割結果。

　　但該方法無法準確分割復雜的巖石顆粒圖像，效果較差;文獻[8]利用改進的圖論歸一化割算法來分割礦巖顆粒圖像，分割精度低;文獻[9]結合深度信息和圖像區域特征聚類的算法進行顯著性目標檢測，分割效果較好。傳統的分割算法大多只使用到了顏色、灰度等特征信息，同時算法應用的待分割圖像中目標數較少，目標與背景區分明顯，分割任務較為簡單。

　　當面對目標數多，形狀不規則，顏色相近的巖石圖像分割任務時，通常難以實現準確的分割，存在一定的局限性[1012]。隨著深度傳感器技術的發展，有效利用深度信息這一重要的視覺信息成為了可能，并為圖像分割提供了新的解決方案，有效提高了分割的精確度[1317]。針對巖石圖像難以精確分割的問題，本文提出了一種深度圖像引導的巖石顆粒分割方法，有效利用了深度圖像所提供的三維距離信息輔助分割[8,16,18]。

　　協同利用可見光圖像和深度圖像的信息冗余性和互補性，大幅提高了巖石顆粒圖像分割的準確性[1922]。首先對深度圖像進行預處理，去除深度圖像中的噪聲;然后通過神經網絡提取深度圖像和可見光圖像中的隨機特征和顯著性特征，并對隨機特征進行多次采樣得到多組不同的隨機特征;最后結合顯著性特征和多組不同的隨機特征，得到多個圖像分割預測結果圖像，并選擇最優的分割結果。實驗結果證明，該算法在分割目標數目多、邊界模糊的復雜場景下能實現準確的分割。對精確分割堆石壩石料，保障堆石壩填筑材料的良好級配，提高壩體穩定性有著極大的應用價值。

　　1圖像分割算法

　　1.1算法流程

　　本文提出的深度圖像引導的巖石顆粒分割方法的流程如下：(1)通過深度圖校正網絡優化深度圖像，去除原始深度圖像中的噪聲;(2)通過先驗網絡對深度圖像與可見光圖像進行卷積操作，將RGBD圖像對映射至低維的特征空間，提取圖像中的隨機特征;(3)通過顯著性網絡提取優化后的深度圖像 和可見光圖像的顯著性特征;(4)對隨機特征進行多次采樣，并結合顯著性特征，得到多個圖像分割預測結果;(5)通過顯著性共識網絡，根據每個預測結果各個位置的像素值，投票選出對應位置的像素值，得到最終的圖像分割結果。

　　1.特征提取

　　1.2.1深度圖像校正

　　深度圖像的獲取主要采用深度傳感器或雙目立體相機計算深度的方式。不論是深度傳感器獲取得到的深度，還是雙目立體相機計算得到的深度圖像，深度圖像中都會存在一定的噪聲[23]。同時，由于遮擋、光照等原因，深度圖像中存在有無效點構成的缺失區域。深度圖像的灰度值變化反映了場景中距離信息的變化，可以近似地認為深度圖像的邊緣與可見光圖像的邊緣具有一致性。

　　因此，可以利用可見光圖像的邊緣信息對深度圖像進行校正處理。通過基于語義引導的深度圖校正網絡[24]，得到處理后的深度圖像。深度圖校正網絡的編碼部分采用VGG16網絡[24]前五級作為輸入圖像的編碼器，并刪去了網絡第五個池化層之后的全連接層。SS15分別表示為VGG16網絡刪去第五個池化層之后的全連接層之后，剩余網絡部分的五組卷積層和池化層。解碼部分由四個連續卷積層和雙線性上采樣操作組成。

　　2實驗結果及分析

　　針對實際場景下堆石料巖石顆粒圖像具有不同的巖塊類型，本文使用ZED2雙目相機拍攝了多種類型的巖石顆粒圖像，并制作數據集。其中，數據集共包含巖石顆粒RGBD圖像1000組。訓練集與測試集以9:1的比例進行劃分。訓練集包含900組巖石顆粒的RGBD圖像及真值圖像GT;測試集包含100組巖石顆粒的RGBD圖像及真值圖像GT。

　　2.1分割結果預測實驗

　　本文算法針對不同類型的巖石圖像進行分割實驗對比。并與傳統分割算法OTSU分割算法，分水嶺分割算法以及深度學習算法UNet[26]，RTFNet[27]進行比較，驗證本文算法的分割效果與成功率。

　　對測試集中100組RGBD圖像進行算法分割結果預測實驗，根據巖石形狀、大小、堆疊以及遮擋情況將實驗圖像劃分為四組。其中，組圖像巖石數目以及形狀較為簡單，巖石之間間隔大，易于區分。組圖像巖石形狀、大小復雜，有堆疊、粘連的問題，同時有較多的非巖石目標物。組圖像巖塊之間的堆疊現象較為嚴重，難以區分巖石邊界。組圖像巖石的堆疊、粘連現象嚴重，存在有非巖石目標物遮擋的情況。

　　2.1.1傳統分割算法結果

　　OTSU分割算法通過最大化類間方差劃分圖像中的目標和背景。對于組巖石圖像，OTSU分割算法能夠較好的處理圖像，但是分割結果并不精確，同時并未很好地區分前景與背景，還出現了錯誤分割的問題;對于組巖石圖像，OTSU分割算法對光照較為敏感，同時無法處理巖石之間的粘連部分，出現了錯誤分割的問題;對于組巖石圖像，OTSU無法區分前景與背景，在巖石堆疊部分的分割出現錯誤;對于組巖石圖像，OTSU分割算法無法區分非巖石目標物，對其他目標物出現了錯誤的分割。

　　為分水嶺分割算法的分割結果圖像，分水嶺分割算法將待分割圖像按照像素灰度值進行排序，局部極小值處被視為集水盆地，盆地的邊界構成分水嶺。對于四組巖石圖像，分水嶺算法的分割效果均較差，無法實現巖石的正確分割。根據分割結果可知，兩種傳統的圖像分割算法，OTSU分割算法與分水嶺分割算法對于巖石圖像分割的效果均較差。其中，OTSU分割算法對巖石圖像能夠進行較好的處理，然而其分割結果并不準確，背景存在有明顯的噪聲;分水嶺分割算法完全無法實現巖石圖像的正確分割。

　　2.2定量分析

　　2.2.1評價指標

　　本文選取平均絕對誤差(MeanAbsoluteError,MAE)[28]、measure[29]、加權measure[30]、measure[31]、measure[32]以及AreaUndertheCurve(AUC)作為算法性能的評價指標。實驗中各個算法對100組測試圖像均做了多次重復實驗，結果取平均值。MAE通過計算分割結果中每個像素點的值與人工標注圖像之間絕對差的均值。代表了誤差相對于真實值的大小，值越小反映誤差越小。

　　2.3方法應用

　　采用數字圖像處理技術的方式，對巖石顆粒圖像進行分割，能夠實現無接觸地測量巖石參數信息。相較于人工篩分的方式具有較大的優勢，能夠實現更智能化的堆石料巖石顆粒參數測量和分析。然而單獨使用可見光圖像所提供的顏色、形狀、紋理等信息難以實現巖石目標的精確分割，進而影響到巖石參數測量的準確性。

　　讀取巖石目標的可見光圖像與深度圖像，協同使用可見光圖像提供的細節信息以及深度圖像提供的三維距離信息，完成對巖石圖像的精確分割。然后，通過連通域分析方法，標記出圖像分割結果圖像中的巖石目標，并測量出巖石的面積等參數信息。有助于在堆石壩建設過程對堆石料巖石實現精確地分割后獲取堆石料巖石顆粒準確的參數信息，保證堆石料良好的級配，提高壩體的穩定性。

　　3結論

　　本文提出了一種深度圖像引導的巖石顆粒分割方法，利用深度圖像所提供的三維距離信息輔助分割巖石顆粒并測量參數。1)算法對初始的深度圖像進行優化，增加深度圖像的語義和幾何信息。通過模擬標注真值圖像的不確定性，網絡輸出多組圖像分割預測結果并選擇最優的分割圖像。2)由于堆石料巖石顆粒圖像具有待分割目標多、巖石間堆疊粘連、目標與背景相近的問題，現有的大部分圖像分割算法無法實現精確的圖像分割。本文算法有效利用了深度圖像的三維距離信息，大幅提高了圖像分割的精確度。本文算法協同使用巖石RGBD圖像進行分割，算法在多個評價指標上均優于對比算法，分割精度高。算法后續可以應用到巖石顆粒度評估的場景中，獲取巖石顆粒的形狀等信息，測算堆石料的級配數據。

　　參考文獻

　　[1]楊晨光鐘權冷振東等.猴子巖面板堆石壩石料開采爆破試驗與分析[J].長江科學院院報,2015,32(10):7073.

　　[2]陳兵于沭溫彥鋒等.寬級配粗粒土數值試驗微觀參數的敏感性分析[J].水利學報,2015,46(S1):31520.

　　[3]雷雨萌陳祖煜于沭等.基于深度閾值卷積模型的土石料級配智能檢測方法研究[J].水利學報,2021,52(3):369380.

　　[4]朱晟鐘春欣鄭希鐳等.堆石體的填筑標準與級配優化研究[J].巖土工程學報,2018,40(1):10815.

　　[5]司晨冉王仁超邸闊等.一種基于MaskRCNN和分水嶺算法的巖石顆粒圖像分割方法[J].水電能源科學,2020,38(11):128,129132.

　　[6]崔冰王衛星.基于統計模式識別的巖石節理圖像分割方法J].計算機工程與應用,2006(10):21315.

　　[7]吳擁蘇桂芬滕奇志等.巖石薄片正交偏光圖像的顆粒分割方法[J].科學技術與工程,2013,13(31):92019206.

　　[8]楊丹丹王衛星廖一鵬.基于多尺度分析及圖論歸一化割的礦巖顆粒圖像分割及應用[J].四川大學學報工程科學版),2015,47(S1):118124.

　　作者：嚴良平,潘月梁,姜雄彪,陸秋雨,徐暢