摘要：本文提出了一種基于無監(jiān)督的深度學習算法，以解決在顯微鏡下采集產(chǎn)生的巖石薄片圖像的多聚焦融合問題。為了提取圖像的深層特征，本文使用無監(jiān)督方法訓練了一個編解碼神經(jīng)網(wǎng)絡，用于提取不同聚焦圖像的深度特征，得到特征圖;然后利用特征圖的空間頻率計算出二值決策圖;由于細微的決策偏差，二值決策圖中可能存在孔洞、毛刺干擾，于是對決策圖進行形態(tài)學處理和濾波。最后通過處理后的決策圖得到融合圖像。同時主觀效果上也好于其他方法;實驗證明了在顯微鏡巖石薄片圖像和通用圖像的多聚焦融合應用中，該方法能取得良好的效果。

　　關鍵詞：多聚焦融合;深度學習;無監(jiān)督方法;巖石薄片圖像

　　引言

　　在石油地質(zhì)相關的圖像處理與分析工作中，巖石薄片圖像是地質(zhì)工作人員分析地下巖石成分的重要依據(jù)。地質(zhì)學常用鑒定方式是將巖石切割樣本制作成薄片，然后在光學顯微鏡下進行鑒定。而為了更快速準確地得到鑒定結果，研究人員如今使用相機采集圖像，通過計算機自動化分析技術輔助地質(zhì)工作人員分析巖石樣本。由于薄片制作有一定厚度，而相機景深有一定限制，在物鏡放大倍數(shù)較高(如10倍及以上)的情況下，有時會導致部分區(qū)域模糊,這會直接影響后續(xù)的巖石薄片圖像分析工作。圖像多聚焦融合方法為解決該問題提供了有效方案。

　　圖像多聚焦融合是通過算法將同一視角下不同聚焦點的多張圖像融合在同一張圖像內(nèi)，得到一張聚焦清晰、信息完整的融合圖像[1];融合圖像更便于后續(xù)的分割、特征提取和目標檢測等工作。多源圖像融合領域類別主要有：多聚焦圖像的融合、多曝光圖像的融合、醫(yī)學圖像的融合、多光譜和全色、多光譜和高光譜以及可見光和紅外圖像的融合等[2]。

　　傳統(tǒng)多聚焦圖像融合方法主要分為兩類，空間域方法和變換域方法。經(jīng)典變換域融合方法主要有基于拉普拉斯金字塔方法LaplacianPymaid,LP)、低通比率金字塔RatiooflowpassPyramid,RP)、離散傅里葉變換DiscreateFourierTransform,T)、稀疏表示SparseResprentaton,SR)、imagemattingbased(IMF)[3]等方法該類方法融合過程復雜且計算量較大，且需要根據(jù)特定場景選擇合適的算法和策略;空間域融合方法主要基于梯度信息計算活躍度，如基于引導濾波方法[4]、themultiscaleweightedgradientbasedone[5]、thedenseSIFT(DSIFT)[6]等，該類方法正對局部圖像效果顯著，但是缺點是在融合邊緣處易產(chǎn)生邊緣效應。

　　近年來，隨著深度學習技術在計算機視覺領域的應用，圖像分類、目標檢測、圖像分割、超分辨重建等方向都取得了巨大進步。而圖像融合領域中，基于深度學習的融合方法也被逐漸應用到數(shù)碼攝影、多模態(tài)成像、遙感成像[7]、激光雷達成像[8]等方向中。

　　至今，已有多種基于深度學習的融合策略被提出;例如，2017年提出的基于卷積神經(jīng)網(wǎng)絡融合方法的多聚焦融合任務[9]，文中采用監(jiān)督學習方法，用高斯濾波器生成不同模糊級別的合成圖像，以訓練二分類網(wǎng)絡來區(qū)分圖像中區(qū)域是否模糊，該方法邊界融合質(zhì)量高，但是聚焦和非聚焦區(qū)域的識別精度不夠;之后，有DeepFuse網(wǎng)絡10]這樣的無監(jiān)督方法來融合多曝光圖像;還有用以融合紅外光和可見光圖像的DenseFuse網(wǎng)絡[11]，該網(wǎng)絡使用編解碼無監(jiān)督策略獲得有效特征，并通過L1范數(shù)生成融合圖像;此外還有Lai等人提出的端到端的多尺度視覺注意力卷積神經(jīng)網(wǎng)絡MADCNN[12]，此類端到端網(wǎng)絡最終直接輸出融合圖像。

　　總之，基于深度學習方法的圖像融合方法，主要分為兩類：一類為兩階段融合策略，即第一階段通過網(wǎng)絡生成融合策略圖，第二階段使用融合策略圖引導結果圖的生成，如DenseFuse和SESFFuse[13]等網(wǎng)絡，這類方法可以充分利用神經(jīng)網(wǎng)絡提取圖像的深度特征，相比于傳統(tǒng)融合方法有很大提升，但需要設計合適的融合規(guī)則以保證邊界融合質(zhì)量;另一類為統(tǒng)一融合策略，通過端到端網(wǎng)絡直接生成融合圖像[14]，該類策略需要設計合適的網(wǎng)絡提取圖像的淺層和深層特征并組合，需要同時考慮圖像結構相似性以及總變差指標等，網(wǎng)絡泛化性以及穩(wěn)定性相對較差。

　　綜上，考慮到巖石薄片圖像數(shù)據(jù)的特征以及算法的穩(wěn)定性，本文主要研究兩階段融合圖像的方法，設計無監(jiān)督神經(jīng)網(wǎng)絡提取圖像特征，找到兩幅圖像中各自清晰的視域，并優(yōu)化融合策略，將清晰區(qū)域合成到一張圖像中。為提升圖像融合效果，將該技術應用至地質(zhì)領域的薄片圖像融合中，我們使用巖石薄片圖像數(shù)據(jù)以及通用圖像數(shù)據(jù)集訓練了一個基于卷積神經(jīng)網(wǎng)絡的編碼器網(wǎng)絡來提取同一視域下不用聚焦點圖像的高維特征，然后在決策階段，利用該高維特征計算活躍度水平，最后通過一定的融合策略得到最終的融合圖。通過驗證，該網(wǎng)絡在顯微鏡巖石薄片圖像和普通場景圖像的多聚焦融合上都取得了較好的效果。

　　1本文方法

　　1.1算法整體概述

　　巖石薄片中顆粒形狀大小不一，在高倍顯微鏡下采集得到的部分圖像會產(chǎn)生區(qū)域模糊現(xiàn)象，這類圖像會影響巖石成分自動化分析，因此，本文設計了一種基于深度學習方法，以實現(xiàn)巖石薄片多聚焦融合。

　　本文算法可分為四個模塊：特征編碼器、特征解碼器、特征對比模塊、生成模塊。首先通過分別輸入兩幅不同聚焦點的圖像f1、f2至特征編碼器和特征解碼器，提取出各自的深層特征圖fm1、fm2。特征對比模塊計算特征圖fm1、fm2的空間頻率來得到對應的初始決策圖，決策圖反映了兩幅輸入圖像各自的活躍度水平;隨后通過逐像素比較兩張決策圖中對應坐標點的活躍度大小，得到一張二值決策圖;由于二值決策圖可能存在部分錯誤點，所以采用了常用的一致性驗證法來去除其中的錯誤點。最后，生成模塊根據(jù)決策圖生成最后的融合圖像。

　　1.2特征編解碼層

　　1)編解碼模型在傳統(tǒng)多聚焦融合領域，往往通過計算梯度或者頻率域信息得到圖像特征，然后采用一定的融合策略生成融合圖。而現(xiàn)有研究表明，卷積神經(jīng)網(wǎng)絡能有效提取圖像深層特征，通過對深層特征的抽取，能在圖像識別、分割和融合等方面取得優(yōu)于傳統(tǒng)圖像處理方法的效果。

　　本文中，我們首先訓練編解碼器網(wǎng)絡來提取兩幅輸入圖像的深層特征，編解碼網(wǎng)絡由上節(jié)所述的編碼器和解碼器組成;訓練階段，編碼器網(wǎng)絡的迭代訓練與后續(xù)的特征對比模塊、生成模塊獨立，當編解碼網(wǎng)絡模型訓練完成后，再計算由該網(wǎng)絡得到的特征譜的空間頻率。

　　編碼器的每一模塊是由3×3卷積神經(jīng)網(wǎng)絡和SEBlock(squeezeandexcitationmodule)[15]連接而成(SEBlock介紹見下節(jié)，而每一模塊的輸出通過級聯(lián)操作連接到其他模塊中，為了不損失圖像精細特征，相鄰模塊直接相連，不采用池化操作。解碼器由卷積模塊C1，C2，C3和C4組成，它用于按輸入圖像原尺寸重建出與原圖盡可能相似的特征。

　　1.3特征對比

　　特征對比模塊主要用于生成二值決策圖，它分別計算兩幅輸入圖像由神經(jīng)網(wǎng)絡提取出的特征圖的空間域頻率，逐像素比較兩幅輸入圖像特征譜計算得到的頻率大小，得到二值決策圖。

　　生成模塊特征對比模塊生成的二值決策圖在交界區(qū)域可能會出現(xiàn)小的毛刺和噪點，同時，交界線在不適當?shù)臎Q策下，也可能出現(xiàn)斷開的情況。因此，本文采用了一致性驗證方法，首先對二值決策圖像應用形態(tài)學先開后閉操作，形態(tài)描述符為小圓盤形結構。其中第一、三行是處理前的決策圖，第二、四行是處理后的決策圖;經(jīng)過形態(tài)學處理，消除了決策圖中的細線、小空洞等，同時將聚焦區(qū)域連接在了一起，聚焦交界處更加平滑。

　　另外，若直接采用形態(tài)學處理后的二值決策圖計算融合圖像，在聚焦區(qū)域和散焦區(qū)域會偽影現(xiàn)象產(chǎn)生，因此，本文利用了引導濾波器來提高決策圖的質(zhì)量。引導濾波器是一中效果良好的保邊緣濾波器，它使邊緣過渡更加平滑，減少梯度跳變，同時圖像輪廓基本保持不變。在本實驗中，引導濾波參數(shù)窗口大小ω設為，正則化參數(shù)ε設置為0.1。

　　2實驗

　　2.1實驗設置

　　本實驗中，實驗環(huán)境為Ubuntu20.04系統(tǒng)，Intel(R)Core(TM)i79700CPU，NVIDIARTX2080TiGPU，32GB內(nèi)存。由于采用無監(jiān)督策略，我們使用coco2014dataset數(shù)據(jù)集和巖石薄片圖像數(shù)據(jù)集訓練編解碼網(wǎng)絡，迭代周期中，有37145張開源圖像和1000張巖石薄片用于訓練網(wǎng)絡;20501張圖像作為驗證集，用于驗證重建能力。

　　網(wǎng)絡學習速率設為1×10，每epoch衰減至0.8倍，使用Adam方法優(yōu)化網(wǎng)絡模型參數(shù)。為了驗證網(wǎng)絡模型最終融合效果，實驗測試了36組通用圖像的融合效果，這些圖像廣泛用于多聚焦融合研究。其中包括“Lytro”數(shù)據(jù)集的20組圖片，以及16組其他圖像。最后，本實驗測試了巖石薄片圖像的聚焦效果，巖石薄片圖像由徠卡顯微鏡10倍鏡下采集而成。

　　2.2實驗結果分析

　　我們首先給出了該融合方法主觀上的融合效果，其中包括普通場景圖像和巖石薄片圖像的結果。每一列的前兩行是同一視域下不同聚集位置的兩張圖片，第三行是由本實驗生成的網(wǎng)絡決策圖，第四行是當前列對應的融合結果圖。可以看到，編解碼器網(wǎng)絡和融合層能準確識別出聚焦與失焦區(qū)域;同時在決策圖的引導下，最終生成了效果良好的融合圖像。

　　圖像融合論文范例： 基于稀疏表示的車用帶鋼表面圖像信息修復

　　http://m.seolinyi.cn/tuijianlunwen/36548.html

　　3結論

　　為解決巖石薄片圖像多聚焦融合問題，本實驗訓練了一個基于無監(jiān)督方法的深度學習神經(jīng)網(wǎng)絡，用該網(wǎng)絡提取圖片的深層特征圖，再計算特征圖空間頻率得到?jīng)Q策圖，最后使用經(jīng)圖像處理后的決策圖引導生成最終的融合圖。通過一系列實驗數(shù)據(jù)驗證對比，融合結果在主觀效果和客觀指標上都明顯優(yōu)于其他方法，實驗結果說明，該模型能準確識別并計算出巖石薄片圖像聚焦和失焦區(qū)域，并生成效果良好的融合圖，有效地解決了顯微鏡巖石薄片多聚焦圖像融合的問題;同時，本方法有較強的通用性和泛化能力，在通用的測試圖像和地質(zhì)領域的巖石薄片圖像上同時具有良好的融合效果。但是由于網(wǎng)絡參數(shù)量相對較大，將該方法應用到是實際工程中時，需要較好的硬件設備支撐;因此，需要進一步研究小網(wǎng)絡模型效果，減少模型計算量。

　　參考文獻

　　[1]LiS,KangX,FangL,etal.Pixellevelimagefusion:Asurveyofthestateoftheart[J].InformationFusion,2017,33：100112.

　　[2]杜晨光,胡建文,胡佩.半監(jiān)督卷積神經(jīng)網(wǎng)絡遙感圖像融合[J].電子測量與儀器學報,2021,35(6):6370.

　　[3]LiS,KangX,HuJ,etal.Imagemattingforfusionofmultifocusimagesindynamicscenes[J].InformationFusion,2013,14(2):14762.

　　[4]LiS,KangX,HuJ.ImageFusionWithGuidedFiltering[J].IEEETransactionsonImageProcessing,2013,22(7):28642875.

　　作者：劉強滕奇志1何海波