《基于多尺度特征融合注意力機(jī)制的紙病分類方法研究》論文發(fā)表期刊：《中國文藝家》；發(fā)表周期：2021年04期

《基于多尺度特征融合注意力機(jī)制的紙病分類方法研究》論文作者信息：張開生先生，博士，教授，博士生導(dǎo)師；研究方向：微電子、單片機(jī)應(yīng)用，嵌入式系統(tǒng)、物聯(lián)網(wǎng)技術(shù)的應(yīng)用及開發(fā)，工業(yè)自動化控制等。

　　摘要：針對造紙工業(yè)中傳統(tǒng)紙病分類算法準(zhǔn)確率低的問題，本課題提出一種多尺度圖像增強(qiáng)結(jié)合注意力機(jī)制的方法;采用銳化濾波器和對比度增強(qiáng)操作獲得圖像對直線信息的響應(yīng)，同時利用Sobel邊緣檢測獲取圖像對邊緣信息的響應(yīng)，然后將這些響應(yīng)分別放進(jìn)卷積神經(jīng)網(wǎng)絡(luò)(CNN)中提取淺層局部信息后進(jìn)行特征融合，得到全局信息，最后利用注意力機(jī)制，通過關(guān)注這些圖像中最有特點的部分，進(jìn)行紙病分類。實驗表明，該方法優(yōu)于HOG+SVM，LBP+SVM以及傳統(tǒng)CNN等方法，在自建數(shù)據(jù)集上，分類準(zhǔn)確率可達(dá)到96.63%;與現(xiàn)有基于CNN的紙病分類算法相比，所需的數(shù)據(jù)量更少，分類效果更好。

　　關(guān)鍵詞：多尺度特征融合;注意力機(jī)制;卷積神經(jīng)網(wǎng)絡(luò);圖像分類

　　Abstract: Aiming at the problem of inaccurate classification of traditional paper defect Algorithm in paper industry, this study proposed al classification method combined with multi-scale feature fusion and attention mechanism. The method uses sharpening filter and contrast enhancement to obtain the response to straight line, and then used Sobel edge detection to obtain the response to edge. Then, the above re-

　　sponses were put into a convolutional neural network (CNN) separately to extract shallow local information and focuse to get global information, finally an attention mechanism was used to classify paper defect by focusing on the most characteristic parts of the image. Experiments showed that this method outperformed HOG+SVM. LBP+SVM and traditional CNN methods, achieving 96. 63% classification accuracy on the selfbuilt dataset. Compared with existing CNN-based paper defect classification algorithm, the method proposed in this study required less train data and obtained better results

　　Key words: multi-scale feature fusion : attentional mechanisms; convolutional neural network; image classification

　　在紙張生產(chǎn)過程中，機(jī)器突然偏離正確軌跡等意外情況在所難免，這會使生產(chǎn)的紙張產(chǎn)生折疊、孔洞、劉痕等缺陷，不僅影響張質(zhì)量，還會降低經(jīng)濟(jì)效益，給造紙企業(yè)造成一定損失。因此，對紙張的缺陷檢測是造紙過程中不可或缺的環(huán)節(jié)。一直以來，這種缺陷檢測以人工排查為主，其原因主要有2方面，一是人工成本低廉;二是以前的計算機(jī)技術(shù)還不成熟，紙張缺陷檢測效果差"。隨著社會的發(fā)展，人力成本越來越昂貴，加之計算機(jī)技術(shù)飛速發(fā)展，越來越多的造紙企業(yè)開始用機(jī)器代替人12，紙張缺陷檢測的算法研究越來越多。袁浩等人3通過對紙病圖像進(jìn)行特征選擇，再利用支持向量機(jī)對提取到的特征進(jìn)行分類。但這種方法只對特定種類的紙張缺陷有較好效果，并不適用于所有紙病缺陷，且其檢測效果受光照影響明顯，泛化性差。為了改善這個問題，張學(xué)蘭等人提出了Prewitt算子檢測孔洞、臟點和褶皺。陳瑁等人"在背景與目標(biāo)缺陷對比不明顯的情況下，提出了一種將邊緣檢測和小波融合結(jié)合起來的方法，此方法定位準(zhǔn)確且有一定的抗噪性;但由于算法本身過于復(fù)雜，計算成本高，無法滿足現(xiàn)實造紙工廠檢測的實時性要求。殷燕屏等人“根據(jù)不同紙張缺陷圖像的灰度特征，利用動態(tài)雙閾值分割紙張缺陷區(qū)域，提取缺陷特征并進(jìn)行識別分類;然而此方法需要對不同的紙張缺陷設(shè)置不同的閾值，導(dǎo)致參數(shù)設(shè)置困難。為了降低參數(shù)設(shè)置的復(fù)雜度，段茵等人"采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行紙張缺陷檢測的識別與研究;首先將圖像進(jìn)行中值濾波，然后用全局Onsu算法根據(jù)閾值將圖像分為目標(biāo)和背景2個部分，對缺陷紙張進(jìn)行形態(tài)學(xué)處理后，輸入BP神經(jīng)網(wǎng)絡(luò)進(jìn)行缺陷分類。李光明等人"先利用Canny算子、Sobel算子等對紙病進(jìn)行梯度圖像增強(qiáng)，然后用MSMG進(jìn)行多尺度圖像增強(qiáng)，最后將增強(qiáng)后的圖像放進(jìn)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行缺陷分類。針對傳統(tǒng)紙病識別方法只對某些種類紙病分類效果好、特征計算復(fù)雜、實時性差等問題，本課題提出一種多尺度特征融合注意力機(jī)制的紙病分類方法，通過融合多種圖像增強(qiáng)方式進(jìn)行多尺度特征提取，以應(yīng)對不同的紙病缺陷，將這些特征輸入到帶有注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)，讓網(wǎng)絡(luò)更加關(guān)注紙張缺陷部分，從而達(dá)到更好的分類效果。

　　1多尺度特征融合注意力機(jī)制的紙病分類方法

　　本課題采用的多尺度特征融合注意力機(jī)制的紙病分類方法如圖1所示。將待檢測的缺陷圖片進(jìn)行亮度增強(qiáng)、銳化濾波與對比度增強(qiáng)、Sobel邊緣檢測等圖像增強(qiáng)算法后，分別輸入到3個共享權(quán)重的Resnet進(jìn)行淺層特征提取得到局部特征;隨后將3個特征圖進(jìn)行concate融合得到全局特征。此時融合得到的特征圖包含待檢測缺陷圖片的直線信息、邊緣信息等多尺度信息。最后將包含多尺度信息的全局特征圖輸入帶有attention機(jī)制的Resnet，讓網(wǎng)絡(luò)更多關(guān)注能區(qū)別缺陷類別的特征，從而更好地進(jìn)行分類。

　　1.1亮度增強(qiáng)

　　亮度增強(qiáng)就是改變圖像的亮度和對比度，實際是對圖像的每個像素點進(jìn)行相應(yīng)操作。具體過程可由式

　　式中，gli.j)及f(ij)代表圖像在(i.j)這個點亮度增強(qiáng)前后的像素值;參數(shù)a代表使圖像像素增長或降低的倍率，該參數(shù)必須大于0;參數(shù)B代表向白色或黑色靠近的程度，該值可正可負(fù)。

　　該算法對紙張中的污點、邊裂、孔洞響應(yīng)特別強(qiáng)烈，具體效果如圖2-圖4所示，其中左圖為原圖，右圖為亮度增強(qiáng)后的圖像。

　　1.2 銳化濾波

　　銳化空間濾波器主要用來增強(qiáng)圖像的突變信息，圖像細(xì)節(jié)信息和邊緣信息。使用鄰域的微分作為算子，增大鄰域間像素的差值，使圖像的突變部分變得更加明顯。從圖像灰度的一階微分和二階微分的性質(zhì)可知，在灰度值變化的地方，一階微分和二階微分的值均不為0，在灰度恒定的地方，微分值均為0。因此，使用一階微分和二階微分都可以得到圖像灰度的變化值。本課題中使用二階算子，紙病圖片可以看作二維離散函數(shù)，對于二階微分的 x方向和 y方向如式(2)和式(3)所示。

　　二階微分在斜坡處的值為0，但在斜坡兩端值不為0，且符號不同，這樣二階微分得到的是由0分開的1 個像素寬的雙邊緣。也就是說，與一階微分相比，二階微分在增強(qiáng)圖像細(xì)節(jié)方面更好，且計算更方便。

　　二階微分算子的代表為拉普拉斯算子 (▽)，定義如式(4)~式(6)所示。

　　該算法對紙張中的折痕、劃痕等直線部分響應(yīng)特別強(qiáng)烈，具體效果如圖 5和圖 6所示，其中左圖為原圖，右圖為銳化后的圖像。

　　1. 3 Sobel邊緣檢測

　　Sobel算子包含2組3×3的矩陣，分別為橫向及縱向，將之與圖像作平面卷積，即可分別得出橫向及縱向的亮度差分近似值。A代表原始圖像，Gx及 Gy分別代表經(jīng)橫向及縱向邊緣檢測的圖像灰度值，如式(7)和式(8)所示。

　　圖像的每個像素的橫向及縱向灰度值通過式(9)計算，以計算該點灰度的大小。

　　如果梯度G大于某一閥值，則認(rèn)為點(x, y)為邊緣點，可通過式(10)計算梯度方向。

　　Sobel 算子根據(jù)像素點上下、左右鄰點灰度加權(quán)差在邊緣處達(dá)到極值這一現(xiàn)象檢測邊緣;同時，對噪聲具有平滑作用，可提供較為精確的邊緣方向信息。該算法幾乎對所有紙病響應(yīng)都特別強(qiáng)烈，具體效果如圖 7和圖 8所示，其中左圖為原圖，右圖為銳化后的圖像。

　　1.4 Resnet特征提取器與分類器Resnet是由He等人"提出的一種基于CNN的特征提取框架，主要解決了深度神經(jīng)網(wǎng)絡(luò)的“退化”問題。

　　1.4.1 批量歸一化

　　神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程的本質(zhì)一方面是為了學(xué)習(xí)數(shù)據(jù)分布，如果訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)的分布不同，則網(wǎng)絡(luò)的泛化能力會大大降低;另一方面，如果每批訓(xùn)練數(shù)據(jù)的分布各不相同，則每次迭代都需學(xué)習(xí)適應(yīng)不同的分布，會大大降低網(wǎng)絡(luò)的訓(xùn)練速度，因此需要對數(shù)據(jù)做歸一化預(yù)處理。

　　首先計算每個批次的均值 (μB) 與方差 (σB)，計算公式如式(11)和式(12)所示。

　　然后根據(jù)上面計算得到的結(jié)果進(jìn)行正則化，如式(13)所示。

　　為了讓學(xué)習(xí)到的特征分布不被破壞，需對其進(jìn)行變換重構(gòu)，如式(14)所示。

　　1. 4. 2 池化層

　　由于Resnet使網(wǎng)絡(luò)加入了更多的單元，導(dǎo)致整個網(wǎng)絡(luò)隱藏層參數(shù)增多，訓(xùn)練時易造成過擬合的狀況。為了減少參數(shù)的復(fù)雜度，采用最大池化，使其不再嚴(yán)格要求相鄰塊聚合到 1 個上層塊，第 l+1 層的特征圖如式(15)所示。

　　圖9為未經(jīng)池化的網(wǎng)絡(luò)結(jié)構(gòu)，圖10為經(jīng)過池化后的網(wǎng)絡(luò)結(jié)構(gòu)。如圖9和圖10所示，2者對比可以直觀

　　看出池化層對于降低特征分辨率的作用。

　　1. 4. 3 注意力機(jī)制

　　卷積注意力模塊 (CBAM) 是 Woo 等人[10]提出的一種用于前饋卷積神經(jīng)網(wǎng)絡(luò)的注意力模塊。給定1個中間特征圖，CBAM會沿著2個獨(dú)立的維度(通道和空間)依次推斷注意力圖，然后將注意力圖與輸人特征圖相乘以進(jìn)行自適應(yīng)特征優(yōu)化。

　　通道注意力模塊將特征圖在空間維度上進(jìn)行壓縮，得到1個一維矢量后再進(jìn)行操作。在空間維度上進(jìn)行壓縮時，不僅考慮了平均值池化還考慮了最大值池化，如式(16)所示。

　　空間注意力模塊對通道進(jìn)行壓縮，在通道維度分別進(jìn)行了平均值池化和最大值池化，接著將前面提取到的特征圖 (通道數(shù)都為 1) 合并得到 1 個 2 通道的特征圖，如式(17)所示。

　　1.5算法描述

　　本課題采用多尺度特征融合結(jié)合注意力機(jī)制的紙病分類方法，利用不同圖像增強(qiáng)算法對不同紙張缺陷類型的響應(yīng)程度不同，將這些特征拼接后輸入至Resnet進(jìn)行特征提取，然后利用融合注意力機(jī)制的Resnet模型將網(wǎng)絡(luò)關(guān)注的重點集中到紙張缺陷區(qū)域，進(jìn)而實現(xiàn)紙張缺陷分類。

　　多尺度特征融合結(jié)合注意力機(jī)制的紙病分類算法具體步驟如下。

　　(1)準(zhǔn)備紙病圖像數(shù)據(jù)，采用旋轉(zhuǎn)、平移、拼接等操作進(jìn)行數(shù)據(jù)擴(kuò)充;

　　(2)將擴(kuò)充后的數(shù)據(jù)隨機(jī)劃分為訓(xùn)練集合測試集;

　　(3)利用亮度增強(qiáng)、銳化濾波、Sobel邊緣檢測3種算法分別對訓(xùn)練集圖像進(jìn)行處理，得到3張增強(qiáng)后的圖像;

　　(4)將這3張圖像分別送入3個共享參數(shù)的Resnet中進(jìn)行特征提取得到局部特征;

　　(5)將步驟4得到的3個局部特征圖進(jìn)行拼接融合得到全局特征圖;

　　(6)將全局特征圖送人融合CBAM的Resnet中進(jìn)行分類;

　　(7)重復(fù)步驟4-6直至網(wǎng)絡(luò)收敏;

　　(8)將測試數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)后，送至訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行分類，得到測試集數(shù)據(jù)對應(yīng)的預(yù)測標(biāo)簽;(9)將測試集的預(yù)測標(biāo)簽與實際標(biāo)簽對比，計算紙病識別分類正確率。

　　算法流程圖如圖11所示。

　　2 實驗與分析

　　2. 1 實驗條件

　　實驗硬件環(huán)境如下：64 位 Microsoft Windows 10操作系統(tǒng)，Intel(R)Core(TM)CPU i5-4590 CPU@3.3 GHz四核處理器，8G 運(yùn)行內(nèi)存，GPU 采用 GTX 1080Ti。實驗軟件環(huán)境：IDE 為 Pycharm，深度學(xué)習(xí)框架為開源的Pytorch。

　　2. 2 實驗數(shù)據(jù)準(zhǔn)備

　　實驗通過實際紙病圖像分類，驗證本課題算法的可行性。實驗選擇的各紙病類別及其數(shù)量如表1所示。

　　首先對每個類別的數(shù)據(jù)進(jìn)行逆時針旋轉(zhuǎn)9001800，270等操作以進(jìn)行數(shù)據(jù)擴(kuò)充，擴(kuò)充后的圖像總計2097個，每張圖像的尺寸為116x116x3 dpi。隨后按8：2比例將總數(shù)據(jù)集隨機(jī)劃分成訓(xùn)練集和測試集。對比紙病類別標(biāo)簽與實際類別標(biāo)簽，對實驗結(jié)果進(jìn)行評價。

　　2.3深度網(wǎng)絡(luò)訓(xùn)練過程及結(jié)果

　　在對樣本進(jìn)行多次訓(xùn)練，不斷調(diào)整參數(shù)后，最終設(shè)定訓(xùn)練集的batch size為32，測試集的batchsize為64，優(yōu)化器采用SDG，設(shè)置基礎(chǔ)學(xué)習(xí)率base_r為

　　0.01，且每迭代50次衰減1次，衰減系數(shù)為0.1，設(shè)置權(quán)重衰減系數(shù)weight-decay為0.0001，訓(xùn)練的最大迭代次數(shù)max_iter為500，為了防止過擬合，設(shè)置Drop out為0.5.

　　訓(xùn)練后，模型在收斂過程中的訓(xùn)練集和測試集的ace變化如圖12所示。在上述設(shè)置的參數(shù)下，模型在訓(xùn)練集的最終準(zhǔn)確率為99.43%，在測試集的最終準(zhǔn)確率為96.63%。由此可知，本課題所設(shè)計的算法在紙病樣本上得到了較好的收斂。

　　2.4不同方法結(jié)果對比

　　為了驗證本課題提出方法的有效性，將不同方法應(yīng)用在自建數(shù)據(jù)集上比較結(jié)果，如表2所示。從表2可以看出，本課題提出的方法在損失較小實時性的同時，在紙病識別準(zhǔn)確率上獲得較大的提升，證明性能十分優(yōu)異。

　　3結(jié)論

　　針對不同紙病類別對不同數(shù)據(jù)增強(qiáng)算法響應(yīng)差別較大的問題，本課題提出了一種多尺度特征融合結(jié)合注意力機(jī)制的紙病分類方法。該方法先利用亮度增強(qiáng)、銳化器、Sobel邊緣檢測的方法分別對紙病進(jìn)行圖像增強(qiáng)，不同紙病類別雖不能對每種圖像增強(qiáng)方法都響應(yīng)強(qiáng)烈，但會對其中至少1種或2種方法有較好響應(yīng)。本方法將這些響應(yīng)進(jìn)行特征融合后送入帶有注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)中，讓其重點關(guān)注那些響應(yīng)強(qiáng)烈的特征，以此進(jìn)行分類。本分類算法在測試集上的分類準(zhǔn)確率達(dá)到了96.63%，同時耗時少于一般傳統(tǒng)方法，證明了本方法的優(yōu)越性和實用性。

　　參考文獻(xiàn)

　　[1]高樂樂，周強(qiáng)，王偉剛，基于CNN的深層次特征提取病辨識方法研究[J].中造2報，2019，34(4)：52-58.

　　GAO LL，ZHOU Q，WANG W G.Paper Defects Recognition Based on Deep Layer Feature Extraction of CNN[J].Transactions of China Pulp and Paper，2019，34(4)：52-58，

　　[2]Rakesh Kumar Jain，Vikas Kumar.Status，Prospects&Perspectives of Indian Paper Industry[J].Paper and Biomaterials，2019，4(1)：57-64.

　　[3]袁浩，付忠良，程建，等，基于支持向量機(jī)的紙張缺陷圖像分類識別[J].計算機(jī)應(yīng)用，2008，28(2)：330-332+349.

　　YUAN H，F(xiàn)U Z L，CHENG J，et al.Paper defect image classification and recognition based on support vector machine[J].Journal of Computer Applications，2008，28(2)：330-332+349.

　　[4]張學(xué)蘭，李軍，辛培紅，等，邊緣檢測在紙病圖像分析中的應(yīng)用[J].造紙科學(xué)與技術(shù)，2012，31(6)：121-125.

　　ZHANG XL，LI J，XIN P H，et al.The Application of Edge Detection in Paper Defect Image[J].Paper Science&Technology，2012，31(6)：121-125.

　　[5]陳瑁，王亦紅，基于機(jī)器視覺的低對比度紙病識別算法研究[J].中國造紙學(xué)報，2013，28(2)：29-33.

　　CHEN J.WANG Y H.Identification Algorithm of low Contrast Pa-per Defects Based on Machine Vision[J].Transactions of China Pulp and Paper，2013，28(2)：29-33.

　　[6]殷燕屏，熊智新，胡慕伊，基于閾值分割及分形特征的紙病圖像識別算法研究[J].中國造學(xué)報，2011，26(4)：41-45.

　　YIN Y P，XIONG Z X，HU M Y.Paper Defect Image Recognition Algorithm Based on Threshold Segmentation and Fractal Features [J].Transactions of China Pulp and Paper，2011，26(4)：41-45.

　　[7]段茵，陳愷煊，劉 昕，等，基于BP神經(jīng)網(wǎng)絡(luò)的紙張缺陷檢測與識別研究[J].西安理工大學(xué)學(xué)報，2018，34(2)：235-239.

　　DUAN Y，CHEN K X，LIU X，et al.Research on paper defect detection and recognition based on BP neural network[J].Journal of Xi'an University of Technology，2018，34(2)：235-239

　　[8]李光明，薛丁華，加小紅，等，基于多尺度圖像增強(qiáng)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的紙病識別分類[J].中國造紙，2018，37(8)：47-54.

　　LI G M，XUE D H，JIA X H，et al.Paper Defects ClassificationBased on Multi-scale Image Enhancement Combined with Convolu-

　　tion Neural Network[J].China Pulp&Paper，2018，37(8)：47-54.

　　[9]He K，Zhang X，Ren S，et al.Deep Residual Leamning for Image Recognition[C]/2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE，2016：770-778.

　　[10]Woo s，Park J，Lee J Y，et al.Cbam：Convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision，2018：3-19.