《基于面部特征點的人臉圖像修復網絡》論文發表期刊：《中國科技論文》；發表周期：2021年07期

《基于面部特征點的人臉圖像修復網絡》論文作者信息：第一作者：羅仕勝（1995—），男，碩士研究生，主要研究方向為圖像處理。通信作者：陳明舉，副教授，主要研究方向為圖像處理。

　　摘 要：為了獲得更好的圖像修復效果，建立了一種由人臉特征點預測子網和人臉修復子網組成的人臉面部圖像修復深度學習網絡。該網絡的面部特征點預測子網在 MobileNetV2模型基 礎 上 引 入 SE(squeeze-and-excite)結 構，實現了對不完整人臉圖像的面部特征點預測;修復子網中的生成器采用密集連接塊 U-Net結構，并新增殘差塊間的跳躍連接，實現了對提取的圖像淺層特征信息的再利用，增強了神經網絡結構信息的預測能力。對比實驗結果證明，所提人臉圖像修復深度學習網絡可獲得更好的圖像修復性能，修復后的圖像更接近于真實圖像。

　　關鍵詞：圖像修復;特征點預測;密集連接塊;跳躍連接;生成對抗網絡

　　Abstract: In order to obtain a better image inpainting effect, a face image inpainting deep learning net work composed of face landmark prediction and inpainting subnet was established. Based on the MobileNetV2, the facial landmark prediction subnet of this net work introduced SE (squeeze-and-excite) module to realize the prediction of facial landmarks of incomplete face images. The generator in the inpainting subnet adopted the densely connected block U-Net structure. The skip connections between residual blocks were added to realize the reuse of the shallow feature information of the extracted image, which enhanced the predictive a bility of the neural network structure information. Comparative experiments prove that the proposed deep learning network for face image inpainting can obtain better image inpainting performance, and the inpainted image is closer to the real image.

　　Keywords: image inpainting; landmark prediction; dense block; skip connections; generative adversarial networks

　　近年來，基于面部信息特征的生物識別因具有用戶接受度高、實施應用方便及隱蔽性好等優點而被廣泛應用，成為學者們研究的主要內容之一。但在實際應用中，由于環境復雜、表情多變及物體遮擋等多種原因，造成人臉識別的準確率較低，是亟待解決的問題。對公安系統而言，犯罪分子往往會使用口罩、眼鏡等遮擋物，導致面部大多數信息丟失，影響面部特征的提取，造成人臉識別算法的誤判。采用圖像修復方法可以有效地實現對缺失人臉圖像的修復，提高人臉識別的準確率。

　　傳統的修復方法主要有2種：一種是基于擴散的方法，另一種是基于補丁的方法。基于擴散的方法[r2以迭代擴散的方式在被遮擋的區域傳導低級特征，僅適用于結構性較強的小尺寸區域;基于補丁的方法[-1通過在同一張圖像上的其他區域尋找相似的塊，以實現遮擋區域的修復，但其忽略了區域的連續性，會在邊界區域存在一定的模糊。

　　近年來，基于深度學習的圖像處理技術在圖像處理中獲得了較好的效果，并逐漸被應用于圖像修復處理中。其中，生成對抗網絡(generative adver-

　　sarial networks，GAN)采用生成模型和判別模型的互相博弈學習，能有效實現圖像修復[-3]，如對抗性損失訓練的編解碼深度學習網絡[1]、由粗到細的距離空間相關特征網絡結構及語義分割的缺失修復網絡等[10]。針對人臉的特殊性，Jo等[1]通過手工標注人臉邊緣，再通過深度學習網絡生成人臉圖像。

　　Nazeri等[2]應用邊緣學習對抗網絡來預測邊緣，代替了手工標注，但在大面積缺失情況下預測效果不準確。Zhang等[15].zakharov等[]、Yang等[15]通過提取人臉特征點作為人臉臉部圖像修復的參考，以提高人臉圖像的修復效果。

　　有效的人臉修復算法應該考慮面部器官的結構分布與面部表情、姿勢、性別等方面的特征。這些特征點可以看作對面部關鍵區域采樣的離散點，離散的特征點可以視為在去除用于面部修復的冗余信息情況下，對面部區域進行反向推理。基于上述思想，本文建立一種由人臉特征點預測的深度學習修復網絡，以實現面部圖像的有效修復。該網絡通過引入SE(squeeze-andrexcite)[6]結構的MobileNet模型實現對待修復面部圖像特征點的預測;修復子網是基于GAN所組成的，其中生成器部分新增殘差網絡之間的跳躍連接，通過對低層卷積層中圖像特征的結合，起到增強網絡對圖像結構信息提取及預測的能力。并通過對比實驗證明建立的基于特征點預測的深度學習網絡具有高效的面部圖像修復性能。

　　1面部特征預測深度學習圖像修復網絡

　　有效的人臉修復算法采用語義上有意義、視覺

　　上連續的信息來填充缺失部分，給出1張被掩模

　　(S)遮擋的人臉圖像(1)，指定5為S的補碼，修復結果(i)可定義為

　　有效的人臉修復算法的修復結果應該保持眼睛、鼻子和嘴等面部各器官之間的拓撲結構，以及姿勢、性別、種族和表情等的一致性。為了實現這個目標，本文建立了由特征點預測子網和深層修復網絡組成的人臉修復模型，深層修復網絡利用生成的面部特征點對人臉進行修復。為生成有效的人臉特征圖，在MobileNetV2網絡[17)的基礎上引入SE結構，構建一個輕量級特征點預測網絡，并生成一個高精度面部特征點檢測網絡。修復網絡由生成器和鑒別器組成，生成器以U-Net結構[]為基礎。其中，生成器部分新增殘差網絡之間的跳躍連接，使得網絡可以更好地利用網絡空間不同階段的圖像特征，減少下采樣過程中所造成的圖像結構信息損失，并結合未缺失區域進一步提取缺失部分圖像的語義，強化神經網絡對圖像結構信息的預測能力。此外，跳躍連接還可以起到防止梯度消失的作用。根據面部圖像的特性，鑒別器以Patch-GAN結構為基礎，引入譜歸一化(spectral normalization，SN)模塊和實例正則化(instance normalization，IN)模塊，并插入注意層，自適應地處理特征，以實現面部圖片的高精度修復。人臉修復網絡結構如圖1所示。圖中，右下角虛線框中為網絡結構中各個部分所對應的組成示意圖，卷積層中的LReLU，ReL.U，PRel.U.Re LU6，tanh均為激活函數，Conv為卷積操作，Deconv為反卷積操作。

　　1.1特征點預測網絡

　　目標修復任務針對的主要是底層的拓撲結構和屬性，而不只是單個特征點的精確位置。因此，建立面部圖像拓撲結構特征點預測模塊，將有效提高圖像的修復性能。SEnet網絡采用通道特征加權的思路，能尋找拓撲結構的部分關鍵特征點，但是訓練效果較差，SEnet訓練的關鍵點很難收斂。為了更好地實現人臉特征的預測，本文采用深度可分離卷積、批歸泛化、反向殘差結構、線性瓶頸結構、平均池化等，并引入SE模塊，建立準確的人臉特征拓撲結構MobileNetV3，其結構如圖2所示。

　　特征點預測網絡是基于MobileNetV3設計的，利用MobileNet V3網絡前13層卷積層中的一系列瓶頸(bneck)結構來提取特征并加快網絡速度;接下來的10個卷積層是對提取特征圖進行的壓縮處理;網絡的最后一層為全連接層，將處理后的特征圖進行融合并將其映射到樣本圖像中，進而輸出遮擋圖像的預測面部特征點。特征點預測網絡如圖3所示。圖中：每個方形塊代表網絡中的一個部分，c為通道數，k為內核大小，s為卷積或反卷積層步長，p為填充，f為膨脹系數，n為重復次數;第1部分參數(從上到下，圓點隔開)分別為c、k、s.p;第2~12部分參數分別為f、c、n、s;其余參數為c。

　　1.2 面部圖像修復網絡

　　修復網絡結構由生成器和鑒別器組成。生成器是在遮擋圖片和預測特征點的基礎上生成修復圖像;而判別器是結合真實特征點來判別生成的結果是否符合真實的情況。生成器結構如圖4所示。除了第11部分外，其余部分參數(從上到下，圓點隔開)分別為c、k、s、p。

　　生成器基于U-Net結構，采用3個逐漸向下采樣的編碼塊組成，其后是伴隨空洞卷積的7個殘差塊和1個長短期注意塊。解碼器結合低層的特征對所得特征進行處理，通過逐層上采樣使得圖像恢復到與輸入時同樣大小。空洞卷積使得最終的特征圖不至于太小而丟失太多細節。殘差塊的引入是為了降低計算的復雜度。長短期注意層[]被用來連接時間特征圖，而堆積的擴張塊則是為了擴大感受野，以便能考慮更廣范圍的特征。每個解碼層之前執行1×1卷積運算，以接受前面的所有特征圖，并使特征圖尺寸增大1倍。另外，為了更好地提取圖像缺失部分的語義信息，在相應的編解碼層及殘差塊之間加入跳躍連接，這不僅便于對圖像低層特征的再利用，還能夠提供從淺層到深層的梯度流信息，改進訓練速度，進一步提高訓練性能。

　　基于博弈的概念，生成器試圖生成1個特征點，作為條件完整的人臉來欺騙判別器，而判別器是確定生成的結果是否滿足數據分布。當生成的結果與實際結果不可區分時，即達到收斂。

　　在修復網絡中，判別器建立在70×70的PatchrGAN結構上[20，為了穩定訓練過程，本文將SN引入到修復網絡的判別器模塊中。除此之外，插入注意層(判別器的第3層)，以自適應地處理特征。判別器中使用特征點作為判別標準，確保了面部的全局結構，保證了屬性的一致性。判別器結構如圖5所示。除 了 第3部 分 外，其 余 部 分 參 數(從 上 到 下，圓點隔開)分別為c、k、s、p。

　　2實驗驗證

　　2.1訓練規劃

　　本文訓練和測試均在Windows10專業版操作系統的服務器上進行，服務器硬件配置為CPU(Inter Xeon)、4塊GPU(Nvidia TITAN Xp)、超微主板X1ODRG-Q、鎂光256 GB內存、2 TB硬盤;軟件配置為CUDA.Anaconda3.Pytorch.PyCharm.Python3.7等。

　　實驗選用CelebA數據集、CelebA-HQ數據集及WFIW數據集對本文算法進行訓練。由于數據集原始數據給出的特征點不夠，本文使用FAN來生成特征點，作為真實圖像的特征點。如果對特征點生成網絡與修復網絡同時進行訓練，參數的調整非常困難，會造成特征點預測精度較低和圖形修復效果變差。因此，將模型分為特征點預測模塊和修復模塊，并分別對特征點預測模型和修復模型進行訓練。在本文實驗中，特征點預測模型和修復模型均使用256 × 256大小的面部圖像進行訓練，采用Adma優化器[2])進行優化，設置指數衰減率A=0.

　　品=0.9，學習率為10-。鑒別器的學習率設置為10-s，特征點預測網絡使用的batch size設置為16，修復網絡的batch size設置為42.2修復實驗

　　對比分析實驗使用CelebA-HQ數據集中未參與訓練的300張圖像。使用遮擋區域較大的中心掩模與原圖像進行Hadamard乘積形成遮擋圖像，作為用于實驗的待修復圖像。實驗所用圖像像素值規格統一設置為256 ×256，掩模部分采用的像素值規格為中心區域為128×128的白色掩模。本文網絡的人臉修復過程如圖6所示。特征點預測模塊首先對遮擋圖像進行特征點預測，修復模塊然后對預測特征點與遮擋圖像結合所生成的圖像進行修復。由圖6可以看出，本文提出的深度網絡能準確地生成特征點預測模塊，且修復后的圖像接近于真實圖像。

　　另外，分別采用CelebA數據集、CelebA-HQ數據集[2)及WFLW數據集對本文建立的深度學習網絡進行訓練，再對測試圖片分別進行修復，修復后的部分圖片如圖7所示，可見，用CelebA-HQ數據集訓練出的修復模型對圖像的修復效果更佳，人臉面部表情更自然，面部各器官之間的拓撲結構更符合真實圖像。因此，后續的實驗將基于CelebA-HQ人臉數據集對本文算法作性能評估。

　　為證明本文建立的基于面部特征預測的深度學習修復圖像網絡的優越性，將本文深度學習網絡的修復結果分別與同本文算法相近似的深度學習網絡EdgeConnect(EC)[，Contextual Attention(CA)[2]和LaFIn[15]進行對比分析。

　　定量比較采用峰值信噪比(peak signal to noise ratio，PSNR)、結構相似性(structural similarity in dex，SSIM)[2]及弗雷特距離(Frechet inception dis tance score，FID)[2]3個客觀指標，PSNR和SSIM值越高，表示性能越好;FID值越低，則表示性能越好。

　　對CelebA-HQ數據集在中心掩模上的PSNR SSIM和FID值進行定量比較，結果見表1，可見：EC網絡的PSNR和SSIM值優于CA網絡，因其是利用邊緣信息來幫助修復;LaFIn網絡采用基于Mobilenetv2結構的特征點預測模型，并使用U-Net結構的生成網絡，其客觀指標優于CA和EC。在各種網絡中，本文提出的特征點預測深度網絡獲得了最高的PSNR和SSIM值，最低的FID值。這是由于本文的深度網絡基于LaFIn網絡，引入的SE模塊提高了面部特征點預測的精確度，且修復子網中的生成器部分新增了殘差網絡之間的跳躍連接，通過對低層卷積抽象位置特征的再利用，可強化神經網絡結構信息的預測能力，相比于基于邊緣特征的邊緣特征修復網絡，其PSNR與SSIM值分別提高了578%和7.33%，FID值降低了22.36%。可見，基于本文特征點預測深度學習網絡的人臉修復效果明顯優于基于邊緣特征的人臉修復網絡。相比于L.aFIn網絡，本文所提網絡修復后PSNR和SSIM值分別提高了2.01%和2.67%，FID值降低了3.73%，證明本文建立的特征點預測深度學習網絡的人臉修復效果最優。

　　CA網絡、EC網絡、LaFn網絡和本文所提網絡修復后的部分結果對比如圖8所示，可見：人臉在較大面積的遮擋情況下，CA網絡和EC網絡的修復效果并不理想，修復的面部圖像的拓撲結構與原圖有較大差異，CA網絡甚至會產生模糊區域，如圖8(c)的第1，3行中，CA網絡所生成的修復區域圖像變得模糊。EC網絡在大多數情況下可以還原出圖像的面部結構，但其拓撲結構與原圖像相比卻有較大的差別(圖8(d))。此外，相比于CA網絡和EC網絡，LaFIn網絡和本文建立的深度學習網絡能獲得更好的修復效果。同時，通過對比圖8(e)和圖8(f)，且與LaFIn網絡相比，本文建立的深度學習網絡在修復的面部各器官的形狀、表情、紋理結構及清晰度4個方面均有所提升，有更優的修復效果，更接近于真實圖像。通過圖8可以再次說明，本文建立的深度學習網絡，由于引入了SE模塊的特征點預測模型，以及在生成網絡殘差塊中新增了跳躍連接，能更好地實現人臉圖像的修復。

　　3結論

　　本文針對現有人臉圖像修復網絡的不足，在對LaFIn網絡進行深入研究的基礎上，提出了一種基于LaFIn網絡結構的改進網絡，通過引入SE結構到特征點預測子網，生成高精度面部特征點檢測網絡，提高面部特征點預測的精確度;在修復子網生成器中新增殘差網絡之間的跳躍連接，使得網絡可以更好地利用網絡空間不同階段的圖像特征，減少下梁樣過程中所造成的圖像結構信息損失;結合未缺失區域進一步提取缺失部分圖像的語義，強化神經網絡對圖像結構信息的預測能力。對比實驗證明，本文網絡具有更好的修復效果，修復后的圖像更接近真實圖像，更適合用于對大面積遮擋的人臉圖像的修復。

　　[參考文獻](References)

　　[1]BERTALMIO M，SAPIRO G，CASELLES V，et al.Image inpainting[C]//Proceedings of the 27th AnnualConference on Computer graphics And Interactive Techniques.[S l.：s n]，2000：417-424.

　　[2] YAMAUCHI H.HABER J.SEIDEL H P.Image restoration using multiresolution texture synthesis and image inpainting[C]//Proceedings of Computer Graphics International.New York：IEEE，2003：7854038.

　　[3]BARNES C，SHECHTMAN E.FINKELSTEIN A.et al. PatchMatch: a randomized correspondence algorithm for structural image editing [J]. ACM Transations Graphics, 2009, 28(3): 1-11.

　　[4]HUANG J B.KANG S B.Ahuja N，et al.Image completion using planar structure guidance[J].ACM Transactions on Graphics，2014，33(4)：1-10.

　　[5]MAO XD，LI Q.XIE H R，et al.Least squares generative adversarial networks[C]//2017 IEEE International Conference on Computer Vision(ICCV).New York：IEEE，2016：17453045.

　　[6]付奧，基于深度生成對抗模型的人臉修復算法研究[D].西安：西安電子科技大，，2019：25-37.

　　FU A.Research on face repair algorithm based on deep generative adversarial model[D].Xi'an：Xidian University，2019：25-37.(in Chinese)

　　[7]馬悅，基于深度生成模型的人臉圖像修復算法研究[D].西安：西安電子科技大，2019：23-43.

　　MA Y.Research on face image restoration algorithm based on depth generative model[D].Xi'an：Xidian University，2019：23-43.(in Chinese)

　　[8]朱德泉，基于生成對抗網絡的人臉圖像修復的研究[D].成都：電子科技大學，2020：23-43.

　　ZHU D Q.Research on face image restoration based ongenerative adversarial network[D].Chengdu：Univerity of Electronic Science and Technology of China，2020：23-43.(in Chinese)

　　[9] GOODFELLOW I, POUGET-ABADIE J, MIRZA M.et al. Generative adversarial networks [J]. Communications of the ACM, 2020, 63(11): 139-144.

　　[10] LI YJ, LIU SF, YANG J M, et al. Generative face completion [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE, 2017: 17355119.

　　[11] JO Y, PARK J. SC-FEGAN: face editing g-enerative adversarial network with user's sketch and color [C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV). New York: IEEE, 2019: 19410332.

　　[12] NAZERI K, NG E, JOSEPH T, et al. Edgeconnect: generative image inpainting with adversarial edge learning [J]. arXiv, 2019: 1901. 00212.

　　[13] ZHANGJ N, ZENG X F, PAN Y S, et al. Faceswaprnet: landmark guided many-to-many face reenactment[J]. arXiv, 2019: 1905 11805.

　　[14] ZAKHAROV E. SHYSHEYA A, BURKOV E, et al.Fewshot adversarial learning of realistic neural talking head models [C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV). New York: IEEE, 2019: 19399012.

　　[15] YANG Y, GUO XJ, MA J Y, et al. LaFIn: generative landmark guided face inpainting [J]. arXiv,2019: 1911. 11394.

　　[16] HUJ, SHEN L. ALBANIE S, et al. Squeeze-and-ex-citation networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 42 (8):2011-2023

　　[17]SANDLER M，HOWARD A，ZHU M，et al.MobileNetV2：inverted residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.New York：IEEE，2018：18311793.

　　[18]楊文霞，王萌，張亮，基于密集連接塊U-Net的語義人臉圖像修復[1].計算機應用，2020，40(12)：3651-3657.

　　YANG W X.WANG M.ZHANG L..Semantic face image inpainting based on U-Net with dense blocks[J].Journal of Computer Applications，2020，40(12)：3651-3657.(in Chinese)

　　[19]ZHENG C X.CHAM TJ，CAI J F.Pluralistic image completion[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).New York：IEEE，2019：19263276.

　　[20]SANDLER M，HOWARD A，ZHU M，et al.Mobilenetv2：inverted residuals and linear bottlenecks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition，New York：IEEE，2018：18311793.

　　[21] KINGMA D P, BA J. Adam: a method for stochastic optimization [J]. arXiv, 2014: 1412. 6980

　　[22] LIU Z W, LUO P, WANG X Q, et al. Deep learning ace attributes in the wild [C]//2015 IEEE International Conference on Computer Vision (ICCV), New York: EEE. 2015: 15801641.

　　[23] YUJ H, LIN Z, YANGJ M, et al. Generative image inpainting with contextual attention [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 18347746.

　　[24] WANG Z. BOVIK A C. SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity [J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612,

　　[25] HEUSEL M. RAMSAUER H, UNTERTHINER T, et al. Gans trained by a two timescale update rule converge to a local nash equilibrium [C]//Proceedings of the 31 st International Conference on Neural Information Processing Systems. [s. 1.]: NIPS, 2017:6629-6640.