摘要：采用人臉特征點調整三維形變模型的方法應用于面部三維重建，但模型形變的計算往往會產生誤差，且耗時較長。因此運用人臉二維特征點對通用三維形變模型的擬合方法進行改進，提出了一種視頻流的多角度實時三維人臉重建方法。首先利用帶有三層卷積網絡的CLNF算法識別二維特征點，并跟蹤特征點位置;然后由五官特征點位置估計頭部姿態，更新模型的表情系數，其結果再作用于PCA形狀系數，促使當前三維模型發生形變;最后采用ISOMAP算法提取網格紋理信息，進行紋理融合形成特定人臉模型。實驗結果表明，該方法在人臉重建過程中具有更好的實時性能，且精確度有所提高。

　　關鍵詞：三維形變模型;特征點提取;表情系數;PCA形狀系數;紋理融合

　　隨著視覺感知和獲取技術的發展，近年來，人臉三維重建的精確度逐步提高，其流行方法包括激光掃描、結構化光掃描、RGBD相機[1]等。同時，3D人臉模型被廣泛應用于建模[2]、動畫[3]、游戲[4]、信息安全和3D打印[5]等領域。但是，當前的人臉三維模型往往需要通過昂貴的設備和相當高水平的專業知識來實現高質量的捕獲和重建[6]，遠遠超出了一般終端用戶的能力，因此限制了該技術的潛在應用。從二維圖像中重建人臉三維模型無需昂貴的設備和專業的操作，具有制作成本低、使用方便、利于推廣等優點，一直是該領域的研究熱點。基于圖像的人臉建模最常用的2種方法為基于明暗恢復形狀的方法和基于形變模型的方法。HORN[7]早在20世紀70年代就提出了通過圖像明暗變化恢復物體外觀形狀的方法，類似于物體成像的逆過程，根據人臉照片的亮度變化恢復人臉模型的表面形狀。其優點在于數據集的需求較小，通過少量人臉圖像恢復人臉的形狀模型，但該模型所需條件過于理想化，對拍攝角度、光照方向有要求，實時性較差，無法被廣泛應用。BLANZ和VETTER[8]提出的三維形變模型(3Dmorphablemodel,3DMM)法是目前較為成功的利用二維圖像進行人臉重構的方法。通過建立三維人臉的線性組合，結合二維圖像調節、擬合得到重構的三維人臉。

　　其創造性地將一個具體的人臉模型分解為形狀和紋理2個部分，且具有高度自動化和真實感強的優勢，在人臉三維重建領域廣受關注。文獻[9]通過在二維圖像和三維面部模型數據集上訓練卷積神經網絡，在不考慮細節和紋理特征的情況下，能夠實現任意姿態和表情的面部幾何重建。文獻[10]提出了一種高保真姿態和表情的方法，利用姿態變換造成二維和三維特征點的不對應關系，采用三維形變模型自動生成正面姿態和中性表情的自然人臉模型。

　　文獻[11]通過大量的數據標記，提出了一種魯棒性的，由輸入照片直接返回3DMM形狀和紋理參數的回歸方法，克服了模型泛化問題，生成可用于人臉識別的三維人臉模型。文獻[12]發布了SFM(surreyfacemodel)三維形變模型，并提出采用級聯回歸方法擬合3DMM參數，實現了基于視頻重建三維人臉模型的算法4dface，這是面部建模領域的一大飛躍。盡管對圖像和視頻的三維建模已有大量的研究，但是從視頻中實時重建帶有表情的精確三維人臉仍有很大的改進空間。本文提出一種從普通人像視頻中自動實時重建三維人臉模型的方法，支持側臉角度[–40°,40°]，俯仰角度[–20°,20°]下的頭部姿態，在該范圍內，相機從不同角度拍攝人臉，采用線性回歸的方法擬合不同角度和姿態的人臉二維特征點和三維形狀模型，重建過程中使用頭部姿態和表情系數調整模型細節狀態，最后在300W人臉數據集上驗證了本文算法在重建擬合時間和模型準確度上均有所提高。

　　1相關工作

　　本文旨在實現實時重建出具有辨識度的三維人臉模型，過程中不需要嚴格的定義人物姿態，也無需昂貴的深度獲取設備和專業人員的操作，以及后期的加工處理，是一種簡單、可廣泛推廣的快速人臉建模方法。基于二維圖像進行三維模型的重建往往對模型和人臉的初始狀態有很強的依賴，因此圖像特征和通用模型的選擇是后續重構計算的基礎。本文選擇三維形變模型作為通用形變模型，用于和二維特征點的擬合運算。同時，選取68個特征點描述人臉特征，并采用受約束的局部神經域模型(constrainedlocalneuralfields,CLNF)算法[13]獲取特征點信息。

　　2模型重建過程

　　本文從視頻連續幀人臉圖像實時重建出帶有紋理細節的三維面部模型，彌補了單張圖片重建的自遮擋問題，由特征點跟蹤不同角度人臉變化，實時矯正形變模型，逐步優化，而非一次性重建出最終結果，在細節和準確度方面均有較好的效果。從視頻中提取一幀圖像，首先需利用Haar分類器檢測人臉區域，再利用CLNF算法在區域內識別人臉特征點的二維位置;然后初始化SFM統計模型(如果是第一幀人臉圖像，則初始化平均模型，否則采用上一幀的形變模型)，采用黃金標準算法[15]由五官特征點二維位與其在三維模型中的對應坐標計算當前人臉姿態和仿射相機矩陣，通過2次線性回歸，求解表情系數和PCA形狀系數，使三維模型發生形變。從視頻連續幀可以獲取不同角度的人臉圖像，每張人臉圖像均可跟蹤到68個特征點，并擬合一個形變的三維模型。本文將前一幀形變后的三維模型作為后一幀模型形變的基礎，使得最終生成的三維模型經歷了不同角度人臉姿態的擬合變形，使其更接近真實人臉形狀。同時，在姿態角度變化過程中，還可以全方位獲取人臉的紋理細節特征。

　　3實驗

　　針對本文提出的基于形變模型的多角度重建方法，與當前流行的視頻重建算法進行精確度、時間和渲染效果3方面的對比實驗。數據集使用300W人臉數據集，平臺筆記本配置為Intel(R)Core(TM)i5-7200U處理器，2.50GHz主頻，8GB內存，以及NVIDIAGeForce930MX顯卡。

　　實驗1.精確度對比隨機提取300W數據集中的若干張圖片，首先標記出數據集標記的68個特征點位置如圖6(b)空心方塊;然后用本文方法對SFM三維形變模型進行擬合變形并將模型頂點投影到二維平面，而空心圓則是模型投影的特征點位置。計算特征點的均方根誤差(rootmeansquareerror,RMSE)用于衡量模型擬合的精確度，實驗中，采集了數據集中不同角度的人臉圖像，并與4dface采用模型擬合算法進行對比，結果顯示本文方法擬合精確度更高。

　　實驗2.時間對比本文通過改善特征點提取方式，減少迭代次數，優化擬合算法，從而極大地提高了實時性能。4dface的視頻圖像人臉重建幀率大約在4~7fps，本文重建的實時幀率約為20~25fps。表1對比了每一幀圖像在特征點提取和三維形變模型擬合過程中平均消耗的時間，證明本文算法在實時性能方面具有魯棒性。

　　實驗3.渲染效果模型渲染效果的好壞是三維面部模型最直觀的表現。本文提出的紋理渲染是一種由粗到細，隨著視頻中人臉角度變化逐步填充自遮擋區域的紋理獲取方法，相比于4dface采用的紋理疊加取平均的方法，更能保障人臉細節特征不丟失不模糊，且基本還原了所有面部細節，如痘痘、斑點及皺紋;放大局部圖像，發現眼部細節未隨著角度變化而模糊，依次是本文方法多角度重建、單張圖的重建及4dface方法的重建。

　　4結束語

　　本文通過視頻流多角度人臉圖像，結合形變模型進行三維人臉模型的實時重建。多角度的人臉拍攝彌補了基于單張圖片進行三維重建的自遮擋導致局部信息缺失問題;三維形變模型的方法解決了基于二維圖像重建三維模型所存在的深度信息缺失問題。并且，本文的重建是全自動，無需手動干預的實時重建方法，自動特征點的定位算法的引入，提高了特征點定位的準確性和效率。本文提出的形變擬合方算法，與傳統擬合過程相比，極大降低了時間開銷，同時精確度也略有提高。最后在紋理融合階段，本文紋理提取方法能夠保留面部紋理細節，使重建模型更具真實感。但紋理提取容易受到光照的影響，如果面部光照極不均勻，可能造成重建模型的皮膚紋理深淺不一致的情況，這將是后續研究的工作。

　　相關論文范文：基于體繪制的特征區域三維云可視化

　　摘要：對于常規氣象數據分析來說，二維平面分析是最普遍的方式之一，但在二維模式下的局限性又無法真實反應三維空間中的氣象信息。以“天鴿”臺風的二維數據集為例，利用其數據特性將分析模式由二維云圖提升到三維云可視化的分析模式上。在文章中利用體繪制實現三維云的創建，在當前比較傳統的體繪制基礎上對繪制效率、三維云陰影渲染、氣象數據集分析模式三個方面改進。