《基于雙目視覺的水下連接器位姿測量方法》論文發(fā)表期刊：《艦船科學(xué)技術(shù)》；發(fā)表周期：2021年07期

《基于雙目視覺的水下連接器位姿測量方法》論文作者信息：陳瑞 (1994−)，男，碩士研究生，研究方向?yàn)樗�下機(jī)器人與機(jī)器視覺。

　　摘要：水下連接器的對接作業(yè)是水下工程作業(yè)的重要環(huán)節(jié)，針對目前依靠攝像機(jī)傳回視頻進(jìn)行作業(yè)過程中存在的操作難度大、依賴操作員經(jīng)驗(yàn)的問題，設(shè)計(jì)基于雙目視覺的水下連接器位姿測量方法。該方法首先根據(jù)水下連接器的顏色特征確定檢測范圍，之后在檢測范圍中以水下連接器為模板進(jìn)行初步定位，然后根據(jù)水下連接器端面的成像特點(diǎn)檢測橢圓特征，并進(jìn)行雙目匹配獲得相關(guān)三維點(diǎn)坐標(biāo)，最后計(jì)算得出水下連接器的位姿。實(shí)驗(yàn)表明，該方法位置測量平均誤差1.3%，姿態(tài)測量平均誤差3.50，可以較好地為水下連接器對接作業(yè)提供參考。

　　關(guān)鍵詞：水下作業(yè);雙目視覺;雙目匹配;位姿測量

　　Abstract: The docking operation of underwater connectors is an important part of underwater engineering operations In view of the problems existing in the operation process of relying on the video returned by the camera, such as the difficulty of operation and the dependence on the operator's experience, a method of underwater connector pose measuremen based on binocular vision is designed. This method firstly determines the detection range according to the color characteristics of the underwater connector, and then uses the underwater connector as the template for prel iminary positioning in the detection range, then detects the ellipse characteristics of the end face of the underwater connector, and carries out binocula matching to obtain the relevant three-dimensional point coordinates. and finally calculates the position and orientation of the underwater connector. Experiments show that this method has an average position measurement error of 1.3% and an attitude measurement average error of3.50 which can provide a good reference for underwater connector docking operations.

　　Key words: underwater operation: binocular vision: binocular matching; pose measurement

　　0引言

　　隨著我國經(jīng)濟(jì)的快速發(fā)展，海上運(yùn)輸量逐年大幅度增長，船舶碰撞事故時(shí)有發(fā)生，因此出于海洋環(huán)保的需要，必須將沉船攜帶或裝載的大量燃油或液體危險(xiǎn)化學(xué)品回收，否則會(huì)造成嚴(yán)重的海洋污染事件。由于沉船結(jié)構(gòu)與海底環(huán)境的復(fù)雜，此類水下作業(yè)需要封堵、開孔、切割、抽液等各類應(yīng)急處置工具及遙控式作業(yè)型水下機(jī)器人(ROV)進(jìn)行協(xié)同作業(yè)。在作業(yè)過程中不同的工具往往需要使用不同的接口，因此需要操作員使用ROV搭載的機(jī)械手完成相關(guān)接口的變換及對接工作。

　　目前水下連接器對接作業(yè)過程中，主要由操作員根據(jù)ROV搭載的攝像設(shè)備傳回的視頻在母船上遠(yuǎn)程操控機(jī)械手完成相關(guān)作業(yè)，這種作業(yè)方式存在的主要問題是攝像設(shè)備傳回的視頻多為二維視頻，操作員難以直觀地判斷水下連接器是否對齊，是否可以對接。由于缺少了深度這一維度的信息，不得不由操作員依據(jù)自身的經(jīng)驗(yàn)在實(shí)際水下空間多次嘗試完成作業(yè)，或者由操作員借助多個(gè)攝像設(shè)備傳回不同角度的二維視頻進(jìn)行作業(yè)，但是這樣的作業(yè)方式需要操作員作業(yè)時(shí)同時(shí)關(guān)注多個(gè)視頻畫面，操作員操作難度較大，要求操作員有較高的操作水平。

　　隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，視覺定位技術(shù)得到了越來越廣泛的應(yīng)用。視覺定位技術(shù)根據(jù)使用攝像機(jī)的數(shù)目分為單目、雙目和多目視覺定位技術(shù)。目前使用的單目視覺技術(shù)要求已知目標(biāo)物的尺寸，因此只適用于形狀規(guī)則的簡單目標(biāo)物中;雙目視覺定位相對于單目定位可以更精確地重現(xiàn)目標(biāo)物的三維坐標(biāo)，更好地模擬人類雙眼視物的過程;雙目視覺定位相對于多目定位更加簡單易行。因其具有非接觸測量、自動(dòng)化程度高等優(yōu)點(diǎn)，在機(jī)器人定位、智能工廠等1領(lǐng)域取得了很好的應(yīng)用效果。在水下工程領(lǐng)域，殷莉甜2設(shè)計(jì)了基于雙目視覺的水下焊接系統(tǒng)，并在水箱中進(jìn)行了初步試驗(yàn)，分析了水質(zhì)與測量距離對定位精度的影響;王從政(1]設(shè)計(jì)了應(yīng)用于核電站的燃料組件變形檢測系統(tǒng)，該系統(tǒng)可以測量核電站燃料組件的長度，較好地監(jiān)控燃料組件的變形情況;盛明偉 提出了一種基于雙目視覺的水下測距方法，并在水池中對水下機(jī)械手進(jìn)行了測距實(shí)驗(yàn)，以上研究大多關(guān)注被測對象的位置或三維坐標(biāo)等信息，對于姿態(tài)的研究較少。針對水下連接器對接工作的特殊性，為提高該作業(yè)的效率，降低操作人員作業(yè)難度，本文首先根據(jù)水下連接器的顏色特征確定檢測范圍，之后在檢測范圍中以水下連接器為模板進(jìn)行初步定位，然后根據(jù)水下連接器端面的成像特點(diǎn)檢測橢圓特征，并進(jìn)行雙目匹配獲得相關(guān)三維點(diǎn)坐標(biāo)，最后計(jì)算得出水下連接器的位姿，從而為操作員完成對接工作提供參考。

　　1原理與方法

　　本文設(shè)計(jì)的方法首先根據(jù)水下連接器的顏色特征確定檢測范圍，之后在檢測范圍中以水下連接器為模板進(jìn)行初步定位，然后根據(jù)水下連接器端面的成像特點(diǎn)檢測橢圓特征，并進(jìn)行雙目匹配獲得相關(guān)三維點(diǎn)坐標(biāo)，最后分別計(jì)算得出水下連接器的位姿。

　　1.1雙目測量原理

　　雙目立體視覺根據(jù)三角測量法，即對2臺(tái)攝像機(jī)進(jìn)行標(biāo)定，獲取其內(nèi)、外參數(shù)之后，通過左、右視圖中的一對同名像素點(diǎn)，獲取其對應(yīng)的空間三維坐標(biāo)。如圖2所示，OL，OR分別是左右相機(jī)的光心，PL，PR分別是空間點(diǎn)P在左右相機(jī)上的成像點(diǎn)，b是左右相機(jī)之間的距離，即基線長度，f是相機(jī)的焦距。

　　1.2 標(biāo)定與校正

　　理想情況下的攝像機(jī)小孔成像模型要求相機(jī)光軸在圖像的中心，并且相機(jī)在x，y方向的縮小系數(shù)應(yīng)保持一致，但是實(shí)際情況下，相機(jī)制造過程中不可避免存在器件誤差與安裝誤差，這種誤差由相機(jī)的內(nèi)參數(shù)描述。此外，為了獲得更好的成像效果，相機(jī)中往往要加入透鏡，這會(huì)導(dǎo)致相機(jī)成像的畸變。為了消除這些影響，需要對相機(jī)進(jìn)行標(biāo)定獲得相機(jī)的內(nèi)參數(shù)及畸變系數(shù)，從而進(jìn)行圖像校正。另一方面，雙目相機(jī)在安裝過程中造成的位姿誤差以及基線長度需要用外參數(shù)描述。因此還需對雙目相機(jī)進(jìn)行立體標(biāo)定，并用立體標(biāo)定得到的外參數(shù)進(jìn)行立體校正從而保證左右圖像的對應(yīng)點(diǎn)在同一水平極線。

　　本文采用OpenCV開源庫對雙目相機(jī)進(jìn)行標(biāo)定及立體標(biāo)定1，并對圖像進(jìn)行校正及立體校正1，如圖3所示，左圖像棋盤格點(diǎn)A及其對應(yīng)點(diǎn)右圖像棋盤格點(diǎn)A'不在同一水平極線上，經(jīng)過圖像校正后，左圖像棋盤格點(diǎn)B及其對應(yīng)點(diǎn)B在同一水平極線上。

　　1.3位置測量算法

　　水下連接器接口端面存在一系列圓形插孔，這些插孔可以作為圖像模板匹配的特征進(jìn)行初步定位。模板匹配是一種常用的模式識(shí)別方法，它將需要檢測的物體作為模板圖像，從左至右、從上至下地計(jì)算模板圖像與原圖像重疊的子圖像之間的匹配度，最終在原始圖像中選擇匹配度最大的子圖像作為匹配結(jié)果。考慮到水下連接器在原始圖像中較小，對原始圖像進(jìn)行模板匹配計(jì)算代價(jià)較大，本文首先根據(jù)水下連接器的顏色特征在原始圖像上選定部分檢測范圍，之后進(jìn)行模板匹配，從而達(dá)到加速計(jì)算的目的。

　　此外，考慮到拍攝角度的影響，水下連接器接口端面在成像時(shí)會(huì)被投影為橢圓，因此本文采用橢圓檢測算法17)獲得橢圓中心的圖像坐標(biāo)，圖4展示了使用該算法在水下作業(yè)中對水下連接器進(jìn)行橢圓檢測的結(jié)果。之后根據(jù)式(2)~式(4)可以得出橢圓中心的三維坐標(biāo)，最后以橢圓中心的三維坐標(biāo)作為水下連接器接口的位置坐標(biāo)。

　　1.4姿態(tài)測量算法

　　本文以水下連接器端面法向量為準(zhǔn)描述水下連接器的姿態(tài)信息。理論上3個(gè)不共線的點(diǎn)可以確定一個(gè)平面，但在實(shí)際中，這樣做容易導(dǎo)致平面法向量受少數(shù)點(diǎn)誤差的影響存在較大誤差。因此需要根據(jù)之前檢測的特征橢圓的一系列邊緣點(diǎn)的三維坐標(biāo)擬合水下連接器的端面法向量。

　　為了獲得橢圓邊緣點(diǎn)的三維坐標(biāo)，需要進(jìn)行邊緣點(diǎn)選取與立體匹配。如圖5所示，本文采取的選點(diǎn)策略：在完成圖像校正與立體校正的圖像中，以縱坐標(biāo)為準(zhǔn)每隔一定距離在左圖像上選擇一系列邊緣點(diǎn)P，P2..P，同時(shí)在右圖像相同縱坐標(biāo)處選擇與左圖像邊緣點(diǎn)的橫坐標(biāo)相近的點(diǎn)作為左圖像的匹配點(diǎn)。此外，考慮到邊緣取點(diǎn)的均衡性，相鄰水平線上的點(diǎn)分別取在橢圓的左半部分和右半部分。

　　由此可以根據(jù)水下連接器端面的橢圓邊緣點(diǎn)坐標(biāo)計(jì)算得出水下連接器的姿態(tài)。

　　2 實(shí)驗(yàn)與結(jié)果分析

　　為了驗(yàn)證本文方法位姿測量算法的有效性，設(shè)計(jì)并搭建了水下連接器位姿測量實(shí)驗(yàn)裝置。該實(shí)驗(yàn)裝置主要包括水箱、棋盤格標(biāo)定板、水下連接器、固定裝置及支柱，其中支柱與固定裝置可以保證水下連接器的端面與棋盤格標(biāo)定板處于同一平面。由于棋盤格標(biāo)定板的格點(diǎn)可以方便的識(shí)別從而獲得其三維坐標(biāo)，因此棋盤格標(biāo)定板可以作為測量的基準(zhǔn)。

　　2.1位置測量實(shí)驗(yàn)

　　在位置測量實(shí)驗(yàn)中，以棋盤格左上角格點(diǎn)為起點(diǎn)水下連接器中心點(diǎn)為終點(diǎn)，通過雙目立體匹配分別求出水下連接器中心坐標(biāo)與棋盤格左上格點(diǎn)坐標(biāo)，根據(jù)兩點(diǎn)距離公式求出其距離，并與實(shí)測距離進(jìn)行比較。之后，調(diào)整水下連接器的位置，進(jìn)行多次實(shí)驗(yàn)，相關(guān)實(shí)驗(yàn)數(shù)據(jù)如表1所示。

　　2.2姿態(tài)測量實(shí)驗(yàn)

　　在姿態(tài)測量實(shí)驗(yàn)中，保持水下連接器端面與實(shí)驗(yàn)平臺(tái)平面重合，改變雙目相機(jī)的拍攝視角，從而模擬水下連接器的不同姿態(tài)。為驗(yàn)證本文算法的有效性，以棋盤格標(biāo)定板法向量為基準(zhǔn)，將其與本文算法計(jì)算得出的水下連接器法向量相比較，相關(guān)實(shí)驗(yàn)數(shù)據(jù)如表2所示，其中誤差為兩向量的夾角。圖6展示了第4次實(shí)驗(yàn)兩平面在三維空間的情況。

　　2.3實(shí)驗(yàn)結(jié)果與誤差分析

　　經(jīng)過實(shí)驗(yàn)驗(yàn)證，本文設(shè)計(jì)的方法可以獲得水下連接器在對接過程中的位姿信息，其中位置測量平均誤差1.28%，姿態(tài)測量平均誤差3.50，從而為水下連接對接提供參考。其中誤差的主要來源有：1)投影橢圓擬合誤差，由于實(shí)驗(yàn)中水下連接器防水層存在一定厚度，投影橢圓實(shí)質(zhì)上是橢圓環(huán)，因此會(huì)對橢圓檢測造成干擾;2)相機(jī)標(biāo)定誤差，相機(jī)標(biāo)定得到的內(nèi)參數(shù)往往帶有誤差，通常情況下，在畫面的中間成像效果會(huì)更好一些，表1中第3及第4次實(shí)驗(yàn)水下連接器在畫面中間時(shí)誤差較小也驗(yàn)證了這一點(diǎn)。

　　3結(jié)語

　　水下連接器對接作業(yè)是水下工程作業(yè)的重要環(huán)節(jié)，目前該作業(yè)主要由操作員根據(jù)水下攝像機(jī)傳回的視頻進(jìn)行遠(yuǎn)程作業(yè)，這種作業(yè)方式存在操作難度大，依賴操作員經(jīng)驗(yàn)的問題。為此本文將雙目視覺測量技術(shù)用于水下連接器的對接作業(yè)，實(shí)驗(yàn)結(jié)果表明本文位姿測量方法在水下機(jī)械手作業(yè)范圍內(nèi)誤差滿足相關(guān)對接要

　　求，可以較好地為水下連接器對接作業(yè)提供參考。

　　參考文獻(xiàn)：

　　[1]季旭全，王君臣，趙江地，等，基于機(jī)器人與視覺引導(dǎo)的星載設(shè)備智能裝配方法[機(jī)械工程學(xué)報(bào)，2018，54(23)：63-72.

　　[2]殷莉甜水下雙目視覺定位系統(tǒng)開發(fā)與應(yīng)用研究[D].廣州：理學(xué)，2016.

　　[3]王從政，胡松，馮常，等，基于水下雙目視覺的燃料組件變形檢測系統(tǒng)[J].應(yīng)用光學(xué)，2019，40(2)：246-252

　　[4]盛明偉，周浩，黃海，等一種水下雙目視覺測距方法研究[J].自然科學(xué)版，2018，46(8)：93-98.

　　[5]ZHANG Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2000，22(11)：1330-1334.

　　[6]FUSIELLO A，TRUCCO E，VERRI A.A compact algorithmfor rectification of stereo pairs[J].Machine Vision&Applications，2000，12(1)：16-22.

　　[7]FORNACIARI M，PRATI A，CUCCHIARA R.A fast and effective ellipse detector for embedded vision applications[J].Pattern Recognition，2014，47(11)：3693-3708.