摘要：混合現實技術由于具有良好的沉浸感和交互體驗，在高校實踐教學領域有著廣闊的應用前景。根據人才培養需求，設計并開發了基于混合現實技術的機器人遙操作實驗平臺。該平臺采用LeapMotion檢測跟蹤操作者手部運動并轉換成機器人控制命令，同時由混合現實顯示裝置獲取具有機器人現場場景和虛擬手部動畫模型的實時視像反饋，通過機器人書寫漢字應用驗證了系統的有效性。該平臺采用混合現實技術保證了操作的安全性和高效性，增強了人機交互體驗，其通用性和綜合實踐性強，可為機器人工程專業相關實踐教學提供創新實驗平臺。

　　關鍵詞：機器人;混合現實;遙操作;人機交互

　　混合現實(mixedreality,MR)技術結合了虛擬現實(virtualreality,VR)和增強現實(augmentedreality,AR)技術的優勢，能夠將虛擬環境引入到現實場景中，同時在現實世界、虛擬世界和操作者之間建立起信息回路，從而增強操作者的沉浸感和交互體驗[1-2]，已經在工業制造、建筑設計、醫療衛生等多個領域得到應用[3-5]，在高校教學領域如虛擬實驗室、虛擬課堂等方面也有著廣闊的應用前景[6-7]。

　　近年來機器人技術得到快速發展，社會對該領域人才尤其是拔尖創新人才的需求不斷增加。機器人技術是一門綜合性實踐性很強的交叉學科，建立機器人工程專業創新實踐平臺并開展相關實踐教學對高校人才的培養至關重要[8-9]。本文將混合現實技術與機器人控制相結合，開發了虛擬現實場景下的機器人遙操作控制實驗平臺，一方面保證了操作的安全性、增強了操作體驗感，另一方面學生可根據興趣開展不同的應用實驗，促進了學生探索研究能力和創新能力的培養。

　　1平臺整體方案設計

　　主要包括操作者、LeapMotion手勢傳感器、混合現實顯示裝置、機器人、計算機5部分。LeapMotion是由MagicLeap公司于2013年推出的一款無接觸式的手勢交互設備，內置有3個紅外發光二極管和2個深度攝像機，能夠捕捉到操作者手部運動時手指和掌心位置坐標信息并通過USB接口與計算機通信[10]。該實驗平臺中的機器人可以是工業機械臂、雙臂協作機器人等，算法采用C++編程語言進行開發，具有一定的通用性。

　　平臺實施流程如下：首先定義手掌開合作為遙操作觸發信號，采用LeapMotion檢測操作者的手勢，當檢測到操作者手掌閉合時即對其掌心位置進行跟蹤;將其采集的位置數據進行處理，計算機根據所設計的運動映射算法轉換為機器人坐標系下末端執行器坐標并生成相應控制命令，通過UDP通信方式實時傳輸至機器人下位機。

　　利用LeapMotion的API接口和游戲引擎(如Unity3D、Unreal等)可開發并生成操作者手部虛擬模型，同時借助常見的混合現實顯示裝置(如微軟HoloLens等)，操作者可實時獲取由機器人工作現場場景和手部虛擬模型動畫組成的混合現實視像反饋，保證了操作的安全性和高效性，增強了人機交互體驗。

　　2主要功能模塊設計

　　2.1混合現實場景生成模塊

　　結合混合現實顯示裝置、LeapMotion控制器以及Unity3D游戲引擎設計并搭建混合現實環境。在Unity中通過調用LeapMotion的Assets組件，導入并生成操作者的手部虛擬模型，由相關功能實現混合現實顯示裝置與Unity軟件之間的通信，將在Unity中生成的混合現實影像流信號實時傳輸至混合現實顯示裝置。此外，可通過設置最快傳輸速度、調整虛擬物件與操作者之間的距離、相機背景顏色等以保證更好的實時反饋效果。通過混合現實設備，操作者不僅可以觀察到機器人的運動以及現場場景，同時由Unity生成的虛擬手部模型也將呈現于操作者的視野之中。該虛擬模型與操作者的手部運動保持一致，這也為操作者在操作過程中提供重要的引導性幫助，從而實現更好的人機交互體驗。

　　2.2運動映射算法模塊

　　考慮到LeapMotion控制器與工業機器人的坐標系并不一致，為了使得操作者的動作能夠正確映射到機器人工作空間保證機器人做出合乎預期的正確運動，本文提出了一種運動映射算法，用于將LeapMotion控制器的坐標系轉化為機器人的坐標系，實現操作者動作到機器人末端動作的同步映射。

　　3實驗示例

　　采用微軟頭戴式HoloLens混合現實顯示裝置、華數6自由度工業機器人、LeapMotion手勢控制器構建了機器人遙操作控制實驗平臺。本實驗通過設計特定任務，即遙操作機器人書寫簡單中國漢字來驗證上述平臺的有效性。實驗中定義“是否握緊拳頭”為啟動遙操作程序的觸發事件，當LeapMotion控制器檢測到操作者拳頭握緊時，將啟動遙操作程序，此時LeapMotion開始跟蹤記錄操作者的手部掌心位置，上位機由相關位置信息和運動映射算法生成控制命令并實時傳輸給華數機器人執行命令。遙操作過程中操作者利用LeapMotion控制器，實現通過手勢遠程控制華數機器人，同時，操作者通過HoloLens可以獲取實時視像反饋。

　　不僅可以觀察到華數機器人和周圍場景，還能夠看到跟隨自身手部運動的虛擬手部動畫模型。對于操作者來說，結合混合現實技術的視像反饋使得操作過程更加直觀，操作難度也大大降低。上述實驗中，操作者通過手部運動順利完成遙操作華數機器人書寫漢字“王”的任務，為機器人在實際環境中書寫漢字情況。實驗結果驗證了所設計的基于混合現實技術的機器人遙操作控制平臺的有效性。

　　機器人論文范例： 我國鑿巖機器人發展機遇與挑戰研究

　　4結語

　　本文結合混合現實技術開發了機器人遙操作實驗平臺，該平臺具有通用性強、綜合實踐性強等特點，可應用于不同機器人平臺并開展多種應用研究，能夠為機器人技術相關實踐教學提供創新實驗平臺。隨著混合現實技術的不斷發展和逐步普及，混合現實技術在高校實踐教學尤其是虛擬實驗室的建設和應用方面將發揮重要作用，充分發揮混合現實優勢、構建實驗場景、開發相關應用案例，將為學生提供更好的交互式體驗平臺，進一步促進機器人工程專業拔尖創新人才的培養。

　　參考文獻(References)

　　[1]黃進，韓冬奇，陳毅能，等.混合現實中的人機交互綜述[J].計算機輔助設計與圖形學學報，2016,28(6):869–880.

　　[2]周忠，周頤，肖江劍.虛擬現實增強技術綜述[J].中國科學：信息科學，2015,45(2):157–180.

　　[3]劉敏洋，李博功.基于混合現實技術的工業智能運維系統設計[J].制造技術與機床，2020(9):80–82,87.

　　[4]龔赤兵.HoloLens混合現實技術在建筑行業中的應用研究[J].現代信息科技，2019,3(4):147–149.

　　[5]李晉芳，陳基榮，李二芳，等.遠程協同手術指導平臺的研究[J].實驗室研究與探索，2019,38(6):96–102.

　　[6]孔璽，孟祥增，徐振國，等.混合現實技術及其教育應用現狀與展望[J].現代遠距離教育，2019(3):82–89.

　　作者：占宏，梁聰垣，楊辰光