時間: 分類:科學技術論文 次數:
摘 要:為降低無人機測繪數據異常檢測的誤檢率、漏檢率,縮短檢測時間,文章提出一種基于數據篩選的無人機測繪數據異常檢測方法。采用支持向量機對無人機測繪數據進行數據流分塊、豎向規范化處理及時間切片處理等預處理;基于卷積神經網絡分析數據確定數據潛在規律;采用無監督聚類算法對數據進行聚類,利用滑動窗口處理得到數據流簇心因子并進行聚類;根據判斷標準對異常數據分塊處理,確定是否存在異常因子;采用重疊累加值計算方法對異常數據點進行篩選,完成無人機測繪數據異常檢測。實驗結果表明:與傳統卷積神經網絡方法相比,采用該方法對異常數據檢測,其誤檢率降低了約 11%、漏檢率降低約 8.1%,并且檢測時間縮短了 11.3 min。
關鍵詞:無人機測繪;異常數據;支持向量機;卷積神經網絡;簇心因子;滑動窗口
無人機測繪綜合了無人飛行器、遙感傳感器、通信和圖像處理等多種技術,以實時獲取目標區域信息、快速進行數據處理和繪圖為主要目的[1]。這種方法運行成本低、風險小,且數據采集周期相對較短,已被廣泛應用于相關領域。無人機測繪生成的飛行數據具有快速、實時等特點[2]。采用此技術獲取的單維特征流數據主要反映被測系統的某一狀態信息,然而多維數據庫中異常數據是各維度信息綜合作用的結果,能夠反映無人機(unmannedaerial vehicle,UAV)的實際情況,具有更高的參考價值[3]。
目前,基于無人機測繪的異常檢測算法已經被廣泛應用,但大多算法不能滿足無人機測繪的實時檢測需求。為此,本文提出一種基于數據篩選的無人機測繪數據異常檢測方法。實驗結果表明:與傳統卷積神經網絡方法相比,該方法降低了檢測的漏檢率與誤檢率,并縮短了檢測時間。該檢測方法能夠滿足無人機測繪中的異常數據檢測需求,可實際應用到異常數據檢測中。
1 無人機測繪過程中異常數據挖掘
在異常數據檢測過程中,須預先對無人機測繪過程中產生的相關數據進行挖掘。與其他數據挖掘技術相比,支持向量機是一種監督式的數據挖掘方法,其對樣本的依賴性較小,對小樣本、高維數據等分類具有較好的應用效果[4]。為此,本文將支持向量機應用到無人機測繪數據挖掘中。在上述數據分類的基礎上,對無人機測繪過程中產生的數據流進行預處理。即對無人機測繪異常數據進行數據流分塊、豎向規范化處理與時間切片處理,便于對無人機測繪數據潛在規律的分析。
1)數據流分塊。由于無人機測繪過程中產生的數據流可看作是一系列無限的點[6],其存儲相對較難,為此將其劃分為數據塊的形式。將數據塊的大小定義為 ,將數據塊劃分為若干類,并對其進行標準化處理。2)豎向規范化處理。由于采集的數據存在屬性差異,導致其屬性難以得到合理的調配。
2 無人機測繪中異常數據潛在規律分析
在上述預處理后,對數據潛在規律進行分析。此部分采用卷積神經網絡進行分析處理。該方法的局部特征提取能力較強,能夠降低網絡的計算復雜度[12 − 13]。其挖掘過程如下。步驟 1,設置輸入層。輸入層是整個網絡的起始端[14],是整個網絡的輸入部分,能夠對一維數據或者二維數據進行挖掘。步驟 2,建立激勵層函數。步驟 3,建立池化層。通過該環節將數據進行壓縮,利用池化窗口生成的值生成周圍區域的統計量。步驟 4,建立全連接層。該層主要在計算過程中提供輸送信號的功能,將數據的特征值進行連接,并連接成一個長向量。步驟 5,反向傳播。
3 無人機測繪過程中異常數據檢測實現
3.1 異常數據分類
通過上述計算能夠獲取所有數據的潛在規律,在此基礎上,對異常數據進行分類處理。在無人機測繪過程中,較多因素都會引起異常,從而產生異常數據[16]。為此,對異常數據進行分類。由于無人飛行器內有較多傳感器,因此產生異常數據的因素較多,不僅能產生異常數據,而且需要及時發現異常數據。為提高檢測效率,對所生成數據進行聚類,本文采用無監督聚類算法。當數據流到達時,該算法能及時更新,并對數據進行實時聚類。對數據進行相似性分類,將相似的分類成數據簇[17]。在實際計算過程中,主要包括 2 個步驟:首先測量數據與數據之間相似性,然后利用準則函數對結果進行聚類分類[18]。
3.2 異常數據檢測實現在上述數據處理的基礎上,對異常數據檢測,具體步驟如下。步驟 1,由于無人飛行器測繪所產生的數據是飛行數據,即時間序列數據,因此需要對以上聚類后的數據進行劃分,并將其劃分為時間序列數據,從而得到各時間序列變化情況,并將變化情況插入時間序列數據中,形成相應編碼數。步驟 2,生成數據存儲在模式庫中。該模式庫將特定的生成模式與自體發生相匹配,并將其視為合成檢測器[19]。
4 實驗分析
本文通過實驗來驗證該方法是否符合設計要求。同時,為檢驗該方法的應用效果,將該方法與傳統基于卷積神經網絡的異常數據檢測方法進行了比較。
4.1 實驗數據來源及實驗環境
實驗在 Windows7 操作系統下進行,選用 Intel(R) Core (TM)i5 M 520 作為 CPU,其內存頻率較快,可以達到 2.4 GHz,內存 8 GB。所用實驗數據集通過高斯分布獲取,這些數據集共有 1600 個數據點,其中包含 1500 個正常數據點,100 個異常數據點。
4.2 實驗指標
異常檢測的實時性也是對比檢測方法性能的一個重要指標。
4.3 實驗結果分析
對比卷積神經網絡方法與本文方法的誤檢率。本文的異常數據檢測方法的誤檢率相比卷積神經網絡方法,平均降低了約 11%。本文方法誤檢率低是由于本文方法在數據流上進行了分塊和分類處理,并對處理后的數據進行了綜合聚類分析。常規檢測方法受數據集干擾的影響較大,有些異常數據點在正常數據波動范圍外,導致其誤檢率較高。對比卷積神經網絡方法和本文方法的漏檢率。
本文方法的漏檢率相比卷積神經網絡方法的平均降低了約 8.1%。常規卷積神經網絡方法檢測漏檢率高的原因在于異常數據的幅度不在正確的數據范圍之內,且往往以片斷形式出現,用常規方法進行標記時,存在較大的漏檢風險。本文的異常數據檢測方法是通過詳細的檢測流程實現對異常樣本的有效檢測,從而降低了漏檢現象。最后,對比卷積神經網絡方法與本文方法的檢測時間�?梢钥闯觯矸e神經網絡方法在多個實驗中所需檢測時間均高于本文方法,最多相差 16 min。本文方法的整體檢測時間平均縮短了 11.3 min 左右。本文的異常數據檢測方法不僅可以降低誤檢率和漏檢率,而且可以提高檢測的實時性。
5 結束語
本文對無人機測繪過程中的異常數據檢測方法進行了設計,并通過實驗對該方法進行了驗證。該方法可為相關測繪領域的異常數據檢測提供實用的解決方案。盡管本次研究取得了一定成果,但無人機測繪的數據范圍比較廣泛,在未來工作中可強化分析數據與數據之間的關聯特征,選擇融合不同的檢測方法,從而實現多種異常檢測方法的優勢互補。
參考文獻:
[1] 孫新博, 李英成, 王恩泉, 等. 一種無人機視頻影像快速配準方法[J]. 測繪通報, 2019(6): 85 − 88.
[2] 任麗艷, 李英成, 肖金城, 等. 測繪無人機災害現場多源數據集成與智能服務[J]. 測繪科學, 2020, 45(12):143 − 148.
[3] 張欣欣, 王雙亭, 李英成, 等. 輕小型無人機飛控測姿數據輔助測圖精度分析[J]. 測繪科學, 2019, 44(5):102 − 109.
[4] 梅御東, 陳旭, 孫毓忠, 等. 一種基于日志信息和CNN-text 的軟件系統異常檢測方法[J]. 計算機學報,2020, 43(2): 366 − 380.
[5] 連鴻飛, 張浩, 郭文忠. 一種數據增強與混合神經網絡的異常流量檢測[J]. 小型微型計算機系統, 2020,41(4): 116 − 123.
[6] 徐光南, 高智勇, 梁艷杰, 等. 采用壓縮感知的流程工業異常監測數據檢驗與修復方法[J]. 西安交通大學學報, 2020, 54(2): 59 − 70.
選自期刊《西華大學學報(自然科學版)》第 41 卷第 4 期
作者信息:張振軍(青海漢圖測繪科技有限公司, 青海 西寧 810001)
級別:CSSCI南大期刊,北大期刊,統計源期刊
ISSN:1001-4233
刊期:進入查看
格式:咨詢顧問
級別:北大期刊,CSSCI南大期刊
ISSN:1671-7465
刊期:進入查看
格式:咨詢顧問
級別:CSSCI南大期刊,北大期刊,統計源期刊
ISSN:1005-9245
刊期:進入查看
格式:咨詢顧問
級別:北大期刊,統計源期刊,CSSCI南大期刊
ISSN:1000-5560
刊期:進入查看
格式:咨詢顧問
數據庫:SCI
ISSN:2045-2322
刊期:進入查看
格式:咨詢顧問
數據庫:SCI
ISSN:0284-1851
刊期:進入查看
格式:咨詢顧問
數據庫:SCI
ISSN:2352-4928
刊期:進入查看
格式:咨詢顧問
數據庫:SCI
ISSN:0169-4332
刊期:進入查看
格式:咨詢顧問
數據庫:SCI
ISSN:0960-7412
刊期:進入查看
格式:咨詢顧問
數據庫:SCI
ISSN:0048-9697
刊期:進入查看
格式:咨詢顧問
數據庫:SCI
ISSN:0191-2917
刊期:進入查看
格式:咨詢顧問
數據庫:SCI
ISSN:1741-7007
刊期:進入查看
格式:咨詢顧問
數據庫:SCI
ISSN:2238-7854
刊期:進入查看
格式:咨詢顧問
數據庫:SCI
ISSN:2214-7144
刊期:進入查看
格式:咨詢顧問