摘要：高速公路營(yíng)運(yùn)過(guò)程中產(chǎn)生巨大的收費(fèi)數(shù)據(jù)量，這些數(shù)據(jù)無(wú)論是對(duì)交通管理部門(mén)，還是對(duì)高速公路營(yíng)運(yùn)企業(yè)都是一筆十分寶貴的數(shù)據(jù)財(cái)富。在這些營(yíng)運(yùn)數(shù)據(jù)中反映了很多的信息，如何對(duì)這些海量數(shù)據(jù)進(jìn)行科學(xué)的處理，找出規(guī)律，是道路管理部門(mén)亟待解決的問(wèn)題。本文簡(jiǎn)單介紹了有效處理海量收費(fèi)數(shù)據(jù)的一般方法。

　　關(guān)鍵詞：高速公路 收費(fèi)數(shù)據(jù) 處理方法

　　Abstract: highway operation process produce the huge charge data quantity, the data either to the transportation management department, or the highway operation enterprise is a very precious wealth of data. In these operations in a lot of data reflect information, how these mass data processing of science, and find out the law, is the way to the problems of the management department. This article simply introduces the effective process mass charge data of a general method.

　　Keywords: highway charge data processing method

　　一、引言

　　近年來(lái)我國(guó)高速公路發(fā)展迅速，江蘇高速公路通車(chē)總里程已突破4000公里，通車(chē)總里程居全國(guó)第二，密度居全國(guó)第一。江蘇省高速公路每月通行車(chē)輛數(shù)可達(dá)1000多萬(wàn)輛，道路營(yíng)運(yùn)產(chǎn)生的收費(fèi)數(shù)據(jù)量是巨大的，江蘇省高速公路聯(lián)網(wǎng)收費(fèi)系統(tǒng)儲(chǔ)存了大量收費(fèi)基礎(chǔ)數(shù)據(jù)。在營(yíng)運(yùn)數(shù)據(jù)中，僅僅收費(fèi)數(shù)據(jù)和軸重?cái)?shù)據(jù)的記錄，每月總量就可達(dá)到5000萬(wàn)條之多。這些數(shù)據(jù)充滿了龐大的數(shù)據(jù)庫(kù)，形成了浩瀚無(wú)垠的信息海洋。

　　在這些營(yíng)運(yùn)數(shù)據(jù)中反映了很多的信息，例如：軸重狀況，車(chē)流量狀況，車(chē)流量比例狀況，每個(gè)路段車(chē)流負(fù)荷狀況和每個(gè)收費(fèi)站的收費(fèi)人員工作狀況等。這些信息對(duì)服務(wù)質(zhì)量的提高，資源的有效使用，路面的有效保養(yǎng)都具有重要的參考意義。這些數(shù)據(jù)，無(wú)論是對(duì)交通管理部門(mén)來(lái)說(shuō)，還是對(duì)高速公路營(yíng)運(yùn)企業(yè)來(lái)說(shuō)，都是一筆十分寶貴的數(shù)據(jù)財(cái)富。如何對(duì)這些海量數(shù)據(jù)進(jìn)行科學(xué)的處理，找出規(guī)律，對(duì)交通行業(yè)主管進(jìn)行決策參考和管理公司指導(dǎo)營(yíng)運(yùn)管理，都具有很高的價(jià)值。在此本文就數(shù)據(jù)處理方法談點(diǎn)體會(huì)。

　　二、處理方法

　　收費(fèi)數(shù)據(jù)分析

　　根據(jù)【江蘇省蘇南高速公路聯(lián)網(wǎng)收費(fèi)暫行技術(shù)要求】、【江蘇省蘇北高速公路聯(lián)網(wǎng)收費(fèi)暫行技術(shù)要求】和【江蘇省高速公路聯(lián)網(wǎng)收費(fèi)系統(tǒng)計(jì)重收費(fèi)（數(shù)據(jù)部分）技術(shù)要求】的規(guī)定，高速公路聯(lián)網(wǎng)收費(fèi)原始數(shù)據(jù)分別存儲(chǔ)在"入口車(chē)道原始過(guò)車(chē)記錄表"、"出口車(chē)道原始過(guò)車(chē)記錄表"和"軸重原始數(shù)據(jù)表"中。這3個(gè)表主要包含：入口數(shù)據(jù)、出口數(shù)據(jù)、路徑數(shù)據(jù)、車(chē)輛數(shù)據(jù)、收費(fèi)數(shù)據(jù)、管理數(shù)據(jù)、冗余數(shù)據(jù)。

　　在選用的關(guān)鍵數(shù)據(jù)中，除了可以直接看到的顯式數(shù)據(jù)外，這些數(shù)據(jù)還隱含了一些其它數(shù)據(jù)內(nèi)容。配合適當(dāng)?shù)姆椒ㄒ约跋嚓P(guān)數(shù)據(jù)，可以提取出這些隱含內(nèi)容，主要包含：路段數(shù)據(jù)、地點(diǎn)數(shù)據(jù)、車(chē)型數(shù)據(jù)、超限數(shù)據(jù)、日期時(shí)間數(shù)據(jù)。

　　數(shù)據(jù)整理流程

　　數(shù)據(jù)整理流程從合并聯(lián)網(wǎng)收費(fèi)數(shù)據(jù)開(kāi)始，到將預(yù)處理過(guò)的數(shù)據(jù)導(dǎo)入數(shù)據(jù)應(yīng)用挖掘數(shù)據(jù)庫(kù)為止，大致包括以下幾個(gè)步驟：

　　1. 數(shù)據(jù)合并

　　海量的收費(fèi)數(shù)據(jù)分散放置在大量的數(shù)據(jù)表中，既不便于篩選和查詢，也不便于統(tǒng)計(jì)和分析。在出口車(chē)道原始過(guò)車(chē)記錄表包含了入口車(chē)道原始過(guò)車(chē)記錄表中的入口數(shù)據(jù)和車(chē)輛分類數(shù)據(jù)，所缺的恰巧是不需要考慮的管理數(shù)據(jù)和冗余數(shù)據(jù)。因此只需要合并和處理出口車(chē)道原始過(guò)車(chē)記錄表和軸重原始數(shù)據(jù)記錄表的相關(guān)內(nèi)容，即可滿足數(shù)據(jù)挖掘的實(shí)際需要。

　　2. 數(shù)據(jù)過(guò)濾

　　因?yàn)槭召M(fèi)數(shù)據(jù)中不僅包括進(jìn)行數(shù)據(jù)應(yīng)用處理時(shí)所需要的各種數(shù)據(jù)，例如：入口數(shù)據(jù)、出口數(shù)據(jù)、路徑數(shù)據(jù)和車(chē)輛數(shù)據(jù)，而且還包括了不需要的其它數(shù)據(jù)：收費(fèi)數(shù)據(jù)、管理數(shù)據(jù)和冗余數(shù)據(jù)。所以必須對(duì)合并后的收費(fèi)數(shù)據(jù)分別進(jìn)行多次過(guò)濾，逐步濾除不需要的數(shù)據(jù)。

　　3. 數(shù)據(jù)預(yù)處理

　　計(jì)算機(jī)在進(jìn)行數(shù)據(jù)處理時(shí)，速度最快的是進(jìn)行加減運(yùn)算，其次是進(jìn)行乘除運(yùn)算，而冪運(yùn)算、字符串運(yùn)算和邏輯運(yùn)算則計(jì)算速度很慢。

　　由于在進(jìn)行數(shù)據(jù)應(yīng)用處理時(shí)，許多數(shù)據(jù)應(yīng)用處理都涉及到復(fù)雜的數(shù)學(xué)計(jì)算。在涉及到的計(jì)算方法中，不僅包括了四則運(yùn)算，而且還包括了冪運(yùn)算、字符串運(yùn)算和邏輯運(yùn)算。因此，不僅計(jì)算方法十分復(fù)雜，而且計(jì)算效率很難提高。

　　因?yàn)檫@些數(shù)學(xué)計(jì)算具有一定的共性，所以將其提取出來(lái)進(jìn)行預(yù)處理，不僅可以減少數(shù)據(jù)應(yīng)用處理的復(fù)雜程度，而且可以大大提高計(jì)算效率。

　　另外，從數(shù)據(jù)規(guī)定有效時(shí)段的角度來(lái)考慮，更應(yīng)該對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。在進(jìn)行數(shù)據(jù)預(yù)處理時(shí)，應(yīng)該注意各個(gè)需要進(jìn)行預(yù)處理的數(shù)據(jù)之間的先后關(guān)系。有部分?jǐn)?shù)據(jù)是屬于獨(dú)立數(shù)據(jù)，例如：行駛里程數(shù)據(jù)、當(dāng)量軸次數(shù)據(jù)，不論先處理或者后處理均無(wú)關(guān)系。也有一部分?jǐn)?shù)據(jù)是屬于有依賴關(guān)系的數(shù)據(jù)，例如：總軸限、超限限值、超限比例，必須按照特定的先后順序處理，才能夠保證得到正確的處理結(jié)果。否則，不僅可能得到錯(cuò)誤的處理結(jié)果，甚至可能根本無(wú)法進(jìn)行處理。

　　4. 數(shù)據(jù)導(dǎo)出

　　數(shù)據(jù)導(dǎo)出的操作方法和數(shù)據(jù)合并的操作方法類似，只是不存在多表對(duì)單表操作，而是單表對(duì)單表操作，所以在這里就不再冗述了。

　　數(shù)據(jù)整理注意要點(diǎn)

　　1. 批次大小

　　每期數(shù)據(jù)可以是一個(gè)月的數(shù)據(jù)，也可以是一年的數(shù)據(jù)，但是不能更多；每期數(shù)據(jù)的相關(guān)數(shù)據(jù)規(guī)定的有效時(shí)段必須相同，例如：2009年和2010年的數(shù)據(jù)不能同期處理；

　　當(dāng)南北網(wǎng)數(shù)據(jù)分開(kāi)處理并且每一次處理一個(gè)網(wǎng)一年的數(shù)據(jù)時(shí)，某些處理過(guò)程需要高達(dá)幾十個(gè)小時(shí)，完成全部處理過(guò)程需要近二百個(gè)小時(shí)；但是，當(dāng)每次處理一個(gè)月數(shù)據(jù)時(shí)，南北網(wǎng)數(shù)據(jù)在一天內(nèi)即可全部完成處理；

　　這中間的差別是因?yàn)檫M(jìn)行某些數(shù)據(jù)處理時(shí)，隨著數(shù)據(jù)量的增長(zhǎng)，數(shù)據(jù)處理量不是呈線性關(guān)系增長(zhǎng)，而是呈指數(shù)關(guān)系增長(zhǎng)；

　　出于保持?jǐn)?shù)據(jù)完整性考慮，應(yīng)該采用較大的數(shù)據(jù)處理批量；出于實(shí)際處理效率考慮，應(yīng)該采用較小的數(shù)據(jù)處理批量；

　　兼顧兩者，通盤(pán)考慮，建議南北網(wǎng)數(shù)據(jù)分別處理，每次處理一個(gè)季度的數(shù)據(jù)為宜。

　　2. 處理位置

　　在存放原始數(shù)據(jù)的數(shù)據(jù)庫(kù)中進(jìn)行處理，不僅可以得到最好的數(shù)據(jù)處理效果，因?yàn)椴恍枰獋鬏敂?shù)據(jù)，還可以節(jié)省大量數(shù)據(jù)傳輸時(shí)間；

　　具體操作時(shí)可以利用SQL腳本自動(dòng)生成臨時(shí)數(shù)據(jù)表，完成數(shù)據(jù)整理和數(shù)據(jù)導(dǎo)出后，再刪除臨時(shí)數(shù)據(jù)表釋放存儲(chǔ)空間；

　　以每次處理一個(gè)季度的數(shù)據(jù)為例，占用存儲(chǔ)空間只有幾個(gè)GB，加上處理過(guò)程中占用的日志空間，也不會(huì)超過(guò)20個(gè)GB；為了減少日志占用的存儲(chǔ)空間，盡可能不要將處理腳本一次性全部提交，而是人為將其分割成幾個(gè)部分分次提交。

　　3. 處理效率

　　為了提高處理效率，除了必須按先后順序進(jìn)行的處理外，應(yīng)該盡可能將處理?xiàng)l件相同或者接近的數(shù)據(jù)處理放在一個(gè)處理過(guò)程中完成，例如：車(chē)輛軸型和總軸限處理過(guò)程；

　　在用到數(shù)據(jù)檢索、數(shù)據(jù)匹配操作時(shí)，應(yīng)該盡可能建立索引（不一定是建立主關(guān)鍵詞，有時(shí)雖然不能建立主關(guān)鍵詞，但是可以建立索引。）后，再進(jìn)行數(shù)據(jù)處理，例如：行駛里程數(shù)據(jù)預(yù)檢索過(guò)程；

　　應(yīng)該盡早檢查錯(cuò)誤數(shù)據(jù)，并且及時(shí)加以剔除，以防止數(shù)據(jù)處理過(guò)程中斷；因?yàn)閿?shù)據(jù)處理過(guò)程中斷后，不僅前面的處理工作全部浪費(fèi)，而且數(shù)據(jù)庫(kù)回滾恢復(fù)原狀還需要占用大量的時(shí)間；

　　只有通過(guò)各種方法配合，通盤(pán)綜合考慮，才可能有效的提高總處理效率。

　　三、結(jié)束語(yǔ)

　　高速公路聯(lián)網(wǎng)營(yíng)運(yùn)在我國(guó)日漸廣泛，軟件技術(shù)和硬件設(shè)施的發(fā)展也與世界先進(jìn)水平相距不遠(yuǎn)。和銀行、電信、地質(zhì)、保險(xiǎn)、零售等數(shù)據(jù)挖掘技術(shù)應(yīng)用廣泛的行業(yè)相比，高速公路數(shù)據(jù)應(yīng)用處理的方法和深度還有一定的差距，這與高速公路信息技術(shù)高速發(fā)展不相匹配。高速公路行業(yè)的主管部門(mén)希望在行政決策和行業(yè)管理上得到更充分、更深入、更有針對(duì)性的相關(guān)數(shù)據(jù)支持；同樣高速公路管理公司和營(yíng)運(yùn)企業(yè)，也希望在改善服務(wù)質(zhì)量、提高管理水平、優(yōu)化資源配置等方面，得到更有效的數(shù)據(jù)支持。利用合理有效的數(shù)據(jù)處理手段能夠總結(jié)提煉出對(duì)高速公路運(yùn)營(yíng)管理有益的規(guī)律和手段，能夠完善高速公路的管理，有效地提高高速公路的管理質(zhì)量和服務(wù)質(zhì)量，為高速公路建設(shè)進(jìn)一步向信息化、智能化方向發(fā)展打好基礎(chǔ)。

　　參考文獻(xiàn)：

　　[1] 交通部.聯(lián)網(wǎng)收費(fèi)技術(shù)要求[S]. 北京：人民交通出版社

　　[2] 江蘇省蘇南高速公路聯(lián)網(wǎng)收費(fèi)暫行技術(shù)要求

　　[3] 江蘇省蘇北高速公路聯(lián)網(wǎng)收費(fèi)暫行技術(shù)要求

　　[4] 江蘇省高速公路聯(lián)網(wǎng)收費(fèi)系統(tǒng)計(jì)重收費(fèi)（數(shù)據(jù)部分）技術(shù)要求

　　[5] 劉偉明等.高速公路收費(fèi)系統(tǒng)理論與方法[M]. 北京：人民交通出版社