公交一卡通數(shù)據(jù)處理分析技術(shù)

1、公交一卡通數(shù)據(jù)處理分析技術(shù)交通信息工程及控制摘要：城市公共交通一卡通作為的一種便捷的支付工具近年來在公共交通領(lǐng)域發(fā)展非常迅速，得到了社會各界的廣泛應(yīng)用和發(fā)展。公交一卡通不僅給城市居民帶來了生活上或者出行上的便利，隨著一卡通市場的跨界融合和互聯(lián)互通，從而打破行政區(qū)域間隔狀態(tài)，這將會使城際間公共交通實現(xiàn)一體化，極大促進(jìn)人們跨區(qū)域的經(jīng)濟(jì)和文化交流。公交一卡通是大數(shù)據(jù)時代“智慧城市”建設(shè)不可缺少的一部分，實基礎(chǔ)性的，同時也貼近市民生活。公交信息是公交通行能力技術(shù)、公交客流預(yù)測技術(shù)、公交線路優(yōu)化技術(shù)、公交調(diào)度技術(shù)等關(guān)鍵技術(shù)的基礎(chǔ)，而公交一卡通的使用在提供數(shù)據(jù)的層面也能起到巨大的作用?；诠灰豢ㄍㄐ畔⑻?/p>

2、理來獲取公交客流信息，無需耗費人力物力進(jìn)行基礎(chǔ)數(shù)的采集，通過已有一卡通數(shù)據(jù)進(jìn)行分析即可獲得完整、連續(xù)的公交客流信息。關(guān)鍵詞：公交一卡通、數(shù)據(jù)處理公交一卡通在完成對乘客收費的同時，還能記錄乘客使用一卡通的卡號、公交車自編號、刷卡時間等信息，這些信息能夠準(zhǔn)確的反應(yīng)乘坐公交車出行者的分布情況，是公交車客流量數(shù)據(jù)采集的主要手段以及實現(xiàn)客流量預(yù)測的主要數(shù)據(jù)來源。隨著一卡通使用的不斷普及，以及一卡通采集內(nèi)容的全面，如何利用一卡通采集到的實時數(shù)據(jù)進(jìn)行與智能公交相關(guān)的研究越來越受到重視。數(shù)據(jù)資源的處理和應(yīng)用是當(dāng)前要面臨的挑戰(zhàn)。1 .公交一卡通數(shù)據(jù)分析目標(biāo)公交數(shù)據(jù)分析目標(biāo)同樣是建立公交數(shù)據(jù)分析系統(tǒng)的目的，它決定

3、了公交數(shù)據(jù)分析系統(tǒng)的結(jié)構(gòu)和分析流程，因此研究公交數(shù)據(jù)分析系統(tǒng)的框架必須首先明確公交數(shù)據(jù)分析目標(biāo)。通過公交數(shù)據(jù)分析，獲得公交運(yùn)營的基本客流信息，以及全面、準(zhǔn)確反映城市公交運(yùn)營狀況及公交乘客公交出行特征的信息。為公交規(guī)劃者提供規(guī)劃依據(jù)，為公交管理者提供公交運(yùn)營決策的依據(jù)。其具體目標(biāo)主要有兩個：（1）獲得用于公交運(yùn)營決策的公交客流信息，包括總客流、線路客流、斷面客流、站點客流、客流時空變化分布等。（2）獲得用于公交規(guī)劃的居民公交出行特征信息，主要包括居民公交品均出行數(shù)、起訖點分布、平均換乘次數(shù)、出行耗時特征、出行距離特征等。2 .公交數(shù)據(jù)分析思路數(shù)據(jù)分析是公交數(shù)據(jù)分析系統(tǒng)的核心部分，數(shù)據(jù)分析的過程包

4、括數(shù)據(jù)預(yù)處理與數(shù)據(jù)分析兩個步驟。數(shù)據(jù)預(yù)處理為隨后的數(shù)據(jù)分析做數(shù)據(jù)準(zhǔn)備，數(shù)據(jù)預(yù)處理得到什么樣的結(jié)果由數(shù)據(jù)分析的結(jié)果要求決定，而數(shù)據(jù)分析需要得到的結(jié)果又由數(shù)據(jù)分析的最終目標(biāo)決定。前文已經(jīng)分析過，一卡通數(shù)據(jù)分析有兩個目標(biāo)一是獲得用于公交運(yùn)營決策的公交客流信息二是獲得用于公交規(guī)劃的居民公交出行特征信息。根據(jù)不同的分析目標(biāo)，公交數(shù)據(jù)分析有兩條由數(shù)據(jù)預(yù)處理到數(shù)據(jù)分析的分析思路。由于原始數(shù)據(jù)到公交運(yùn)行信息，一卡通數(shù)據(jù)分析需要先后經(jīng)過數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析、解釋評價四個過程：數(shù)據(jù)采集包括原始數(shù)據(jù)的采集以及數(shù)據(jù)集成。城市公交基礎(chǔ)數(shù)據(jù)分為靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)兩類。動態(tài)數(shù)據(jù)是指隨著時間實時更新的數(shù)據(jù)，包括站點

5、客流量、線路客流量、交通流量數(shù)據(jù)、車輛實時速度數(shù)據(jù)等靜態(tài)數(shù)據(jù)是指，一定時間內(nèi)不發(fā)生變化或不需實時更新的數(shù)據(jù)，包括公交站點位置數(shù)據(jù)、各公交線路所經(jīng)過的站點信息、站點問問距、公交站點間運(yùn)行時間統(tǒng)計數(shù)據(jù)、換乘站點位置信息、公交線路車輛配置信息、公交運(yùn)營調(diào)度表等。公交一卡通數(shù)據(jù)分析就是利用一卡通數(shù)據(jù)，結(jié)合一定的公共交通靜態(tài)和動態(tài)數(shù)據(jù)，分析得到公交客流等數(shù)據(jù)的過程。在進(jìn)行公交一卡通數(shù)據(jù)分析時，一部分公交基礎(chǔ)數(shù)據(jù)作為原始數(shù)據(jù)，另一部分為分析的結(jié)果。而數(shù)據(jù)集成試將采集到的各類原始數(shù)據(jù)按照一定的跪著存儲并匯總，實現(xiàn)統(tǒng)一的數(shù)據(jù)視圖。數(shù)據(jù)倉庫是很好的數(shù)據(jù)存儲媒介，它可以存儲大量數(shù)據(jù)分析所需要的基礎(chǔ)數(shù)據(jù)，并可以建立

6、各類數(shù)據(jù)類型和相關(guān)性，滿足數(shù)據(jù)分析的基礎(chǔ)數(shù)據(jù)需要。數(shù)據(jù)預(yù)處理是對數(shù)據(jù)倉庫中數(shù)據(jù)進(jìn)行篩選、清理，保留合理準(zhǔn)確的數(shù)據(jù)，縮小數(shù)據(jù)范圍，以提高公交一卡通數(shù)據(jù)分析質(zhì)量。數(shù)據(jù)預(yù)處理是簡單的數(shù)據(jù)篩選過程，可以利用數(shù)據(jù)倉庫工具或數(shù)據(jù)分析工具進(jìn)行處理。數(shù)據(jù)分析過程是公交一卡通數(shù)據(jù)分析的核心環(huán)節(jié)，綜合利用多種數(shù)據(jù)分析方法對預(yù)處理過得公交一卡通原始數(shù)據(jù)進(jìn)行分析。可以利用已有的數(shù)據(jù)分析工具，也可以自行編寫算法程序進(jìn)行數(shù)據(jù)分析。公交一卡通數(shù)據(jù)分析得到的結(jié)果需要利用可視化工具直觀的顯示給用戶，以使用戶理解和觀察。根據(jù)用戶的不同要求，分析結(jié)果以不同內(nèi)容和形式表現(xiàn)，例如分析某條公交線路高峰小時或者一天的客流分布情況，這樣數(shù)據(jù)

7、分析系統(tǒng)會給出不同的結(jié)論和表現(xiàn)方式，這些分析結(jié)果不僅可以提供給用戶查看，也可以儲存在知識庫中，供日后分析和比較。如果對分析的結(jié)果不滿意，可以遞歸的執(zhí)行前面的步驟，直到結(jié)果滿意。3 .公交一卡通數(shù)據(jù)倉庫W.H.Inmon在BuildingtheDataWarehouse»中定義數(shù)據(jù)倉庫為“數(shù)據(jù)倉庫是面向主題的、集成的、隨時間變化的、歷史的、穩(wěn)定的、支持決策制定過程的數(shù)據(jù)集合?！奔磾?shù)據(jù)倉庫是在管理人員決策中的面向主題的、集成的、非易失的并且隨時間變化而變化的數(shù)據(jù)集合。“面向主題”是指數(shù)據(jù)是由業(yè)務(wù)主題組織的，例如，事務(wù)數(shù)據(jù)組織的就不是按主題組織的“集成”是指數(shù)據(jù)是作為一個整體進(jìn)行存儲的，而

8、不是以可能有不同結(jié)構(gòu)或組織方式的文件集合存儲的“非易失”是指數(shù)據(jù)保持不變，即按計劃添加新數(shù)據(jù)，而原數(shù)據(jù)不會丟棄“隨時間而變化”是指時間量度明確地包含在數(shù)據(jù)中，使得數(shù)據(jù)隨時間的趨向和變化可以用于分析研究。數(shù)據(jù)倉庫是一個環(huán)境，而不是一件產(chǎn)品，提供用于決策支持的當(dāng)前的和歷史的數(shù)據(jù)，而這些數(shù)據(jù)在傳統(tǒng)的操作型數(shù)據(jù)庫中很難或不能得到。數(shù)據(jù)倉庫技術(shù)是為了把操作型數(shù)據(jù)集成到統(tǒng)一的環(huán)境中，以提供決策型數(shù)據(jù)訪問的各種技術(shù)和模塊的總稱。所做的一切都是為了讓用戶更快、更方便地查詢所需要的信息，提供決策支持。操作數(shù)據(jù)向數(shù)據(jù)倉庫的移動包括提取、變換、凈化、加載和匯總。提取是從操作型數(shù)據(jù)庫中選擇并提取出所需要的字段變換時為

9、所有來自數(shù)據(jù)源的數(shù)據(jù)指定常用的格式和名稱凈化是盡量地更正錯誤的數(shù)據(jù)加載是把凈化過的數(shù)據(jù)載入到數(shù)據(jù)倉庫數(shù)據(jù)里匯總是提前計算出任何期待的數(shù)據(jù)倉庫數(shù)據(jù)的匯總供以后使用。設(shè)計數(shù)據(jù)倉庫一般包括9個步驟選擇合適的主題所要解決問題的領(lǐng)域明確定義事實表確定和確認(rèn)維選擇事實表計算并存儲事實表中的衍生數(shù)據(jù)段找出維表選擇數(shù)據(jù)庫的時段跟蹤改變維的需求確定查詢優(yōu)先級和查詢模式建立公交一卡通數(shù)據(jù)倉庫主要有兩個作用：一是可以從各信息源提取決策需要的數(shù)據(jù)，加工處理后存儲到數(shù)據(jù)倉庫中二是提供查詢和決策依據(jù)。公交一卡通數(shù)據(jù)分析需要的基礎(chǔ)數(shù)據(jù)主要有一卡通信息、公交線路以及站點信息、公交調(diào)度信息等。將這些由各種途徑采集得到的信息經(jīng)過

10、清洗、整合、轉(zhuǎn)換和匯總，并分類存儲在不同主題的數(shù)據(jù)庫中就形成了公交一卡通信息分析的數(shù)據(jù)庫。建立數(shù)據(jù)庫可以選擇比較成熟的數(shù)據(jù)倉庫工具，目前使用比較多的工具主要有MicrosoftSQLServerOracle,Informix,Sybas等。4 .公交一卡通數(shù)據(jù)分析工具和算法比較成熟的數(shù)據(jù)分析工具有很多，比如SAS公司的EnterpriseMiner、舊M公司的IntelligentMiner>SPS%司的Clementine、SGI公司的MineSet等。不同的數(shù)據(jù)分析工具各有其特點，選擇數(shù)據(jù)分析工具可以下面幾點作為標(biāo)準(zhǔn)：(1)支持多種數(shù)據(jù)庫平臺：公交一卡通信息數(shù)據(jù)分析需要用不同數(shù)據(jù)平臺

11、的數(shù)據(jù)資源，要求分析工具支持多數(shù)據(jù)庫平臺，可以同時調(diào)用多個數(shù)據(jù)源數(shù)據(jù)；(2)大數(shù)據(jù)量的處理能力：公交一卡通信息數(shù)據(jù)庫數(shù)據(jù)量相當(dāng)大，數(shù)據(jù)分析工具必須具備大數(shù)據(jù)量的處理能力數(shù)據(jù)量越大數(shù)據(jù)處理花費的時間越長，數(shù)據(jù)分析工具需要較快的處理速度。數(shù)據(jù)處理能力與數(shù)據(jù)處理速度達(dá)到最優(yōu)結(jié)合；(3)數(shù)據(jù)篩選和結(jié)果驗證能力：數(shù)據(jù)庫中往往夾雜大量不合理的冗余信息，挖掘工具具備篩選能力可以提高數(shù)據(jù)分析效率及精度。數(shù)據(jù)分析工具對結(jié)果的驗證功能可避免不合理的結(jié)果提交給使用者，造成錯誤的決策；(4)多樣的數(shù)據(jù)分析算法和模型：數(shù)據(jù)分析算法和模型是決定分析結(jié)果準(zhǔn)確的關(guān)鍵，數(shù)據(jù)分析工具具備多種算法和模型，從中選取適合的提高分析精度

12、。使用者還可以為數(shù)據(jù)分析工具添加新的適合不同數(shù)據(jù)分析的模型算法；(5)操作性：數(shù)據(jù)分析工具操作界面友好，用戶可方便選擇算法、連接數(shù)據(jù)、開始任務(wù)，降低人為錯誤發(fā)生率，節(jié)省時間。具有嵌入開發(fā)工具的分析工具可以開發(fā)友好的操作界面，是較好的選擇；(6)擴(kuò)展性擴(kuò)展性對于提高大數(shù)據(jù)量的處理效率十分有效，當(dāng)數(shù)據(jù)量很大時需要多臺計算機(jī)并行運(yùn)算，數(shù)據(jù)算法也要支持并行運(yùn)算。公交一卡通信息數(shù)據(jù)分析系統(tǒng)可發(fā)展為城市交通信息數(shù)據(jù)分析系統(tǒng)，因此擴(kuò)展性十分重要；(7)可視化：數(shù)據(jù)分析的結(jié)果可通過報表、圖表等直觀形式呈現(xiàn)給用戶；(8)連接其它工具：一些傳統(tǒng)工具在輔助用戶查詢和理解數(shù)據(jù)方面具有很強(qiáng)的功能，挖掘工具與這些第三方工

13、具共同使用可提高系統(tǒng)的效率。數(shù)據(jù)分析工具一方面對數(shù)據(jù)倉庫中的數(shù)據(jù)從多個角度進(jìn)行分析，例如公交線路斷面客流量、站點隨時間變化客流量等另一方面可以進(jìn)行智能決策，例如根據(jù)線路客流量提出線路配車數(shù)建議值、預(yù)測未來某時刻公交客流量情況等。針對于公交一卡通數(shù)據(jù)分析的理論方法主要包括自組織理論方法、機(jī)器學(xué)習(xí)方法、概率方法和數(shù)據(jù)壓縮方法、微觀經(jīng)濟(jì)學(xué)觀點和歸納數(shù)據(jù)庫方法、統(tǒng)計學(xué)方法、仿生物技術(shù)方法。具體的算法常用的有人工神經(jīng)網(wǎng)絡(luò)、決策樹、遺傳學(xué)算法、最臨近算法、規(guī)則歸納等。在公交一卡通信息處理過程中需要結(jié)合使用多種算法。公交一卡通信息記錄乘客卡號、刷卡時刻、刷卡站點、刷卡線路。以公交乘客完成一次出行目的作為一次

14、出行，一次出行的第一次刷卡站點作為出行起點，最后下車站點作為出行終點，之間的刷卡站點作為換乘站點可以沒有換乘站點。判斷出乘客的換乘站點和出行終點就可以了解某乘客的出行路徑。獲得乘客上下車站點及相應(yīng)時刻，從而得到某條固定線路全天各時段刷卡次數(shù)及上下車人數(shù)，對這些數(shù)據(jù)進(jìn)行分析統(tǒng)計，即可得該線路某一段時間或某一時刻的客流信息，包括該線路高峰小時及某段時間的平均乘客數(shù)、上下車乘客數(shù)等。公交乘客的出行基本信息包括平均出行次數(shù)、起訖點分布、平均換乘次數(shù)、出行耗時、出行距離等也可經(jīng)統(tǒng)計方法計算得到。判斷乘客的換乘站點和下車站點采用短期規(guī)律和長期歸納相結(jié)合的方法。城市居民一日的出行通常具有回歸性，即從居住地出

15、發(fā)、到居住地結(jié)束，使得公交出行站點具有對稱效果。以上班出行為例某人由居住地刷卡乘車記錄站點經(jīng)一次換乘到達(dá)工作地，完成第一次出行，此時只知道上車站點而不知道下車站點。乘客下班開始第二次出行，由工作地刷卡上車記錄站點，此次出行的起點站一般可認(rèn)為是第一次出行的終點。有時兩對稱站點一站點已知并不是同一站點，可以認(rèn)為兩站點相距不遠(yuǎn)根據(jù)乘坐公交車線路站點信息及一個上車站點判斷另一個下車站點。公交乘客每日出行具有偶然性，有時不以通常的線路或交通方式出行，此時上面的方法就遇到了困難。公交一卡通信息記錄的是乘客很多天的出行數(shù)據(jù)，一段時間來說乘客的出行路徑是基本不變的。利用多日的數(shù)據(jù)可幫助判斷乘客的出行終點。目前也出現(xiàn)了采用乘客下車刷卡直接獲取下車站點的方法，這樣就不需要在數(shù)據(jù)分析中對下車站點進(jìn)行判斷，降低了復(fù)雜性、提高了效率和精度。但