公交數據中心云平臺建設方案書

1、xx市公共交通有限責任公司二一四年十二月文檔狀態(tài)：文檔編號：gj-2014-12 draft released modifying 編撰：編撰日期：2014-12-02 保密級別：內部文檔版本：1.0.0 xx公交數據中心云平臺建設方案鍵入文字 2 目錄一、概述 .11.1 項目背景 .11.2 項目目標 .1二、需求分析.22.1 信息化現狀分析 .22.2 必要性分析 .22.3 需求分析 .32.4 業(yè)務分析 .3三、總體方案.43.1 建設思路.43.2 建設原則.53.3 總體建設方案.63.3.1 總體架構概述 .63.3.2 總體建設要求 .93.3.3 數據集成模式 . 113

2、.4 數據中心集成平臺. 123.4.1 數據采集 . 133.4.2 數據轉換 . 143.4.3 數據分發(fā) . 143.4.4 管理調度 . 153.4.5 運行監(jiān)控 . 153.4.6 異常處理 . 163.4.7 系統(tǒng)升級 . 163.5 數據統(tǒng)計分析平臺. 163.5.1 數據報表 . 163.6 運行環(huán)境 . 17四、項目預算. 18五、風險分析和控制. 185.1 技術風險 . 185.2 安全風險 . 195.3 數據質量風險. 195.4 實施風險 . 195.5 管理風險 . 205.6 需求變更風險. 20七、經濟及社會效益. 217.1 經濟效益 . 217.2 社會效

3、益 . 21一、概述1.1 項目背景xx 公交數據中心云平臺是基于xx 智慧快速公交（brt）系統(tǒng)的基礎上而建立，是針對xx 公交公司未來信息化建設的實際需求的發(fā)展，而建立的實時、準確、高效的綜合智能數據中心管理系統(tǒng)。公交數據中心云平臺定位于為公共交通企業(yè)提供一個企業(yè)運營數據服務平臺，它收斂企業(yè)各業(yè)務系統(tǒng)中的運營數據，按照企業(yè)信息模型進行數據整合，形成企業(yè)統(tǒng)一數據視圖，提供運營數據共享，支撐跨系統(tǒng)數據的應用，并且進行數據質量管理。公交數據中心云平臺能夠提供企業(yè)全局信息的統(tǒng)一、一致的訪問界面，支持企業(yè)對分散的信息全面深入的洞察，支撐實現企業(yè)不同部門的信息化平臺在各個環(huán)節(jié)上的業(yè)務協(xié)同，為企業(yè)信息共

4、享、數據質量提升和跨系統(tǒng)數據應用等需求提供了統(tǒng)一、高效、高質量的解決方案。1.2 項目目標數據中心的建設基于xx 智慧公共交通云中心并為解決公司完整信息數據的共享，實現業(yè)務部門之間的數據交換與數據共享，促進 xx 公交信息化的發(fā)展。具體目標如下：建立數據中心的系統(tǒng)平臺。完成相應的應用軟件和數據管理系統(tǒng)建設，實現數據的交換、保存、更新、共享、備份、分發(fā)和存證等功能，并擴展容災、備份、挖掘、分析等功能。( 一)建立數據中心的系統(tǒng)平臺。完成相應的應用軟件和數據管理系統(tǒng)建設，實現生產數據的交換、保存、更新、共享、備份、分發(fā)和存證等功能，并擴展容災、備份、挖掘、分析等功能。( 二)建立公司生產、管理、財

5、務信息庫等共享數據庫，為宏觀決策提供數據支持。對基礎數據進行集中管理，保證基礎數據的一致性、準確性和完整性，為各業(yè)務部門提供基礎數據支持；( 三)建立數據交換共享和更新維護機制。實現各業(yè)務部門系統(tǒng)之間的數據交換與共享，以及基礎數據的標準化、一致化，保證相關數據的及時更新和安全管理，方便業(yè)務部門開展工作；( 四)建立數據共享和交換技術標準和相關管理規(guī)范，實現各部門業(yè)務應用系統(tǒng)的規(guī)范建設鍵入文字 2 和業(yè)務協(xié)同；（五）為公共服務中心提供數據服務支持，實現面向社會公眾的一站式服務；( 六）根據統(tǒng)計數據標準匯集各業(yè)務部門的原始個案或統(tǒng)計數據，根據決策支持的需要，整理相關數據，并提供統(tǒng)計分析功能，為領導

6、決策提供數據支持；（七）為上級監(jiān)督部門提供提供必要的數據通道，方便實現對公司部門以及公司對象的監(jiān)管，逐步實現有效的監(jiān)管支持；（八）為業(yè)務數據庫的備份提供存儲和備份手段支持，提高業(yè)務應用系統(tǒng)的可靠性。二、需求分析2.1 信息化現狀分析xx 公交公司的信息化主要是以xx 智慧快速公交（brt ）系統(tǒng)為基礎，目前在xx 公交公司內部圍繞快速公交（brt）系統(tǒng)已經形成了很多個業(yè)務子系統(tǒng)，包括 : brt 自動售檢票系統(tǒng)、 brt智能調度系統(tǒng)、車輛定位和無線通信系統(tǒng)、乘客信息服務系統(tǒng)、電子站牌系統(tǒng)、智能客流分析評價系統(tǒng)、智能預警系統(tǒng)、時鐘同步、ip 數字廣播、視頻監(jiān)控及周界防范系統(tǒng)、高清交通視頻監(jiān)控系統(tǒng)

7、、一卡通收費系統(tǒng)等。由于各種原因，各業(yè)務子系統(tǒng)之間在應用或數據等層面上存在彼此分離的局面，他們分別采用了不通的數據庫系統(tǒng)，并使用了不同的應用開發(fā)技術。各系統(tǒng)的業(yè)務邏輯不同，而且在數據庫建設上沒有遵循統(tǒng)一的標準，這就形成了公交公司內部的信息孤島。2.2 必要性分析隨著公交公司信息化建設的要求，各子系統(tǒng)之間需要進行數據共享、交換。但由于信息孤島現象的存在，使公司內的一些數據傳遞往往通過原系統(tǒng)供應商直接進行系統(tǒng)間交換數據的方式進行數據傳遞，由于原系統(tǒng)之間的技術架構設計不同、數據標準的不同、原廠家技術支持不積極等原因，這樣常常造成數據信息不一致或數據丟失等情況，甚至無法實現彼此間的數據共享。此外，部門

8、之間數據產生和流向的混亂、數據共享程度低、數據標準不統(tǒng)一等現象，不但增加了管理難度，降低了工作效率，而且還制約了公交公司未來的發(fā)展。鍵入文字 3 為了解決以上信息孤島現象，公交公司迫切需要對現有的系統(tǒng)進行數據整合，在保留原有系統(tǒng)的基礎上將各個應用子系統(tǒng)的數據整合成一個無縫整體統(tǒng)一提供數據發(fā)布服務平臺，公交數據中心云平臺提供了數據共享平臺解決方案，可實現統(tǒng)一數據處理、發(fā)布、共享。2.3 需求分析通過數據中心云平臺的建設實現公交公司各個業(yè)務系統(tǒng)之間及公交公司與外部系統(tǒng)之間的信息數據的匯總、查詢、共享；根據匯總的數據實現核心系統(tǒng)的報表整合。數據中心云平臺承載著面向xx 公交各部門內部的信息系統(tǒng)服務、

9、信息查詢以及相關數據匯總、交換等應用服務。同時數據中心也提供外部數據查詢、交換服務的支撐基礎，以實現公交公司的信息化系統(tǒng)之間的數據共享；服務器資源合理利用；核心業(yè)務數據的備份容災，最終通過數據中心云平臺技術提升數據中心資源使用效率，有效整合系統(tǒng)，提供云容災，提供應用彈性，提升業(yè)務可持續(xù)性。數據中心云平臺為xx 公交提供統(tǒng)一的通用報表統(tǒng)計分析平臺。通過這一平臺， 可以充分利用企業(yè)信息化建設中積累的重要數據，將數據轉換為可輔助企業(yè)決策的關鍵信息，平臺充分結合公共交通行業(yè)，針對公交行業(yè)報表的特點，采用科學、先進的數學模型，立足于一個完整、通用、智能、專業(yè)的報表開發(fā)平臺，提供一個集統(tǒng)計、查詢、分析于一

10、身的通用報表平臺。2.4 業(yè)務分析數據中心的主要業(yè)務包括：1.從基層或業(yè)務系統(tǒng)采集數據，包括基礎數據和部分共享業(yè)務數據，支持基礎和共享數據的更新維護模式；2.對采集到的數據進行校驗和比對，發(fā)現沖突時按照共同制訂的數據處理規(guī)范進行處理，保證數據的一致性和準確性；3.受理業(yè)務系統(tǒng)或基層單位的基礎數據使用申請；4.將整理后的基礎數據分發(fā)或按需提供給有關部門或單位使用；5.以中介的方式處理共享業(yè)務數據使用申請，并進行備案；鍵入文字 4 6.對共享業(yè)務數據通過數據中心進行存儲轉發(fā)；7.將共享元數據的信息發(fā)布給各業(yè)務部門，提供瀏覽與訂閱申請，方便其共享必要信息；8.提供數據交換平臺和接口系統(tǒng)，使數據中心與

11、各部門的數據管理員可以對共享和交換過程進行管理；9.通過數據交換平臺存儲和管理公共服務數據，并與外網同步，提供一站式服務；10.存儲和管理統(tǒng)計數據，根據決策支持的需要，整理相關數據，并提供統(tǒng)計分析功能，對數據進行統(tǒng)計和分析，方便領導及時掌握有關情況。11.定期對業(yè)務數據庫進行容災備份；12.與此相對應，業(yè)務部門與數據中心發(fā)生的相關業(yè)務包括：13.提供數據或共享元數據給數據中心；14.申請使用數據中心的基礎數據，校準本單位的基礎數據；15.通過數據中心提供的共享元數據信息獲取其他單位的數據；16.審批其他單位的業(yè)務數據使用申請，并將數據提供出去；17.與數據中心交換公共服務數據；18.提供上級監(jiān)

12、督部門直接訪問業(yè)務數據庫的通道；19.提供統(tǒng)計分析數據或原始個案給數據中心，方便主管領導查詢；20.定期將業(yè)務數據庫備份到數據中心；三、總體方案3.1 建設思路遵循“強化數據建設，發(fā)揮應用效能，提升服務質量，建立長效機制”的建設思路，確保系統(tǒng)滿足近期需求，兼顧未來發(fā)展?！皬娀瘮祿ㄔO”是支撐未來xx 智慧公交數據中心平臺的重中之重，通過數據整合平臺建設，實現數據共享，進行資源整合，促進管理協(xié)同，進一步提升信息的有效組織和有效利用，提高對相關信息系統(tǒng)支撐水平，完善 xx 公交集團信息化體系。在系統(tǒng)建設過程中，必須同步建立信息采集、交換和質量保障機制以及運行維護保障機制，以確保城市公共交通信息化建

13、設良性發(fā)展。同時，積極探索和轉變交通運輸行業(yè)發(fā)鍵入文字 5 展方式，努力提高交通運輸設施、設備的技術水平和信息化水平。在現有的業(yè)務管理信息系統(tǒng)基礎上，建設公交系統(tǒng)政務信息交換體系和重大基礎性、戰(zhàn)略性數據中心。開展跨部門、跨行業(yè)信息交換與共享，提高城市公交體系的科學管理和組織水平。強化數據建設以 xx 市公共交通有限責任公司公共汽電車車輛、場站、 客流等運行狀態(tài)的動態(tài)監(jiān)測為業(yè)務核心，強化行業(yè)管理部門與運營企業(yè)間的數據交換與共享，確保各類數據的真實性、準確性與及時性。發(fā)揮應用效能系統(tǒng)建設應著眼于xx 市公共交通有限責任公司應用及為交通行業(yè)監(jiān)管部門提供實時監(jiān)測行業(yè)運行狀態(tài)、增強服務質量與安全監(jiān)管能力

14、、提升綜合決策水平等，為城市公共交通企業(yè)提高運行效率，優(yōu)化企業(yè)管理等發(fā)揮應用實效。提升服務質量系統(tǒng)建設應致力于為乘客提供及時準確、便于獲取的出行與換乘服務信息，并改進與實時路況信息相結合的動態(tài)信息服務，讓出行者切實感受到信息服務的便利。建立長效機制在系統(tǒng)建設過程中，必須同步建立信息采集、交換和質量保障機制以及運行維護保障機制，以確保城市公共交通信息化建設良性發(fā)展。3.2 建設原則規(guī)范性規(guī)定平臺的設計、開發(fā)、實施和維護管理參照中國國家標準、工信部有關交通行業(yè)通用的規(guī)范、中國的相關標準以及通用的國際規(guī)范。開放性平臺的各種接口在遵循規(guī)范性原則的基礎上，保證平臺可以集成不同設備廠商、平臺或平臺供應商、

15、軟件供應商的產品；保證平臺的軟件管理、平臺擴容和業(yè)務維護不依賴于單一設備廠商、平臺或軟件供應商的產品。擴展性平臺容量、處理能力和業(yè)務范圍具有良好的擴展能力；保證平臺的未來可用，避免重復鍵入文字 6 建設。同時要考慮平臺與其他業(yè)務支撐系統(tǒng)的接口。安全可靠性平臺必須滿足99.999%的可靠性指標， 保證 7x24小時的服務， 應用軟件中的任一模塊更新、加載時，在不更新與上下模塊的接口的前提下，不影響其它模塊的運行，并且保證平臺與其他相關系統(tǒng)的信息交換過程是安全的。為保證平臺的長期穩(wěn)定運行，整個系統(tǒng)必須采用多種容錯、數據備份等手段，保證系統(tǒng)正常運行，減小系統(tǒng)宕機發(fā)生的可能性。靈活性平臺應能夠適應公交

16、行業(yè)的發(fā)展，靈活的設計、調整業(yè)務處理流程，能夠滿足支撐公交公司和城市交通相關管理部門it 系統(tǒng)對數據共享的業(yè)務需求，同時能夠適應行業(yè)的未來發(fā)展變化。3.3 總體建設方案3.3.1 總體架構概述數據集成平臺是xx 市智慧公交系統(tǒng)的信息傳輸、信息交換總線。 通過數據集成平臺將各業(yè)務系統(tǒng)數據庫中需交換的數據自動上傳到數據集成中心庫中，并按各業(yè)務系統(tǒng)的數據需求將數據集成中心庫的數據分發(fā)到各業(yè)務系統(tǒng)，從而實現數據的統(tǒng)一集成和標準化，為提供數據的綜合查詢、統(tǒng)計分析奠定數據基礎。同時，保留各業(yè)務系統(tǒng)的原有數據庫，又確保了各業(yè)務系統(tǒng)的完整性。平臺主要完成數據集成過程，其中包含集成過程、集成方法調用以及集成架構

17、和集成策略。 集成的過程即為etl ， 它是將數據抽取 （extract） 、 轉換 （ transform） 、 清洗 （cleansing） 、裝載（ load ）的過程，完成數據從數據源向目標數據庫。數據etl 過程通過etl 工具自動進行，實現自動抽取、轉換、清洗和裝載。未來 xx 市智慧公交平臺將圍繞數據服務進行信息化工作的開展，主要服務體系包括：鍵入文字 7 服務建設規(guī)劃數據服務建設將公交公司核心數據進行匯聚，并統(tǒng)一提供全局的數據服務應用，滿足公交系統(tǒng)對于信息化服務的基本要求，同時兼顧未來與xx 市智慧城市it 建設的同步接軌。管理和應用服務建設以跨業(yè)務域的服務臺為支撐，面向市民、

18、公交系統(tǒng)辦公人員、城市公共交通管理部門提供全生命周期、一站式的服務中心，面向公交公司領導提供輔助決策分析的平臺，全面支撐xx 市智慧公交的發(fā)展戰(zhàn)略。特色服務建設圍繞 xx 市公交公司自身特色，基于先進的技術手段，實現相關特色應用服務，進一步擴大信息化的效果。數據服務建設是xx 智慧公交it 戰(zhàn)略規(guī)劃的基石，因此，亟需將xx 公交現有的統(tǒng)建系統(tǒng)和自建系統(tǒng)數據收集上來，統(tǒng)一規(guī)范編碼，實現數據間的關聯；統(tǒng)一數據和數據接口的規(guī)范和標準，統(tǒng)一資源目錄；建立企業(yè)級的數據模型；建立企業(yè)級服務總線，實現數據的收集和分發(fā)。鍵入文字 8 總體架構參考圖共享數據層通過平臺提供的數據集成工具，按照制定的數據轉化標準，

19、進行異構數據庫數據交換。支持觸發(fā)更新、增量更新、日志挖掘、定時抽取、策略抽取等多種同步或異步數據維護方式， 并支持 oracle 、 db2 、 sqlserver的主流數據庫， 以及 mysql 、 access 、 excel 、dbase/foxbase、 tabled text、webservice、jdbc/odbc等多種數據源。通過數據集成平臺提供了所有系統(tǒng)數據交換的通道，對交換數據能夠進行統(tǒng)一的接入和轉換處理。避免系統(tǒng)與系統(tǒng)直接點對點的數據交換，提高今后新系統(tǒng)接入的可維護性，同時也大大降低多系統(tǒng)的維護成本。數據集成平臺應實現以下功能：1、對于現有系統(tǒng)和在建系統(tǒng)以及以后新增加的系統(tǒng)

20、，通過在數據交換節(jié)點上配臵數據交換適配器，可以方便地將其封裝成標準的接口（如web service服務） ，從而能夠接入交換平臺并提供一致的訪問行為和接口。2、整個數據共享和交換的底層實現和存儲機制對各應用節(jié)點是透明的。該結構屬于松耦合，很容易進行層次化的結構擴展。3、數據共享平臺提供數據共享過程的系統(tǒng)配臵、安全監(jiān)控告警和異常處理等功能，主要完成接口、管理配臵、監(jiān)控管理等功能。鍵入文字 9 4、數據支持以xml 格式在共享節(jié)點之間采用端對端(p2p) 對等的方式直接交換，數據路由可根據數據內容自動分發(fā)，包括節(jié)點地址信息、業(yè)務數據信息等；數據路由也可按業(yè)務規(guī)則進行流轉，而且支持動態(tài)靈活地連接和構

21、建新的業(yè)務系統(tǒng)。5、支持與多種數據庫（如oracle 、sybase 、 ms sql 、db2 等）無縫對接，可重用的接口適配器支持配臵管理。6、 支持多種通訊傳輸方式如https 、異步可靠事件方式(jms 、web 服務等 )。7、 提供集成一體化的遠程統(tǒng)一部署、監(jiān)控、跟蹤、日志、和測試功能，適應集中部署和管理的需求。8、平臺提供豐富的api 接口供應用系統(tǒng)直接使用，以支持各節(jié)點的異構環(huán)境和操作系統(tǒng)平臺，并支持portal (b/s)接口集成。數據集成平臺參考架構體系3.3.2 總體建設要求數據集成平臺系統(tǒng)的建設需要借鑒相關行業(yè)的系統(tǒng)建設的經驗，對業(yè)務的發(fā)展保持良好的前瞻性，保證系統(tǒng)對業(yè)

22、務的完善支撐。項目應用軟件的開發(fā)應遵循如下設計要求：實用性、易操作性鍵入文字 10 數據集成平臺系統(tǒng)需具有良好的人機界面，操作方便、靈活。采用簡潔、直觀、友好的圖形化中文界面，支持鼠標操作；對于業(yè)務處理界面，可以保證操作人員能夠利用鍵盤操作；對于常用環(huán)節(jié)，系統(tǒng)應設臵快捷鍵以方便功能間的切換；操作及選擇鍵（熱鍵、菜單選擇等）的功能定義在全系統(tǒng)保持一致。接口標準性、一致性數據集成平臺系統(tǒng)接口必須提供系統(tǒng)橫向、縱向間的統(tǒng)一、穩(wěn)定接口。實現統(tǒng)一接口協(xié)議的處理。系統(tǒng)有眾多的接口，要求將接口交互功能與核心業(yè)務功能分離，實現單獨的接口組件，保證核心業(yè)務代碼不與接口直接相關。開放性、靈活性數據集成平臺系統(tǒng)應采

23、用開放的系統(tǒng)體系設計結構，兼容主流的系統(tǒng)軟件（數據庫、中間件）和硬件平臺（主機、存儲、網絡設備）。系統(tǒng)設計可充分利用現有設備資源，系統(tǒng)能夠滿足 xx 公交公司對未來情況變化的需要。軟件、硬件平臺應具有良好的可擴充、擴展能力，能夠按照系統(tǒng)的分步實施進程方便地進行系統(tǒng)的升級和更新，以適應系統(tǒng)不斷完善和發(fā)展。數據集成平臺系統(tǒng)要求實現對多業(yè)務的支持能力，能夠適應不同的xx 公交業(yè)務的特性和功能，能夠采用統(tǒng)一的模型完成對多業(yè)務的融合處理。要求系統(tǒng)模型抽象化，核心功能組件化，業(yè)務功能插件化；采用多層軟件體系結構，將數據、業(yè)務邏輯、業(yè)務表現分開?？蓴U展性、可復用性數據集成平臺系統(tǒng)能夠滿足業(yè)務需求的長遠目標。

24、擴展性原則規(guī)定本系統(tǒng)的系統(tǒng)容量、處理能力和業(yè)務范圍具有良好的擴展能力；規(guī)定應用軟件設計應滿足xx 公交今后的業(yè)務和用戶規(guī)模的增長，保護投資，避免重復建設。數據集成平臺系統(tǒng)必須具有良好的可復用性，通過組件化設計，實現業(yè)務過程組件與業(yè)務流程的分離，實現業(yè)務過程組件的復用?？捎眯?、容錯性、可靠性數據集成平臺系統(tǒng)在設計過程中，必須考慮系統(tǒng)容錯處理，能夠對操作人員的誤操作進行提示。并可以監(jiān)控系統(tǒng)的運行情況，提高系統(tǒng)的可靠性，從而提高業(yè)務運營的水平，保證服務質量。數據集成平臺系統(tǒng)必須保證穩(wěn)定可靠的運行，并保證數據的安全與完整，在系統(tǒng)出現問鍵入文字 11 題時，必須保證數據的完整、可恢復以及事務的完整性。系

25、統(tǒng)應采用多種系統(tǒng)容錯手段，包括雙機或鏡像備份工作方式，在數據丟失的情況下，可利用備份的數據在較短時間內進行恢復，核心系統(tǒng)不應存在單點故障。安全可靠性規(guī)定數據集成平臺系統(tǒng)必須滿足可靠性指標，保證7x24小時的服務；保證系統(tǒng)在運營過程中管理的各種資料的信息安全；保證信息交換過程的安全；保證系統(tǒng)業(yè)務管理體系的安全。應具有完整的操作權限管理功能和完善的系統(tǒng)安全機制，能夠對每個操作員的每次操作有詳細的記錄，對每次非法操作產生告警并能及時糾正等。3.3.3 數據集成模式基于對 xx 公交行業(yè)現有it 建設和未來it 規(guī)劃，在實施數據集成工作，構建統(tǒng)一數據共享服務平臺過程中，可能會遇到不同集成模式，以下是三

26、種典型集成模式參考模型：集中模式該應用場景下用戶一般需要實現組織內部各個業(yè)務系統(tǒng)間的數據集成，以及多數據源到數據中心的數據整合過程。場景主要特點是網絡環(huán)境單一、數據源類型多樣化(數據庫、各種應用系統(tǒng)接口、文件等) 。集中模式部署參考圖網絡隔離模式該應用場景下用戶一般需要實現對分布在不同域內兩數據源之間點對點的業(yè)務數據交換鍵入文字 12 過程。場景主要特點是數據傳輸環(huán)境復雜，對數據傳輸的安全性要求較高，網絡之間往往有物理隔離或網閘，有可能需要人工參與數據傳輸。產品對此提供了跨物理隔離或網閘隔離域之間數據傳輸的完整解決方案。網絡隔離模式部署參考圖分布式模式在多個分級域之間（如集團、集團所屬分公司、

27、子公司之間）實現數據共享。場景主要特點是部署環(huán)境跨地域和網絡域范圍較大，各個域內數據訪問相對獨立，跨網絡域間數據訪問規(guī)則按所屬級別嚴格控制。分布式模式部署參考圖3.4數據中心集成平臺數據中心集成平臺承載著面向xx 公交各部門內部的信息系統(tǒng)服務、信息查詢以及相關數據匯總、交換等應用服務。同時數據中心也提供外部數據查詢、交換服務的支撐基礎，以實鍵入文字 13 現公交公司的信息化系統(tǒng)之間的數據共享；服務器資源合理利用；核心業(yè)務數據的備份容災，最終通過數據中心云平臺技術提升數據中心資源使用效率，有效整合系統(tǒng)，提供云容災，提供應用彈性，提升業(yè)務可持續(xù)性。3.4.1 數據采集數據采集就是從數據源抽取出所需

28、的數據的過程。數據抽取后，再經過數據清洗、轉換，最終按照預先定義好的數據集成平臺接口模型，將數據加載到數據倉庫中去。數據采集必須能夠滿足系統(tǒng)的需要，又能保證不影響業(yè)務系統(tǒng)的性能，所以進行數據抽取時應制定相應的策略，包括抽取方式、抽取時機、抽取周期等內容。數據抽取時須充分考慮以下因素，并制定相應的策略：1、 滿足對多種不同的數據來源的抽取處理，包括網絡內各個業(yè)務系統(tǒng)的數據。2、 支持多種不同系統(tǒng)平臺和數據類型的數據抽取，包括各種關系型數據庫系統(tǒng)、各種文件方式的源數據。3、 充分考慮數據源系統(tǒng)的性能要求。根據業(yè)務量大小和數據量大小設計采集時間、內容與方式，盡量減少對數據源系統(tǒng)的影響。4、 采集規(guī)則

29、配臵：對數據采集需要的規(guī)則進行配臵，包括采集源、采集方式、采集范圍、源數據格式、采集頻度、接口方式等信息配臵的能力。5、 信息采集：從各業(yè)務單元系統(tǒng)獲取用于數據管理的原始數據的過程，此功能執(zhí)行數據采集的動作，支持聯機( 定時 )采集、在線 ( 實時 )采集、脫機采集等。6、 信息校驗：對采集的數據進行完整性和準確性的校驗。7、 增量采集：要求數據集成平臺系統(tǒng)能夠支持數據的增量抽取，避免改造原有系統(tǒng)，禁止在源數據庫服務器中安裝客戶端、插件等任何程序，不得更改源數據庫，不得占用源數據庫的系統(tǒng)資源，不在源數據庫服務器上進行日志解析。8、 斷點續(xù)傳，如因網絡中斷、源端異?；蚰繕硕水惓５仍驅е峦街袛?/p>

30、，在異常排除后，系統(tǒng)能夠自動從斷點繼續(xù)進行同步，無需人工干預。鍵入文字 14 3.4.2 數據轉換數據轉換主要完成從源數據向目標數據轉換的各種處理。主要功能：規(guī)則配臵對數據處理需要的規(guī)則進行配臵，包括對采集的數據進行格式化處理、分揀過濾、排重、稽核與異常數據的處理等信息配臵的能力。格式化根據數據采集、 數據處理的格式定義，對采集的原始數據進行標準/統(tǒng)一格式轉換等處理，為其他模塊提供標準格式的數據。分揀過濾分揀包括拆分、合并、關聯。稽核與異常數據處理稽核是指對數據處理過程中服務使用記錄的完整性、有效性和準確性進行校驗，并形成錯誤記錄。異常數據處理是指對稽核過程中形成的錯誤記錄進行存儲、分析、修正

31、、重新處理的功能。3.4.3 數據分發(fā)數據分發(fā)就是將從數據源系統(tǒng)中抽取、轉換后的數據加載到數據集成平臺系統(tǒng)中，并分發(fā)到各需要的系統(tǒng)。要求數據工具必須具有高效的加載性能。根據業(yè)務數據的實際情況，加載周期要綜合考慮業(yè)務分析需求和系統(tǒng)加載的代價，對不同業(yè)務系統(tǒng)的數據采用不同的加載周期，但必須保持同一時間業(yè)務數據的完整性。主要功能：分發(fā)規(guī)則配臵對數據交換的規(guī)則進行配臵，包括交換目標對象、數據格式、分發(fā)方式、分發(fā)頻度等信息。分發(fā)數據生成要生成分發(fā)給其它平臺的數據，根據數據交換的規(guī)則，針對不同的目標對象，按照已配臵的數據格式生成分發(fā)數據為其它模塊提供數據源信息。數據發(fā)送鍵入文字 15 數據處理將處理后的標

32、準服務使用記錄，根據數據分發(fā)規(guī)則配臵，將數據完整、正確的送給目標系統(tǒng)。分發(fā)方式針對不同的目標對象，選擇合適的分發(fā)方式，系統(tǒng)應支持ftp 、ftps 、http 、jms 、webservice等傳輸方式。3.4.4 管理調度管理調度是過程中的統(tǒng)一調度者和指揮者，它把復雜的數據處理過程中各個步驟整合成一個整體。管理調度程序的主要功能主要包括任務的調度和監(jiān)控。調度要求包括三個方面的統(tǒng)一：統(tǒng)一界面、統(tǒng)一配臵、統(tǒng)一調度。1、在界面方面，要求實現統(tǒng)一的圖形界面方式，且清晰易懂。2、在配臵方面，要求具備以下要素的配臵功能：自動調度時間的設臵、各調度要素之間邏輯關系的設臵、指定調度要素的設臵（包含指定數據源

33、系統(tǒng)、功能模塊、接口表等）、最大任務數的設臵。3、在統(tǒng)一調度方面，要求在通過統(tǒng)一界面進行統(tǒng)一配臵后，能夠統(tǒng)一的進行調度程序的啟動和停止。在不同階段調用相應的資源進行處理，可以支撐整個調度過程中的流水線并行數據處理。支持手動觸發(fā)、計劃任務觸發(fā)和基于事件接口形式的實時觸發(fā)能力，以適應人工參與、自動化無人工干預的實時數據同步與批量數據同步等多種場景，支持并行執(zhí)行。3.4.5 運行監(jiān)控交換過程的監(jiān)控管理包括對數據交換平臺數據交換業(yè)務流程的過程監(jiān)控，對業(yè)務流程運行狀態(tài)實時監(jiān)控，對業(yè)務流程執(zhí)行情況監(jiān)控，業(yè)務流程最新狀態(tài)監(jiān)控，歷史運行信息監(jiān)控。交換過程監(jiān)控管理主要包括交換服務監(jiān)控模塊，系統(tǒng)故障監(jiān)控模塊：交換

34、服務監(jiān)控模塊包括對過程處理狀態(tài)的監(jiān)控，出錯信息的監(jiān)控，提供處理開始時間，完成時間，成功失敗標識等，一旦發(fā)現錯誤需要提供消息等多種方式進行報警。系統(tǒng)故障監(jiān)控模塊鍵入文字 16 主要針對于本部門交換過程中出現的錯誤進行統(tǒng)一的監(jiān)控，如出現網絡斷網，排隊，流量超標，標準不統(tǒng)一等出現的一系列問題進行統(tǒng)一的監(jiān)管。3.4.6 異常處理異常數據處理機制指源數據系統(tǒng)中的數據本身出錯并發(fā)生變更后，對于正在抽取、已經抽取、已經處理、已經匯總等各個環(huán)節(jié)，如何進行回退處理的一套機制。并且能夠提供調用業(yè)務系統(tǒng)接口的能力。要求系統(tǒng)內能夠自動識別與處理故障，減少人工參與。3.4.7 系統(tǒng)升級系統(tǒng)升級是指數據集成平臺系統(tǒng)能實現

35、自動化的升級效果，在不影響業(yè)務運行的前提下，實現軟件系統(tǒng)平滑升級。3.5數據統(tǒng)計分析平臺數據統(tǒng)計分析平臺為xx 公交提供統(tǒng)一的通用報表統(tǒng)計分析平臺。通過這一平臺， 可以充分利用企業(yè)信息化建設中積累的重要數據，將數據轉換為可輔助企業(yè)決策的關鍵信息，平臺充分結合公共交通行業(yè)，針對公交行業(yè)報表的特點，采用科學、先進的數學模型，立足于一個完整、通用、智能、專業(yè)的報表開發(fā)平臺，提供一個集統(tǒng)計、查詢、分析于一身的通用報表平臺。3.5.1 數據報表經過數據集成平臺抽取、清晰轉換之后同步到數據中心的數據通過報表形式進行直觀的展現，以滿足業(yè)務統(tǒng)計、決策分析的需求。在數據分析方面，報表工具提供了高效的報表設計方案

36、、強大的報表展現能力、靈活的部署機制，并且具備強有力的填報功能，為智慧公交系統(tǒng)的數據分析和數據填報工作提供了高性能、高效率的統(tǒng)一報表解決方案。報表工具不僅提供了靈活而強大的報表設計方式和分析功能，使得用戶可以不需要掌握復雜的專業(yè)開發(fā)技能，就可以隨時根據業(yè)務需要輕松完成各種復雜的報表制作、填寫、輸出；而且還結合了非鍵入文字 17 線性報表模型、強關聯語義模型等先進的技術，提供了對復雜運算關系、多數據集的支持，真正實現報表設計的隨需而動。報表設計的隨需而動，其意義不僅僅在于報表設計工作效率的提高，更重要的是它賦予了數據的真正使用者最終用戶以更大的自由度，使得用戶可以及時對業(yè)務數據進行分析、研究、匯

37、總、報告，可以及時滿足隨時出現的了解信息、分析數據的需求，從而幫助實現對業(yè)務的深刻洞察和及時反應。3.6運行環(huán)境數據中心云平臺統(tǒng)一與xx 公交智慧 （brt ）系統(tǒng)集中部署，根據現場實際情況增加相應的數據存儲設備。鍵入文字 18 四、項目預算編號建設內容合計( 萬元 ) 備注1 數據中心集成平臺75.0 實現公交公司各個業(yè)務系統(tǒng)之間及公交公司與外部系統(tǒng)之間的信息數據的匯總、查詢、共享2 數據統(tǒng)計分析平臺25.0 提供 xx 公交提供統(tǒng)一的通用報表統(tǒng)計分析平臺3 系統(tǒng)實施25.0 對現有業(yè)務系統(tǒng)的接入、現場實施、項目管理等，包含后續(xù)業(yè)務系統(tǒng)接入費用合計125.0 五、風險分析和控制xx公交數據中心項目的主要風險和應對措施如下：5.1 技術風險主要體現在業(yè)務系統(tǒng)的多樣性，可能造成系統(tǒng)接口復雜；另外負載估計不準確，可能