Topsuit南航SVC大數(shù)據(jù)支撐案例—南航于英

1、揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！南航SVC大數(shù)據(jù)支撐案例南航天合架構(gòu)師：于英揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！ 進(jìn)一步的工作進(jìn)一步的工作 系統(tǒng)架構(gòu)系統(tǒng)架構(gòu) 技術(shù)選型考慮技術(shù)選型考慮 案例說明案例說明揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！數(shù)據(jù)分散，形成數(shù)據(jù)孤島；無法統(tǒng)一共享。數(shù)據(jù)分散，形成數(shù)據(jù)孤島；無法統(tǒng)一共享。高端系統(tǒng)旅客資料大客戶旅客資料呼叫旅客資料客艙旅客資料電子客票旅客資料離港旅客資料銷售旅客資料客戶統(tǒng)一視圖系統(tǒng)（SVC）揭

2、示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！CustomerLoyalty投訴SeatingInventoryCheck-inFlight DataIrregularOperationsSchedulesGeneralInformationWeight & BalanceTicketingReservations3rd Party呼叫中心B2C離港行李查詢中轉(zhuǎn)客艙DWET高端大客戶?？蚐VC通過SVC系統(tǒng)統(tǒng)一客戶數(shù)據(jù)揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！集中訪問效率不高，系統(tǒng)穩(wěn)定性不足，投資大。集中

3、訪問效率不高，系統(tǒng)穩(wěn)定性不足，投資大。SVC初期探索揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！SVC架構(gòu)優(yōu)化思考及技術(shù)選型RMDBRMDB主要技術(shù)難題主要技術(shù)難題u 擴(kuò)展困難u并發(fā)讀寫慢u成本高（小型機(jī)+存儲(chǔ)）u無法支撐海量數(shù)據(jù)NoSQLNoSQL的優(yōu)點(diǎn)的優(yōu)點(diǎn)NoSQLNoSQL的不足的不足大數(shù)據(jù)量高性能、高可用彈性擴(kuò)展能力靈活的數(shù)據(jù)模型低成本u 不完全支持SQLu不支持事務(wù)u不支持多表關(guān)聯(lián)u不支持聚合查詢u無法保證數(shù)據(jù)一致性揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！優(yōu)優(yōu) 點(diǎn)點(diǎn)遷移成本底方案成熟穩(wěn)定

4、能很好的支撐事務(wù)能保證數(shù)據(jù)的完整性能提供較高的TPS滿足業(yè)務(wù)性能要求開發(fā)成本低，技術(shù)風(fēng)險(xiǎn)低有較好的擴(kuò)展性我們的選擇揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！并發(fā)訪問量高，速度快，穩(wěn)定高效，系統(tǒng)投資小。并發(fā)訪問量高，速度快，穩(wěn)定高效，系統(tǒng)投資小。系統(tǒng)部署架構(gòu)揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！ 數(shù)據(jù)庫小型機(jī)C檔光纖交換機(jī)光纖交換機(jī)B檔 磁盤陣列磁盤陣列B檔 數(shù)據(jù)庫軟件SVC主備兩套CBD主備兩套 小型機(jī)方案小型機(jī)方案匯總600萬數(shù)據(jù)庫 PC server數(shù)據(jù)庫軟件 SVC主備兩套，CBD主備兩套

5、匯總 35萬分布式方案分布式方案并發(fā)訪問量高，速度快，穩(wěn)定高效，系統(tǒng)投資小。并發(fā)訪問量高，速度快，穩(wěn)定高效，系統(tǒng)投資小。投資比較揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！02004006008001000120014000153045607590105 120 135 150 165識(shí)別接口識(shí)別接口新架構(gòu)舊架構(gòu)0102030405060702017年1月2017年2月2017年3月2017年4月2017年5月2017年6月2017年7月SVC故障趨勢(shì)故障趨勢(shì)結(jié)果比較揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的

6、推動(dòng)力！u高效率：l通過分發(fā)數(shù)據(jù)，hadoop可以在數(shù)據(jù)所在的節(jié)點(diǎn)上并行地處理,處理非常的快速。u高擴(kuò)容能力：l服務(wù)器群總計(jì)可達(dá)數(shù)千個(gè)節(jié)點(diǎn)，能可靠地存儲(chǔ)和處理PB級(jí)數(shù)據(jù)。u成本低：l使用普通機(jī)器組成的服務(wù)器群來分發(fā)以及處理數(shù)據(jù)。u可靠性：lhadoop能自動(dòng)地維護(hù)數(shù)據(jù)的多份復(fù)制，并且在任務(wù)失敗后能自動(dòng)地重新部署計(jì)算任務(wù)。u跨平臺(tái)：lJAVA實(shí)現(xiàn)支持各種平臺(tái)并支持多種語言的MapReduce.A表(30億)+B(2億)表l A表做聚合統(tǒng)計(jì)查詢，時(shí)間5分12秒；l A表做數(shù)據(jù)清洗，時(shí)間12分07秒l A表與B表 join 后做聚合統(tǒng)計(jì)查詢，時(shí)間14分36秒測(cè)試結(jié)果揭示研發(fā)管理白金定律，分享那些激動(dòng)

7、人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！業(yè)務(wù)數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)庫業(yè)務(wù)系統(tǒng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)接口大數(shù)據(jù)處理集群大數(shù)據(jù)處理集群任務(wù)調(diào)度平平臺(tái)臺(tái)管管理理器器元數(shù)據(jù)管理安全管理任務(wù)管理集群管理平臺(tái)管理平臺(tái)監(jiān)控Hive Devoloper文件管理處理結(jié)果導(dǎo)出ETL工具高速數(shù)據(jù)高速數(shù)據(jù)存取存取通用數(shù)據(jù)通用數(shù)據(jù)訪問訪問數(shù)據(jù)統(tǒng)一數(shù)據(jù)統(tǒng)一管理管理可配置化可配置化無需編程無需編程業(yè)務(wù)處理業(yè)務(wù)處理與與hadoop分離分離12345交易數(shù)據(jù)文件/郵件數(shù)據(jù)客戶數(shù)據(jù)設(shè)備/運(yùn)行數(shù)據(jù)大數(shù)據(jù)處理平臺(tái)大數(shù)據(jù)處理平臺(tái)揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！DatanodeDa

8、tanodeDatanodeDatanodeName nodeHDFSETL數(shù)據(jù)A1A2A1A2A1A2Map Reduce任務(wù)管理導(dǎo)入導(dǎo)入數(shù)據(jù)清洗 Hadoop可以存貯PB級(jí)別的數(shù)據(jù)，并且每個(gè)文件在不同的機(jī)器上有2份或3份備份，這樣即使一臺(tái)機(jī)子故障，將不會(huì)影響系統(tǒng)的可用性。大數(shù)據(jù)處理平臺(tái)大數(shù)據(jù)處理平臺(tái)揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！MySqlHadoop集群ETL工具平臺(tái)數(shù)據(jù)轉(zhuǎn)換服務(wù)3、轉(zhuǎn)換任務(wù)調(diào)用、轉(zhuǎn)換任務(wù)調(diào)用4、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)轉(zhuǎn)換1、數(shù)據(jù)導(dǎo)入、數(shù)據(jù)導(dǎo)入BI分析分析BI系統(tǒng)報(bào)報(bào)表表查查詢?cè)償?shù)據(jù)源數(shù)據(jù)源SVCCBDFFP2、數(shù)據(jù)導(dǎo)入、

9、數(shù)據(jù)導(dǎo)入Hive mapred 5.1、報(bào)表生成5.2、特殊報(bào)表生成6、報(bào)報(bào)表表導(dǎo)導(dǎo)出出揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！分布式數(shù)據(jù)庫中間件數(shù)據(jù)庫節(jié)點(diǎn)數(shù)據(jù)庫節(jié)點(diǎn)數(shù)據(jù)庫節(jié)點(diǎn)數(shù)據(jù)庫節(jié)點(diǎn)可擴(kuò)容至可擴(kuò)容至1024個(gè)節(jié)點(diǎn)個(gè)節(jié)點(diǎn)界面化配置按需擴(kuò)容靈活緩存機(jī)制：靈活緩存機(jī)制：注解式、配置式、編程式、AOP攔截在應(yīng)用和底層數(shù)據(jù)源之間，構(gòu)建一層代理，統(tǒng)一數(shù)據(jù)層；垂直切分：數(shù)據(jù)按業(yè)務(wù)劃分存儲(chǔ)在不同的數(shù)據(jù)庫，表間關(guān)聯(lián)密切的表劃分在一起，例如同一模塊的表。水平切分：將同一個(gè)表中的不同數(shù)據(jù)拆分到不同的數(shù)據(jù)庫中；統(tǒng)一數(shù)據(jù)訪問API：隱藏后端復(fù)雜數(shù)據(jù)分布細(xì)節(jié)，數(shù)據(jù)庫操

10、作看起來就像是在同一數(shù)據(jù)庫中；揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！ 通過分布式集群實(shí)現(xiàn)分庫分表，解決大數(shù)據(jù)支撐問題； 利用Galera，在客戶端與MySQL服務(wù)器之間抽象出一層“統(tǒng)一數(shù)據(jù)中間層”， 統(tǒng)一數(shù)據(jù)中間層包含HA功能，以簡化MySQL的高可用環(huán)境的構(gòu)建； 實(shí)現(xiàn)集群自動(dòng)管控功能，包括節(jié)點(diǎn)增減、監(jiān)控等； 實(shí)現(xiàn)數(shù)據(jù)服務(wù)云揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)

11、新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！容易引起容易引起:u重復(fù)研究重復(fù)研究u法律問題法律問題u 包版本沖突包版本沖突u系統(tǒng)不穩(wěn)定系統(tǒng)不穩(wěn)定u技術(shù)無法積累技術(shù)無法積累u對(duì)人員要求高對(duì)人員要求高u研發(fā)成本高研發(fā)成本高u后續(xù)維護(hù)成本高后續(xù)維護(hù)成本高平臺(tái)層視圖層視圖層框架層中間件層js：query、dwr、swato、GWT、 prototypeUI控件：Dhtml 、jquery UI、 ExtJs、 easyuiJSP：velocity、tag、 JFSMVC：struts1、struts2、spring、webworkORM： hibernate、ibatis、persist組件：日志

12、類、工作流類、XML解釋類、安全類、緩存池類、接口服務(wù)類、數(shù)據(jù)傳輸類容器：tomcat、jboss、jetty、apach、 nginx 消息：active Mq、mule、openESB.集群管理：zookeeper、 heartbeat、 lvs、ganglia、 NagiosDB：mysql、 PostgreSQLNoSQL:hadoop、mongoDB、hive、pig工具： Kettle、sqoop、datax、cobar、Myfox.揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！開源技術(shù)推廣和應(yīng)用開源技術(shù)推廣和應(yīng)用開源社區(qū)開源社區(qū)對(duì)選定的

13、技術(shù)逐步優(yōu)化和擴(kuò)展功能對(duì)選定的技術(shù)逐步優(yōu)化和擴(kuò)展功能開開源源技技術(shù)術(shù)統(tǒng)統(tǒng)一一選選型型公公用用包包統(tǒng)統(tǒng)一一管管理理開開發(fā)發(fā)框框架架統(tǒng)統(tǒng)一一封封裝裝通通用用組組件件統(tǒng)統(tǒng)一一研研發(fā)發(fā)揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！公用開源包用公用開源包用maven進(jìn)行統(tǒng)一管理，形成企業(yè)開源庫進(jìn)行統(tǒng)一管理，形成企業(yè)開源庫占領(lǐng)開源技術(shù)前沿占領(lǐng)開源技術(shù)前沿節(jié)約成本、滿足業(yè)務(wù)需求節(jié)約成本、滿足業(yè)務(wù)需求開源技術(shù)統(tǒng)一選型開源技術(shù)統(tǒng)一選型開發(fā)框架統(tǒng)一封裝開發(fā)框架統(tǒng)一封裝通用組件統(tǒng)一研發(fā)通用組件統(tǒng)一研發(fā)產(chǎn)品產(chǎn)品評(píng)估評(píng)估技能技能評(píng)估評(píng)估 法律法律評(píng)估評(píng)估 ROI ROI 評(píng)估

14、評(píng)估研發(fā)研發(fā)團(tuán)隊(duì)團(tuán)隊(duì)企業(yè)開企業(yè)開源源軟件庫軟件庫優(yōu)化優(yōu)化完善完善MVC框架框架持久化框架持久化框架UI框架框架開開發(fā)發(fā)規(guī)規(guī)范范開發(fā)工具開發(fā)工具推推廣廣實(shí)實(shí)施施實(shí)現(xiàn)工具化、模塊化、規(guī)范化技術(shù)技術(shù)選型選型組件組件開發(fā)開發(fā)組件組件推廣推廣組件組件完善完善組件組件梳理梳理逐步積累實(shí)現(xiàn)重用降低成本提高質(zhì)量揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！開源實(shí)驗(yàn)室開源實(shí)驗(yàn)室技術(shù)選型、架構(gòu)設(shè)計(jì)、技術(shù)研究、技術(shù)選型、架構(gòu)設(shè)計(jì)、技術(shù)研究、產(chǎn)品研發(fā)產(chǎn)品研發(fā). .開源技術(shù)研發(fā)工作：開源技術(shù)研發(fā)工作：將技術(shù)推廣到每個(gè)項(xiàng)目組，每個(gè)程將技術(shù)推廣到每個(gè)項(xiàng)目組，每個(gè)程序員，讓大家都用

15、起來。序員，讓大家都用起來。技術(shù)推廣：技術(shù)推廣：提升交付能力：提升交付能力：通過積累開源技術(shù)能力，達(dá)到降低通過積累開源技術(shù)能力，達(dá)到降低成本，提高效率的目的。成本，提高效率的目的。分析技術(shù)需求、設(shè)定技術(shù)目標(biāo)、制分析技術(shù)需求、設(shè)定技術(shù)目標(biāo)、制定技術(shù)規(guī)范。定技術(shù)規(guī)范。規(guī)劃與設(shè)計(jì)：規(guī)劃與設(shè)計(jì)：去IOE化降低成本解決性能和大數(shù)據(jù)問題簡化開源技術(shù)降低難度技術(shù)規(guī)劃與推廣揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！技術(shù)小組技術(shù)小組（虛擬團(tuán)隊(duì)）（虛擬團(tuán)隊(duì)）開源開源實(shí)驗(yàn)室實(shí)驗(yàn)室研發(fā)團(tuán)隊(duì)研發(fā)團(tuán)隊(duì)項(xiàng)目經(jīng)理項(xiàng)目經(jīng)理團(tuán)隊(duì)團(tuán)隊(duì)需求提出技術(shù)發(fā)展規(guī)劃規(guī)范制訂技術(shù)評(píng)審開源項(xiàng)目驗(yàn)收開

16、源產(chǎn)品研究、測(cè)試、開源產(chǎn)品研究、測(cè)試、封裝、開發(fā)封裝、開發(fā)架構(gòu)師團(tuán)架構(gòu)師團(tuán)隊(duì)隊(duì)實(shí)施推廣實(shí)施推廣團(tuán)隊(duì)團(tuán)隊(duì)架構(gòu)師架構(gòu)師技術(shù)評(píng)估技術(shù)評(píng)估技術(shù)選型技術(shù)選型技術(shù)目標(biāo)制訂技術(shù)目標(biāo)制訂架構(gòu)設(shè)計(jì)架構(gòu)設(shè)計(jì)開源管理開源管理技術(shù)文檔編寫技術(shù)文檔編寫技術(shù)培訓(xùn)技術(shù)培訓(xùn)技術(shù)網(wǎng)站維護(hù)技術(shù)網(wǎng)站維護(hù)項(xiàng)目技術(shù)支持項(xiàng)目技術(shù)支持技術(shù)戰(zhàn)略調(diào)配資源揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過多源動(dòng)力與更大的推動(dòng)力！建立以五大數(shù)據(jù)核心為基礎(chǔ)的開源化SOA平臺(tái) 通過開源化，已經(jīng)完成旅客信息、旅客行為、運(yùn)行控制信息三大核心數(shù)據(jù)庫及面向SOA核心服務(wù)平臺(tái)。移動(dòng)化、整合業(yè)務(wù)應(yīng)用端 在企業(yè)核心服務(wù)平臺(tái)基礎(chǔ)上，利用開源技術(shù)，重新整合呼叫中心、地面服務(wù)等應(yīng)用，面向崗位需求實(shí)施移動(dòng)化策略。建立統(tǒng)一W