基于大數(shù)據(jù)的能力開放平臺(tái)解決方案精編版

#的業(yè)務(wù)開發(fā)及數(shù)據(jù)測試。通過元數(shù)據(jù)的數(shù)據(jù)模型抽象，逐步將Hadoop、DB2的后臺(tái)數(shù)據(jù)資源高效、安全并可控可管的開放給前端進(jìn)行訪問。數(shù)據(jù)共享：大數(shù)據(jù)平臺(tái)將用戶標(biāo)簽、營銷目標(biāo)、用戶套餐剩余量等信息通過統(tǒng)一的數(shù)據(jù)服務(wù)方式開放給其他系統(tǒng)或者在線使用，確保數(shù)據(jù)的唯一性和數(shù)據(jù)響應(yīng)的及時(shí)性。3.2方案內(nèi)容及亮點(diǎn)圖為基于大數(shù)據(jù)的能力開放體系架構(gòu)，我們?cè)谠写髷?shù)據(jù)平臺(tái)上進(jìn)行整合使得大數(shù)據(jù)的成果能夠有效的被外部系統(tǒng)調(diào)用，并具備標(biāo)準(zhǔn)的服務(wù)能力供后續(xù)的系統(tǒng)對(duì)接。能力開放平臺(tái)由統(tǒng)一調(diào)度、統(tǒng)一開發(fā)、數(shù)據(jù)共享三大平臺(tái)組成：統(tǒng)一調(diào)度平臺(tái)將原大數(shù)據(jù)平臺(tái)、經(jīng)分?jǐn)?shù)據(jù)倉庫、VGOP平臺(tái)等關(guān)聯(lián)度高的獨(dú)立應(yīng)用系統(tǒng)的任務(wù)進(jìn)行統(tǒng)一管理、執(zhí)行調(diào)度及監(jiān)控，提升整體的執(zhí)行效率并簡化運(yùn)維。統(tǒng)一開發(fā)平臺(tái)搭建于統(tǒng)一調(diào)度的基礎(chǔ)之上，開發(fā)者可以通過IDE使用封裝后的函數(shù)，以SQL腳本進(jìn)行圖形化的數(shù)據(jù)處理程序設(shè)計(jì)及開發(fā)。通過多租戶的方式，對(duì)開發(fā)者分配獨(dú)立的大數(shù)據(jù)平臺(tái)及數(shù)據(jù)倉庫的存儲(chǔ)、計(jì)算資源，確保開發(fā)者在共享數(shù)據(jù)、系統(tǒng)能力的同時(shí)，不影響生產(chǎn)系統(tǒng)的正常運(yùn)行。數(shù)據(jù)共享平臺(tái)提供標(biāo)準(zhǔn)API封裝，提供給外部系統(tǒng)進(jìn)行數(shù)據(jù)查詢和調(diào)用，實(shí)現(xiàn)經(jīng)分系統(tǒng)對(duì)外數(shù)據(jù)服務(wù)標(biāo)準(zhǔn)化，同時(shí)保障數(shù)據(jù)安全性并降低外部系統(tǒng)數(shù)據(jù)存儲(chǔ)壓力。3.2.1統(tǒng)一調(diào)度統(tǒng)一調(diào)度由控制中心和AGENT兩部分組成，如下圖所示：1）控制中心:控制中心接收來自內(nèi)部的消息，通過規(guī)則引擎判斷任務(wù)是否滿足觸發(fā)條件并分發(fā)給Agent進(jìn)行處理，并對(duì)任務(wù)執(zhí)行情況進(jìn)行監(jiān)控及消息生成。消息接收：支持各種事件觸發(fā)消息，如文件到達(dá)、接口裝載、表生成；規(guī)則引擎：根據(jù)人工定義、系統(tǒng)資源情況、租戶定義等設(shè)置制定任務(wù)的執(zhí)行條件及前后依賴關(guān)系；任務(wù)觸發(fā)：根據(jù)消息總線傳遞的消息，判斷任務(wù)是否具備執(zhí)行條件，并將滿足觸發(fā)條件的任務(wù)分發(fā)至各平臺(tái)Agent端執(zhí)行；任務(wù)監(jiān)控：接收來自Agent的程序執(zhí)行狀態(tài)及資源狀態(tài)并產(chǎn)生新的消息。(2)AGENT:部署到參與調(diào)度的執(zhí)行平臺(tái)，負(fù)責(zé)任務(wù)執(zhí)行及系統(tǒng)資源、任務(wù)狀態(tài)收集報(bào)告。任務(wù)監(jiān)聽：輪詢掃描控制中心發(fā)出的任務(wù)；任務(wù)執(zhí)行：支持tel、shell、python、java等程序，可以手工設(shè)置各個(gè)執(zhí)行平臺(tái)進(jìn)程數(shù)，支持多進(jìn)程并發(fā)處理；資源狀態(tài)及心跳報(bào)告：支持分鐘級(jí)和主動(dòng)資源收集報(bào)告，將資源信息進(jìn)行反饋。控制中心實(shí)時(shí)監(jiān)控Agent運(yùn)行狀態(tài)，并進(jìn)行短信告警，防止Agent掛死。3.2.2統(tǒng)一開發(fā)統(tǒng)一開發(fā)提供圖形化的開發(fā)能力以及統(tǒng)一元數(shù)據(jù)管理：(1)IDE圖形化的開發(fā)界面及統(tǒng)一封裝函數(shù)庫的集成，如下圖所示：?測試0上線affi國國□國itmlteKiSQLmubiao_nui4-GD00:8080/dacp-me-web/core/deviDgr/WizCreETL.h51?TEAM_C0DE二YZ_TEST&USERROLE二開發(fā)人員&0BJNAME=county_call_inonitorHH吞lc盲回QQHelvetica12BzUA/<_—么凸0?測試0上線affi國國□國itmlteKiSQLmubiao_nui4-GD00:8080/dacp-me-web/core/deviDgr/WizCreETL.h51?TEAM_C0DE二YZ_TEST&USERROLE二開發(fā)人員&0BJNAME=county_call_inonitorHH吞lc盲回QQHelvetica12BzUA/<_—么凸0?■口比保存>?測試$上銭GeriErwl0.常用密數(shù)1.輸心據(jù)3.表對(duì)最操作岡一變量賦值渚空表0基本信息?處理曲驟4.字段操作4.妳操作5.數(shù)組&變盤純輯6.FTP操作6如妞7.功戦作HL語句目標(biāo)分公司的通話次數(shù)st_tef.t_kpi冒F賽刪除一張表創(chuàng)建X時(shí)表循環(huán)0上一歩下一歩*滿足業(yè)務(wù)部門自助開發(fā)的需求，集成圖形化的開發(fā)界面，通過拖拽的方式實(shí)現(xiàn)快速數(shù)據(jù)處理邏輯設(shè)計(jì)及開發(fā)；通過JAVA包對(duì)SQL命令、Hadoop、DB2執(zhí)行平臺(tái)的系統(tǒng)命令、時(shí)間函數(shù)、字符串函數(shù)、聚合函數(shù)等基礎(chǔ)函數(shù)庫進(jìn)行統(tǒng)一封裝，屏蔽底層執(zhí)行平臺(tái)的系統(tǒng)差異，實(shí)現(xiàn)類SQL開發(fā)語言支持，降低系統(tǒng)的技術(shù)門檻;>前臺(tái)提供圖形化開發(fā)界面、拖拽式開發(fā)方式、統(tǒng)一封裝的函數(shù)庫、靈活的腳本編輯能力對(duì)開發(fā)過程進(jìn)行支撐。包含以下功能：查看元數(shù)據(jù)、數(shù)據(jù)模型注冊(cè)、數(shù)據(jù)模型導(dǎo)入、設(shè)計(jì)、開發(fā)、測試、上線、優(yōu)化；數(shù)據(jù)處理過程API分為7大類：數(shù)據(jù)輸入(Reader)、數(shù)據(jù)輸出(Writer)、行集處理(Process)、字段級(jí)處理、流程控制類、數(shù)據(jù)檢查類、數(shù)據(jù)交換類，并提供了一套可擴(kuò)展的機(jī)制；>函數(shù)編排支持條件分支、循環(huán)、異?？刂频?，支持變量讀取、定義，能夠?qū)崿F(xiàn)復(fù)雜場景下的開發(fā)；數(shù)據(jù)同步采用開源的Sqoop來實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)和DB2、HBASE的高效數(shù)據(jù)同步。(2)統(tǒng)一的元數(shù)據(jù)開放共享與實(shí)時(shí)更新為實(shí)現(xiàn)公司內(nèi)部模型及數(shù)據(jù)的復(fù)用，并實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的編目管理、共享及分級(jí)存儲(chǔ)，同時(shí)實(shí)現(xiàn)數(shù)據(jù)安全的可控可管，能力開放平臺(tái)搭建了元數(shù)據(jù)管理模塊。包含全局?jǐn)?shù)據(jù)字典、程序邏輯等元數(shù)據(jù)，提供元數(shù)據(jù)維護(hù)、權(quán)限控制等工具實(shí)現(xiàn)元數(shù)據(jù)整個(gè)生命周期的管理。元數(shù)據(jù)的管理界面如下圖所示：元數(shù)據(jù)的自動(dòng)更新:通過統(tǒng)一開發(fā)平臺(tái)開發(fā)的程序，相關(guān)元數(shù)據(jù)（表、字段、數(shù)據(jù)流圖、觸發(fā)條件）將自動(dòng)納入元數(shù)據(jù)管理，實(shí)現(xiàn)元數(shù)據(jù)的自動(dòng)更新，并為統(tǒng)一調(diào)度平臺(tái)提供程序調(diào)度觸發(fā)消息；元數(shù)據(jù)的可控開放：為了保障開放數(shù)據(jù)的安全性，安全管理員要對(duì)即將開放的基礎(chǔ)元數(shù)據(jù)進(jìn)行逐個(gè)審批，只有得到安全管理員審批的基礎(chǔ)數(shù)據(jù)才能對(duì)外開放，從而保障開放數(shù)據(jù)的安全性。3.2.3數(shù)據(jù)共享為發(fā)揮大數(shù)據(jù)的價(jià)值，通過標(biāo)準(zhǔn)API封裝的方式為企業(yè)內(nèi)各種實(shí)時(shí)的業(yè)務(wù)運(yùn)營提供信息支撐，并對(duì)外部系統(tǒng)提供統(tǒng)一的數(shù)據(jù)調(diào)用接口，具有實(shí)時(shí)、動(dòng)態(tài)的信息交互能力。標(biāo)準(zhǔn)的數(shù)據(jù)開放接口實(shí)現(xiàn)數(shù)據(jù)和應(yīng)用的解耦、應(yīng)用和UI的解耦，有利于各應(yīng)用系統(tǒng)功能集成。數(shù)據(jù)共S數(shù)據(jù)共S開放API謂用（1）數(shù)據(jù)層為實(shí)現(xiàn)快速的數(shù)據(jù)查詢，數(shù)據(jù)共享平臺(tái)采用了HBASE及Redis作為數(shù)據(jù)層。HBASE:作為分布式的、面向列的開源數(shù)據(jù)庫，HBASE在Hadoop之上提供了大數(shù)據(jù)的存儲(chǔ)和快速查詢能力。Redis：作為基于內(nèi)存亦可持久化的日志型、Key-Value數(shù)據(jù)庫，并提供多種語言的API。其查詢速度比HBASE更高。（2）封裝層基于Restful架構(gòu)實(shí)現(xiàn)API封裝，使用Nginx的代理功能，整合后端多個(gè)Tomcat服務(wù)器，實(shí)現(xiàn)高并發(fā)的查詢能力。內(nèi)部結(jié)構(gòu)如下：數(shù)據(jù)菲亭丿F放API服務(wù)注冊(cè)服務(wù)安全管理數(shù)據(jù)查詢響應(yīng)SOAP/HTTP服務(wù)服務(wù)管理服務(wù)査找及蹄由服務(wù)發(fā)布數(shù)據(jù)菲亭丿F放API服務(wù)注冊(cè)服務(wù)安全管理數(shù)據(jù)查詢響應(yīng)SOAP/HTTP服務(wù)服務(wù)管理服務(wù)査找及蹄由服務(wù)發(fā)布＞服務(wù)注冊(cè)：服務(wù)屬性配置：如服務(wù)標(biāo)識(shí)、服務(wù)名稱、服務(wù)描述、服務(wù)發(fā)布地址等信息的配置；服務(wù)參數(shù)配置：包括輸入?yún)?shù)、輸出參數(shù)、輸出內(nèi)容等配置。＞服務(wù)安全管理:服務(wù)認(rèn)證鑒權(quán)是用于鑒別服務(wù)請(qǐng)求方是否有服務(wù)調(diào)用權(quán)限；數(shù)據(jù)交換安全是用于保證服務(wù)請(qǐng)求-響應(yīng)過程中的數(shù)據(jù)安全；權(quán)限管理是用于確定服務(wù)請(qǐng)求方可調(diào)用的服務(wù)權(quán)限。＞認(rèn)證鑒權(quán):確定服務(wù)請(qǐng)求方是否有訪問服務(wù)提供方提供的具體服務(wù)的功能權(quán)限；對(duì)于有功能權(quán)限的服務(wù)請(qǐng)求方，還需要再確定其可訪問的具體服務(wù)的數(shù)據(jù)范圍權(quán)限。＞服務(wù)運(yùn)維:服務(wù)監(jiān)控對(duì)數(shù)據(jù)服務(wù)的運(yùn)行狀況提供實(shí)時(shí)的監(jiān)控和分析,幫助運(yùn)維人員及時(shí)了解數(shù)據(jù)服務(wù)的健康情況。＞查詢響應(yīng)：負(fù)責(zé)處理數(shù)據(jù)和各類數(shù)據(jù)源進(jìn)行交互，獲取查詢結(jié)果。數(shù)據(jù)獲取處理主要包含:連接相應(yīng)的數(shù)據(jù)源，執(zhí)行經(jīng)過模型映射解析的可執(zhí)行SQL語句，獲取結(jié)果數(shù)據(jù)。＞通信協(xié)議：通信協(xié)議采用全球公認(rèn)的WEBSERVICE標(biāo)準(zhǔn)協(xié)議。需求方更容易安全接入系統(tǒng)。3.3方案效果統(tǒng)一調(diào)度方案效果：統(tǒng)一調(diào)度集中整合了運(yùn)營商經(jīng)分系統(tǒng)、大數(shù)據(jù)平臺(tái)、集團(tuán)集市、VGOP等應(yīng)用系統(tǒng)的調(diào)度管理，提高了各個(gè)平臺(tái)程序的并發(fā)度，減少重復(fù)建設(shè)，節(jié)約成本近百萬；統(tǒng)一開發(fā)方案效果：目前互聯(lián)網(wǎng)中心和信安部已經(jīng)開始進(jìn)行客戶體驗(yàn)工作，統(tǒng)一開發(fā)平臺(tái)上線之后，需求的開發(fā)速度由原來的數(shù)十天量級(jí)提升到小時(shí)內(nèi)量級(jí)實(shí)現(xiàn)，數(shù)據(jù)變現(xiàn)能力得到數(shù)倍的增強(qiáng)；數(shù)據(jù)共享方案效果：目前某省運(yùn)營商已部署基于Redis的“用戶剩余流量”實(shí)時(shí)查詢系統(tǒng)，采用Redis內(nèi)存數(shù)據(jù)庫作為內(nèi)存存儲(chǔ)單元；每天分流500萬以上的查詢需求，同步數(shù)據(jù)達(dá)到秒級(jí)；掃描用戶流量檔次變化達(dá)到分鐘級(jí)，單機(jī)支持并發(fā)查詢量由原有BOSS系統(tǒng)的300次每秒提高到5000次每秒，并支持水平擴(kuò)展。