大數(shù)據(jù)平臺概要設(shè)計說明書

111計算平臺概要設(shè)計說明書文件編號文件編號受控編號版次密級內(nèi)部公開總頁數(shù)42附錄作者：日期：2013-01-28批準(zhǔn)：日期：審核：日期：（版權(quán)所有，翻版必究）

文件修改記錄修改日期修改日期修改狀態(tài)修改頁碼及條款修改人審核人批準(zhǔn)人目錄1.引言................................................... 編寫目的................................................. 術(shù)語與縮略詞............................................. 對象及范圍............................................... 參考資料.................................................2.系統(tǒng)總體設(shè)計...........................................需求規(guī)定.................................................數(shù)據(jù)導(dǎo)入............................................數(shù)據(jù)運算............................................運算結(jié)果導(dǎo)出........................................系統(tǒng)監(jiān)控............................................調(diào)度功能............................................自動化安裝部署與維護................................運行環(huán)境.................................................基本設(shè)計思路和處理流程...................................系統(tǒng)結(jié)構(gòu).................................................大數(shù)據(jù)運算系統(tǒng)架構(gòu)圖................................hadoop體系各組件之間關(guān)系圖.........................計算平臺系統(tǒng)功能圖..................................系統(tǒng)功能圖邏輯說明..................................計算平臺業(yè)務(wù)流程圖.................................. 尚未解決的問題...........................................3.模塊/功能設(shè)計.......................................... 計算驅(qū)動模塊............................................. 設(shè)計思路............................................ 流程圖.............................................. 處理邏輯............................................調(diào)度模塊.................................................設(shè)計思路............................................流程圖.............................................. 處理邏輯............................................自動化安裝部署模塊.......................................設(shè)計思路............................................處理邏輯............................................調(diào)度模塊與計算驅(qū)動模塊交互流程...........................處理流程圖..........................................處理邏輯............................................hadoop驅(qū)動模塊調(diào)用驅(qū)動接口.........................調(diào)度模塊接收hadoop執(zhí)行狀態(tài)接口.....................調(diào)度模塊與kettle交互流程................................處理流程圖..........................................處理邏輯............................................對調(diào)度任務(wù)運行過程進行監(jiān)控流程........................... 處理流程圖.......................................... 處理邏輯............................................ 對hadoop驅(qū)動任務(wù)運行過程進行監(jiān)控流程.................... 處理流程圖.......................................... 處理邏輯............................................對操作系統(tǒng)/應(yīng)用程序監(jiān)控流程..............................處理流程圖.......................................... 處理邏輯............................................ 監(jiān)控報警模塊............................................. 設(shè)計思路............................................ 流程圖.............................................. 處理邏輯............................................4.系統(tǒng)數(shù)據(jù)結(jié)構(gòu)設(shè)計....................................... 數(shù)據(jù)實體關(guān)系圖........................................... 數(shù)據(jù)邏輯結(jié)構(gòu)............................................. 驅(qū)動任務(wù)設(shè)置表...................................... 驅(qū)動設(shè)置表.......................................... 驅(qū)動任務(wù)執(zhí)行明細(xì)表.................................. 調(diào)度任務(wù)表.......................................... 調(diào)度步驟表.......................................... 調(diào)度步驟執(zhí)行記錄表.................................. 操作系統(tǒng)監(jiān)控數(shù)據(jù)表..................................應(yīng)用程序監(jiān)控數(shù)據(jù)表..................................監(jiān)控系統(tǒng)配置表......................................業(yè)務(wù)數(shù)據(jù)記錄表......................................數(shù)據(jù)物理結(jié)構(gòu).............................................安全設(shè)計...............................................容錯設(shè)計............................................... 挽救措施................................................. 系統(tǒng)維護設(shè)計.............................................日志設(shè)計...............................................

1.引言1.1編寫目的大數(shù)據(jù)泛指巨量的數(shù)據(jù)集，因可從中挖掘出有價值的信息而受到重視?！度A爾街日報》將大數(shù)據(jù)時代、智能化生產(chǎn)和無線網(wǎng)絡(luò)革命稱為引領(lǐng)未來繁榮的三大技術(shù)變革。麥肯錫公司的報告指出數(shù)據(jù)是一種生產(chǎn)資料，大數(shù)據(jù)是下一個創(chuàng)新、競爭、生產(chǎn)力提高的前沿。世界經(jīng)濟論壇的報告認(rèn)定大數(shù)據(jù)為新財富，價值堪比石油。因此，發(fā)達國家紛紛將開發(fā)利用大數(shù)據(jù)作為奪取新一輪競爭制高點的重要抓手。互聯(lián)網(wǎng)特別是移動互聯(lián)網(wǎng)的發(fā)展，加快了信息化向社會經(jīng)濟各方面、大眾日常生活的滲透。有資料顯示，1998年全球網(wǎng)民平均每月使用流量是1MB（兆字節(jié)），2000年是10MB，2003年是100MB，2008年是1GB（1GB等于1024MB），2014年將是10GB。全網(wǎng)流量累計達到1EB（即10億GB或1000PB）的時間在2001年是一年，在2004年是一個月，在2007年是一周，而2013年僅需一天，即一天產(chǎn)生的信息量可刻滿億張DVD光盤。我國網(wǎng)民數(shù)居世界之首，每天產(chǎn)生的數(shù)據(jù)量也位于世界前列。淘寶網(wǎng)站每天有超過數(shù)千萬筆交易，單日數(shù)據(jù)產(chǎn)生量超過50TB（1TB等于1000GB），存儲量40PB(1PB等于1000TB)。百度公司目前數(shù)據(jù)總量接近1000PB，存儲網(wǎng)頁數(shù)量接近1萬億頁，每天大約要處理60億次搜索請求，幾十PB數(shù)據(jù)。一個8Mbps（兆比特每秒）的攝像頭一小時能產(chǎn)生數(shù)據(jù)，一個城市若安裝幾十萬個交通和安防攝像頭，每月產(chǎn)生的數(shù)據(jù)量將達幾十PB。醫(yī)院也是數(shù)據(jù)產(chǎn)生集中的地方?，F(xiàn)在，一個病人的CT影像數(shù)據(jù)量達幾十GB，而全國每年門診人數(shù)以數(shù)十億計，并且他們的信息需要長時間保存?？傊髷?shù)據(jù)存在于各行各業(yè)，一個大數(shù)據(jù)時代正在到來。信息爆炸不自今日起，但近年來人們更加感受到大數(shù)據(jù)的來勢迅猛。一方面，網(wǎng)民數(shù)量不斷增加，另一方面，以物聯(lián)網(wǎng)和家電為代表的聯(lián)網(wǎng)設(shè)備數(shù)量增長更快。2007年全球有5億個設(shè)備聯(lián)網(wǎng)，人均個；2013年全球?qū)⒂?00億個設(shè)備聯(lián)網(wǎng)，人均70個。隨著寬帶化的發(fā)展，人均網(wǎng)絡(luò)接入帶寬和流量也迅速提升。全球新產(chǎn)生數(shù)據(jù)年增40%，即信息總量每兩年就可以翻番，這一趨勢還將持續(xù)。目前，單一數(shù)據(jù)集容量超過幾十TB甚至數(shù)PB已不罕見，其規(guī)模大到無法在容許的時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進行抓取、管理和處理。數(shù)據(jù)規(guī)模越大，處理的難度也越大，但對其進行挖掘可能得到的價值更大，這就是大數(shù)據(jù)熱的原因。鑒于越來越大的數(shù)據(jù)規(guī)模，采用常規(guī)基于DBMS的數(shù)據(jù)分析工具和方法已經(jīng)無法滿足大規(guī)模數(shù)據(jù)分析的需求，目前一些大型互聯(lián)網(wǎng)公司采用hadoop體系進行大規(guī)模數(shù)據(jù)的運算，結(jié)合hadoop體系結(jié)構(gòu)與實際的運算需求結(jié)合，采用hadoop體系結(jié)構(gòu)的分布式運算模型，通過集群的方式實現(xiàn)大數(shù)據(jù)運算，為企業(yè)提供大數(shù)據(jù)的價值。為適應(yīng)大數(shù)據(jù)計算的要求，同時提供大數(shù)據(jù)運算平臺的系統(tǒng)設(shè)計的依據(jù)，特制定計算平臺的系統(tǒng)概要設(shè)計文檔，為后期的系統(tǒng)詳細(xì)設(shè)計和實現(xiàn)提供依據(jù)。1.2術(shù)語與縮略詞下列術(shù)語、定義和縮略語適用于本標(biāo)準(zhǔn)：術(shù)語與縮略詞術(shù)語與縮略詞解釋備注NamenodeHDFS采用master/slave架構(gòu)。一個HDFS集群是由一個Namenode和一定數(shù)目的Datanodes組成。Namenode是一個中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的名字空間)(namespace以及客戶端對文件的訪問。Namenode執(zhí)行文件系統(tǒng)的名字空間操作，比如打開、關(guān)閉、重命名文件或目錄。它也負(fù)責(zé)確定數(shù)據(jù)塊到具體Datanode節(jié)點的映射映射Datanode集群中的Datanode一般是一個節(jié)點一個，負(fù)責(zé)管理它所在節(jié)點上的存儲。HDFS暴露了文件系統(tǒng)的名字空間，用戶能夠以文件的形式在上面存儲數(shù)據(jù)。從內(nèi)部看，一個文件其實被分成一個或多個數(shù)據(jù)塊，這些塊存儲在一組Datanode上。Datanode負(fù)責(zé)處理文件系統(tǒng)客戶端的讀寫請求。在Namenode的統(tǒng)一調(diào)度下進行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制Secondnamenode光從字面上來理解，很容易讓一些初學(xué)者先入為主的認(rèn)為：SecondaryNameNode（snn）就是NameNode（nn）的熱備進程。其實不是。snn是HDFS架構(gòu)中的一個組成部分，但是經(jīng)常由于名字而被人誤解它真正的用途，其實它真正的用途，是用來保存namenode中對HDFSmetadata的信息的備份，并減少namenode重啟的時間JobtrackerJobTracker是MapReduce框架中最主要的類之一，所有job的執(zhí)行都由它來調(diào)度，而且Hadoop系統(tǒng)中只配置一個JobTracker應(yīng)用。它們都是由一個master服務(wù)JobTracker和多個運行于多個節(jié)點的slaver服務(wù)TaskTracker兩個類提供的服務(wù)調(diào)度的。master負(fù)責(zé)調(diào)度job的每一個子任務(wù)task運行于slave上，并監(jiān)控它們，如果發(fā)現(xiàn)有失敗的task就統(tǒng)，統(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。ETLETL是數(shù)據(jù)抽?。‥xtract）、清洗（Cleaning）、轉(zhuǎn)換（Transform）、裝載（Load）的過程。是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗,最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。KettleKettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運行，綠色無需安裝，數(shù)據(jù)抽取高效穩(wěn)定。MySQLMySQL是一個開放源碼的小型關(guān)聯(lián)式數(shù)據(jù)庫管理系統(tǒng)，開發(fā)者為瑞典MySQLAB公司。目前MySQL被廣泛地應(yīng)用在Internet上的中小型網(wǎng)站中。由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，許多中小型網(wǎng)站為了降低網(wǎng)站總體擁有成本而選擇了MySQL作為網(wǎng)站數(shù)據(jù)庫。MongoDBMongoDB是一個介于關(guān)系數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫之間的產(chǎn)品，是非關(guān)系數(shù)據(jù)庫當(dāng)中功能最豐富，最像關(guān)系數(shù)據(jù)庫的。他支持的數(shù)據(jù)結(jié)構(gòu)非常松散，是類似json的bson格式，因此可以存儲比較復(fù)雜的數(shù)據(jù)類型。Mongo最大的特點是他支持的查詢語言非常強大，其語法有點類似于面向?qū)ο蟮牟檎Z言非常強大，其語法有點類似于面向?qū)ο蟮牟樵冋Z言，幾乎可以實現(xiàn)類似關(guān)系數(shù)據(jù)庫單表查詢的絕大部分功能，而且還支持對數(shù)據(jù)建立索引。1.3對象及范圍開發(fā)人員、DBA、測試人員；研發(fā)主管領(lǐng)導(dǎo)、產(chǎn)品人員；1.4參考資料《大數(shù)據(jù)處理體系架構(gòu)》《HBaseTheDefinitiveGuide》《》《Programming_Hive》2.系統(tǒng)總體設(shè)計2.1需求規(guī)定2.2運行環(huán)境操作系統(tǒng)：RedHadEnterprise軟件環(huán)境：JavaKettleMySQL硬件環(huán)境：8核16G內(nèi)存PC服務(wù)器8臺2.3基本設(shè)計思路和處理流程按照數(shù)據(jù)分析的實時性，分為在線數(shù)據(jù)分析和離線數(shù)據(jù)分析。在線數(shù)據(jù)分析：往往要求系統(tǒng)在數(shù)秒內(nèi)返回上億行數(shù)據(jù)的分析，從而才能達到不影響用戶體驗的目的。離線數(shù)據(jù)分析：對大多數(shù)反饋時間要求不高的應(yīng)用，比如離線統(tǒng)計分析、機器學(xué)習(xí)等，應(yīng)采用離線分析的方式，通過數(shù)據(jù)采集工具將日志數(shù)據(jù)導(dǎo)入專門的分析平臺進行分析。系統(tǒng)主要以離線數(shù)據(jù)分析為主，采用目前在互聯(lián)網(wǎng)業(yè)界流行的hadoop體系結(jié)構(gòu)對大批量的數(shù)據(jù)進行運算，采用hadoop集群的方式對大數(shù)據(jù)進行運算。數(shù)據(jù)運算平臺以調(diào)度為主線，作為運算平臺的核心控制系統(tǒng)，對運算平臺的各個環(huán)節(jié)進行控制，且對運算過程中的步驟依賴關(guān)系進行控制，同時對各個環(huán)節(jié)進行監(jiān)控，通過監(jiān)控異常報警來提高系統(tǒng)的穩(wěn)定性和異常響應(yīng)速度。111系統(tǒng)管理功能部分完成系統(tǒng)相關(guān)配置，管理等相關(guān)信息的維護操作。監(jiān)控系統(tǒng)對整個系統(tǒng)的運行狀況進行監(jiān)控，由各個業(yè)務(wù)子系統(tǒng)按照監(jiān)控系統(tǒng)的要求實現(xiàn)相應(yīng)的監(jiān)控功能。大數(shù)據(jù)平臺功能結(jié)構(gòu)圖說明：大數(shù)據(jù)平臺功能結(jié)構(gòu)主要劃分為計算平臺，應(yīng)用平臺，系統(tǒng)管理以及監(jiān)控，配置等相關(guān)應(yīng)用功能。計算平臺分為基礎(chǔ)運算部分，模版管理部分，驅(qū)動代理部分，系統(tǒng)調(diào)度部分。大數(shù)據(jù)平臺功能結(jié)構(gòu)圖大數(shù)據(jù)平臺功能結(jié)構(gòu)圖計算平臺基于模版的功能開發(fā)，實際應(yīng)用中做到模版的熱插拔，對于功能需求只需要開發(fā)相應(yīng)的模版，并部署上計算平臺即可應(yīng)用。驅(qū)動代理程序管理所有的基于大數(shù)據(jù)運算的相關(guān)組件的代理功能，對外提供給調(diào)度系統(tǒng)應(yīng)用，調(diào)用模版設(shè)置的相應(yīng)的類型，進行相應(yīng)類型的驅(qū)動操作。調(diào)度系統(tǒng)只關(guān)心其自身的系統(tǒng)控制能力，不參與具體的業(yè)務(wù)以及計算功能組件的調(diào)用。2.5尚未解決的問題無3.模塊/功能設(shè)計3.1調(diào)度模塊一：調(diào)度模塊實現(xiàn)功能思路二：流程說明以及注意事項：任務(wù)與步驟采用配置表的方式保存在mysql中，調(diào)度程序定時掃描任務(wù)表，判斷是否有啟動的任務(wù)，如果有啟動的任務(wù)，則啟動任務(wù)。調(diào)度任務(wù)需要判斷任務(wù)中步驟之間的依賴關(guān)系，根據(jù)依賴關(guān)系判斷是否可以執(zhí)行下一步的執(zhí)行步驟。設(shè)計思路設(shè)計思路流程圖處理邏輯接存在依賴關(guān)系。對于具體的執(zhí)行任務(wù)將由驅(qū)動代理自動完成。調(diào)度任務(wù)啟動后掃描任務(wù)配置表，看任務(wù)配置表是否存在需要處理的任務(wù)信息，如果不存在需要處理的任務(wù)信息，則線程執(zhí)行休眠，否則執(zhí)行步驟2；生成數(shù)據(jù)日期，并檢查任務(wù)依賴關(guān)系，如果依賴關(guān)系未執(zhí)行完，則現(xiàn)成等待操作，等待依賴的任務(wù)執(zhí)行完成，如果依賴關(guān)系都執(zhí)行完，則獲取符合條件的任務(wù)，執(zhí)行步驟3：讀取任務(wù)信息表，獲取任務(wù)信息，根據(jù)任務(wù)信息讀取步驟信息，執(zhí)行相應(yīng)的步驟操作，執(zhí)行步驟4；根據(jù)步驟信息的配置獲取需要執(zhí)行的相應(yīng)的模版信息，調(diào)用驅(qū)動代理程序執(zhí)行相應(yīng)的功能，執(zhí)行步驟5；驅(qū)動代理程序執(zhí)行模版初始化，初始化完成后獲取相應(yīng)的參數(shù)數(shù)據(jù)，并根據(jù)模版類型選擇具體的驅(qū)動程序，執(zhí)行相應(yīng)的操作。判斷該任務(wù)的下步驟是否執(zhí)行完成，如果未執(zhí)行完成，則執(zhí)行步驟3，繼續(xù)下一個步驟的執(zhí)行，否則執(zhí)行步驟7；寫步驟完成信息表，判斷是否還存在要執(zhí)行的任務(wù)，如果沒有等待，存在需要執(zhí)行的任務(wù)則執(zhí)行步驟3.設(shè)計思路設(shè)計思路一：計算驅(qū)動模塊實現(xiàn)功能思路二：流程說明以及注意事項：計算平臺的驅(qū)動提供針對Hive，MapReduce，Hbase等相關(guān)的驅(qū)動應(yīng)用。基于業(yè)務(wù)模版的設(shè)置操作，調(diào)度執(zhí)行業(yè)務(wù)模版，不關(guān)心模版具體業(yè)務(wù)形態(tài)。一個驅(qū)動應(yīng)用包含四個步驟：1）刪除不用的數(shù)據(jù)；2）加載數(shù)據(jù)；3）運算；4）導(dǎo)出結(jié)果文件。提供監(jiān)控需要的相應(yīng)信息。對于文件的操作，會涉及到多個文件或者目錄操作，多個文件或者目錄以逗號分隔，對文件操作中涉及到一些按照小時，天，月份的文件命名的操作，配置中以特殊字符進行替換。1、由調(diào)度程序驅(qū)動代理模塊，調(diào)用驅(qū)動代理模塊的驅(qū)動應(yīng)用，傳遞需要驅(qū)動的模版編號，處理時間范圍等相關(guān)信息，執(zhí)行流程2；驅(qū)動程序首先查詢是否存在該模版，如果不存在模版，、則執(zhí)行流程3，否則執(zhí)行流程4；則直接返回任務(wù)失敗信息，不存在相關(guān)的模版，整個流程結(jié)束；如果查詢到相關(guān)的模版信息，先執(zhí)行初始化模版信息以及需要刪除的中間文件，多個文件以逗號分割，如果為空則表示不需要清理中間文件，執(zhí)行流程5；清理hive表數(shù)據(jù)操作，多個hive語句以逗號分割，如果為空則表示不需要進行分割，執(zhí)行流程6流程圖流程圖處理邏輯如果mapreduce的操作流程，第一步執(zhí)行加載文本文件數(shù)據(jù)，多個文本文件以逗號進行分割，第二步執(zhí)行mapreduce操作，通過shell腳本的方式執(zhí)行mapreduce操作，第三步執(zhí)行完后將結(jié)果輸出。如果是hive的操作流程，第一步先執(zhí)行加載文本文件到hive表，如果有多個文件操作一逗號分割，第二步執(zhí)行hive語句，多個hive語句以逗號分割的方式，第三步將結(jié)果輸出到相應(yīng)的hive表中。根據(jù)設(shè)置導(dǎo)出的方式，將結(jié)果文件導(dǎo)出到mysql，或者mongodb，或者直接將文本文件從hdfs文件系統(tǒng)中導(dǎo)出。3.3對操作系統(tǒng)/應(yīng)用程序監(jiān)控流程讀取監(jiān)控服務(wù)器列表，判斷是否需要監(jiān)控，如果需要監(jiān)控，則執(zhí)行步驟2，如果不需要監(jiān)控，執(zhí)行步驟5；監(jiān)控模塊向監(jiān)控服務(wù)器發(fā)送監(jiān)控請求，等到被監(jiān)控服務(wù)器的返回，執(zhí)行步驟3；被監(jiān)控服務(wù)器接收到請求監(jiān)控信息后，將相關(guān)的信息返回給監(jiān)控模塊，執(zhí)行步驟4；處理流程圖處理流程圖處理邏輯設(shè)計思路判斷被監(jiān)控服務(wù)器是否都請求完成，如果請求完成，則執(zhí)行步驟6，否則執(zhí)行步驟1；監(jiān)控模塊線程休眠10分鐘，等待下次進行監(jiān)控，執(zhí)行步驟1.3.4監(jiān)控報警模塊一：監(jiān)控模塊實現(xiàn)功能思路二：流程說明以及注意事項：監(jiān)控報警模塊主要完成三個級別的監(jiān)控報警，分為：操作系統(tǒng)級別，檢測運行的機器的操作系統(tǒng)是否正常運行，CPU，內(nèi)存，I/O，存儲等資源的利用情況，采用Linux的Shell腳本對相關(guān)的信息進行收集并上報；應(yīng)用程序級別監(jiān)控，檢測kettle，hadoop，hive，hbase，zookeeper等相關(guān)程序是否正常啟動，以及應(yīng)用程序的相關(guān)資源的監(jiān)控。程序數(shù)據(jù)級別的監(jiān)控，對數(shù)據(jù)情況進行監(jiān)控，主要是數(shù)據(jù)異常的監(jiān)控。監(jiān)控模塊主要負(fù)責(zé)監(jiān)控數(shù)據(jù)的采集，數(shù)據(jù)異常報警，以及后期的監(jiān)控數(shù)據(jù)展示等功能。對于系統(tǒng)級別和應(yīng)用程序級別的監(jiān)控數(shù)據(jù)采集采用由監(jiān)控模塊主動調(diào)用相應(yīng)的應(yīng)用接口的方式采集數(shù)據(jù)，對于應(yīng)用數(shù)據(jù)級別的監(jiān)控則由各個應(yīng)用將相關(guān)的數(shù)據(jù)寫入到數(shù)據(jù)庫表，由監(jiān)控系統(tǒng)對其進行掃描。流程圖流程圖處理邏輯監(jiān)控的報警模式采用郵件監(jiān)控的方式，輔助以短信提醒的方式。監(jiān)控報警啟動采用啟動啟動的方式進行，當(dāng)監(jiān)控報警線程啟動后判斷是否到達監(jiān)控時間點，如果未到達監(jiān)控時間點，則線程休眠1分鐘后再次進行判斷，如果到達監(jiān)控時間點則執(zhí)行步驟2。讀取需要監(jiān)控任務(wù)列表，得到需要監(jiān)控的任務(wù)，執(zhí)行步驟3。對監(jiān)控任務(wù)的源數(shù)據(jù)進行掃描，判斷是否存在異常，如果存在異常則保存監(jiān)控異常數(shù)據(jù)，執(zhí)行步驟4，否則執(zhí)行步驟1。判斷監(jiān)控列表是否都執(zhí)行完，如果執(zhí)行完，對于異常情況以郵件的方式通知相關(guān)人，否則執(zhí)行步驟3。4.系統(tǒng)數(shù)據(jù)結(jié)構(gòu)設(shè)計調(diào)度任務(wù)表調(diào)度任務(wù)表詳細(xì)圖例見附件4.2數(shù)據(jù)邏輯結(jié)構(gòu)字段字段說明數(shù)據(jù)類型是否為空主鍵備注TaskId任務(wù)IDint否是主鍵,自增長IDTaskName任務(wù)名稱Varchar(255)否TaskDesc任務(wù)描述Varchar(500)是Priority優(yōu)先級int是數(shù)值1~10值越大優(yōu)先級越高,默認(rèn)5CycleType周期類型int否0.執(zhí)行一次1.分鐘2.小調(diào)度步驟表調(diào)度步驟表時3.天4.月Interval頻次間隔Int是整數(shù)PlanRunTime預(yù)期執(zhí)行時長Int是單位：分鐘LastRunDate最后執(zhí)行日期int否Status任務(wù)狀態(tài)int否0.正常1.暫停CreateUser創(chuàng)建人Varchar(255)否CreateTime創(chuàng)建時間date否ModifyUser修改人Varchar(255)是ModifyTime修改時間date是字段字段說明數(shù)據(jù)類型是否為空主鍵備注StepId步驟IDint否是主鍵,自增長IDTaskId任務(wù)IDint否“任務(wù)表”主111調(diào)度任務(wù)依賴表調(diào)度任務(wù)依賴表調(diào)度任務(wù)運行日志表鍵鍵StepSort執(zhí)行順序int否相同則表示并行StepName步驟名稱Varchar(255)否TemplateID模板IDInt否PlanRunTime預(yù)期執(zhí)行時長Int是單位：分鐘CreateUser創(chuàng)建人Varchar(255)否CreateTime創(chuàng)建時間date否ModifyUser修改人Varchar(255)是ModifyTime修改時間date是字段字段說明數(shù)據(jù)類型是否為空主鍵備注TaskId任務(wù)IDint否FatherId父任務(wù)IDint否字段字段說明數(shù)據(jù)是主備注調(diào)度步驟運行日志表調(diào)度步驟運行日志表類型類型否為空鍵SerialId記錄IDInt否是主鍵，自增長IDTaskDate任務(wù)日期Int否TaskId任務(wù)IDInt否“任務(wù)表”主鍵Status任務(wù)狀態(tài)Int否0.初始化1執(zhí)行中2.已完成-99.執(zhí)行錯誤RetryTimes重試次數(shù)IntBeginTime開始執(zhí)行時間Date是EndTime結(jié)束執(zhí)行時間Date是CreateTime創(chuàng)建時間Date否ModifyTime修改時間Date是字段字段說明數(shù)據(jù)是主備注類型類型否為空鍵SerialId記錄IDInt否是主鍵，自增長IDTaskDate步驟日期Int否TaskId任務(wù)IDInt否“任務(wù)表”主鍵StepId步驟IDInt否“步驟表”主鍵StepSort步驟序號int否Status步驟狀態(tài)Int否0.初始化1.執(zhí)行中2.已完成-99.執(zhí)行錯誤RetryTimes重試次數(shù)IntBeginTime開始執(zhí)行時間Date是EndTime結(jié)束執(zhí)行時間Date是CreateTime創(chuàng)建時間Date否調(diào)度步驟運行錯誤日志表調(diào)度步驟運行錯誤日志表系統(tǒng)資源表ModifyTimeModifyTime修改時間Date是字段字段說明數(shù)據(jù)類型是否為空主鍵備注SerialId記錄IDInt否是主鍵，自增長IDTaskDate任務(wù)日期Int否TaskId任務(wù)IDInt否StepId步驟IDInt否ErrorInfo錯誤信息Varchar(4000)否InsertTime記錄時間Date是字段字段說明數(shù)據(jù)類型是否為空主鍵備注ResourceId資源IDInt否是主鍵，自增長ID服務(wù)器機器表服務(wù)器機器表CpuInfoCpuInfoCpu信息Varchar(4000)是MemoryInfo內(nèi)存信息Varchar(4000)是DiskInfo硬盤信息Varchar(4000)是CreateTime記錄創(chuàng)建時間date否CreateName記錄創(chuàng)建人Varchar(256)否ModifyTime記錄修改時間Date否ModifyName記錄修改人Varchar(256)否字段字段說明數(shù)據(jù)類型是否為空主鍵備注MachineId機型IDInt否是主鍵，自增長IDCpuInfoCpu信息Varchar(4000)是MemoryInfo內(nèi)存信息Varchar(4000)是DiskInfo硬盤信息Varchar(4000)是CreateTime記錄創(chuàng)建時間date否服務(wù)器信息表服務(wù)器信息表CreateNameCreateName記錄創(chuàng)建人Varchar(256)否ModifyTime記錄修改時間Date否ModifyName記錄修改人Varchar(256)否字段字段說明數(shù)據(jù)類型是否為空主鍵備注ServerId服務(wù)器IDInt否是主鍵，自增長IDServerName服務(wù)器名稱Varchar(256)是ServerIp服務(wù)器IPVarchar(256)是CreateTime記錄創(chuàng)建時間date否CreateName記錄創(chuàng)建人Varchar(256)否ModifyTime記錄修改時間Date否ModifyName記錄修改人Varchar(256)否系統(tǒng)管理信息表系統(tǒng)管理信息表集群信息表字段字段說明數(shù)據(jù)類型是否為空主鍵備注SystemId服務(wù)器IDInt否是主鍵，自增長IDMachineId機型IDInt否ResourceId資源IDInt否ServerId服務(wù)器IDInt否CreateTime記錄創(chuàng)建時間date否CreateName記錄創(chuàng)建人Varchar(256)否ModifyTime記錄修改時間Date否ModifyName記錄修改人Varchar(256)否字段字段說明數(shù)據(jù)類型是否為空主鍵備注集群列表集群列表ClusterIdClusterId集群IDInt否是主鍵，自增長IDClusterName集群名稱Varchar(256)是ClusterPath集群配置目錄Varchar(256)是Remark集群配置備注Varchar(256)是CreateTime記錄創(chuàng)建時間date否CreateName記錄創(chuàng)建人Varchar(256)否ModifyTime記錄修改時間Date否ModifyName記錄修改人Varchar(256)否字段字段說明數(shù)據(jù)類型是否為空主鍵備注ListId集群列表IDInt否是主鍵，自增長IDClusterId集群IDInt否111系統(tǒng)配置表系統(tǒng)配置表ServerId服務(wù)器IDInt否CreateTime記錄創(chuàng)建時間date否CreateName記錄創(chuàng)建人Varchar(256)否ModifyTime記錄修改時間Date否ModifyName記錄修改人Varchar(256)否字段字段說明數(shù)據(jù)類型是否為空主鍵備注ConfigId系統(tǒng)配置IDInt否是主鍵，自增長IDConfigName配置名稱Varchar(256)否ConfigValue配置信息Varchar(256)否ClusterId集群IDInt否CreateTime記錄創(chuàng)建時間date否CreateName記錄創(chuàng)建人Varchar(256)否ModifyTime記錄修改時Date否Hadoop參數(shù)配置表Hadoop參數(shù)配置表Jar配置表間間ModifyName記錄修改人Varchar(256)否字段字段說明數(shù)據(jù)類型是否為空主鍵備注ConfigId系統(tǒng)配置IDInt否是主鍵，自增長IDConfigName配置名稱Varchar(256)否ConfigValue配置信息Varchar(256)否ClusterId集群IDInt否CreateTime記錄創(chuàng)建時間date否CreateName記錄創(chuàng)建人Varchar(256)否ModifyTime記錄修改時間Date否ModifyName記錄修改人Varchar(256)否字段字段說明數(shù)據(jù)是主備注系統(tǒng)用戶名表系統(tǒng)用戶名表類型否為空鍵ConfigId系統(tǒng)配置IDInt否是主鍵，自增長IDConfigName配置名稱Varchar(256)否