項(xiàng)目4 工業(yè)互聯(lián)網(wǎng)平臺(tái)實(shí)時(shí)數(shù)據(jù)開發(fā)

項(xiàng)目4工業(yè)互聯(lián)網(wǎng)平臺(tái)實(shí)時(shí)數(shù)據(jù)開發(fā)拓展資料1.創(chuàng)建數(shù)據(jù)庫（1）創(chuàng)建數(shù)據(jù)庫1）方法一：①如下REF_Ref113267880\r\h0所示，右鍵單擊數(shù)據(jù)庫，單擊“新建數(shù)據(jù)庫”。新建數(shù)據(jù)庫②如REF_Ref113267888\r\h0所示，填寫數(shù)據(jù)庫名稱為“root_edu”，字符集選擇“utf8”，排序規(guī)則選擇“utf8_general_ci”。在完成設(shè)置后，單擊“確定”，即可以在左側(cè)欄對(duì)應(yīng)連接節(jié)下查看新建立的數(shù)據(jù)庫。填寫數(shù)據(jù)庫2）方法二：①如REF_Ref113267901\r\h0所示，在Navicat上方主菜單欄單擊“新建查詢”，新建查詢②如REF_Ref113267916\r\h0所示，在新建查詢頁面中，首先選擇對(duì)應(yīng)的連接，然后在編輯框中編寫創(chuàng)建數(shù)據(jù)庫語句“CREATEDATABASEroot_edu”，最后單擊“運(yùn)行”。在頁面下方可以查看執(zhí)行結(jié)果。查看執(zhí)行結(jié)果（2）創(chuàng)建數(shù)據(jù)表根據(jù)業(yè)務(wù)需求，對(duì)每日產(chǎn)量數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)的數(shù)據(jù)字段包括數(shù)據(jù)采集的時(shí)間、產(chǎn)量、設(shè)備id、數(shù)據(jù)日期，設(shè)計(jì)字段表如REF_Ref113267928\r\h0所示數(shù)據(jù)表字段名類型長(zhǎng)度注釋timestamptimestamp時(shí)間outputdouble產(chǎn)量device_idvarchar100設(shè)備idrecode_datevarchar100數(shù)據(jù)日期1）方式一：①如REF_Ref113267951\r\h0所示，選擇數(shù)據(jù)庫目錄下的表，單擊右鍵，選擇“新建表”。新建表②如REF_Ref113267966\r\h0所示，首先填寫第一個(gè)字段timestamp的信息，添加完成后根據(jù)字段表逐個(gè)添加字段，添加完成后單擊保存。填寫字段信息③如REF_Ref113267991\r\h0所示，最后填寫創(chuàng)建的表名“output”，單擊保存。創(chuàng)建的表名“output”④刷新右側(cè)表目錄，在表目錄下即可查看新創(chuàng)建的表。2）方式二：①新建查詢，選擇對(duì)應(yīng)的連接和數(shù)據(jù)庫名稱。②在“新建查詢”的編輯框中編寫SQL語句，然后單擊運(yùn)行。根據(jù)需要設(shè)計(jì)的表格，編寫如下SQL語句。CREATETABLEoutput_fuben(`timestamp`timestampCOMMENT'時(shí)間',outputDOUBLECOMMENT'產(chǎn)量',device_idVARCHAR(100)COMMENT'設(shè)備id',record_dateVARCHAR(100)COMMENT'數(shù)據(jù)日期')注意：由于timestamp與MySQL中的關(guān)鍵字相同，在創(chuàng)建時(shí)需要加上著重號(hào)。③在右側(cè)找到數(shù)據(jù)庫目錄下的表，單擊右鍵刷新，在表的目錄下可以找到新創(chuàng)建的表，右鍵單擊“設(shè)計(jì)表”，可查看表的字段信息如下REF_Ref124326631\r\h0所示，與方式一的字段一致。查看字段信息2.離線數(shù)據(jù)開發(fā)（1）批量計(jì)算流數(shù)據(jù)（或數(shù)據(jù)流）是指沿時(shí)間軸分布，在數(shù)量上無限的一系列動(dòng)態(tài)數(shù)據(jù)集合體，數(shù)據(jù)的價(jià)值隨著時(shí)間的流而降低，因此必須實(shí)時(shí)計(jì)算給出秒級(jí)響應(yīng)。實(shí)時(shí)計(jì)算，就是流計(jì)算，顧名思義，就是對(duì)數(shù)據(jù)流進(jìn)行處理。離線計(jì)算，也就是批計(jì)算，則是統(tǒng)一收集數(shù)據(jù)，存儲(chǔ)到數(shù)據(jù)庫中，然后對(duì)數(shù)據(jù)進(jìn)行批量處理的數(shù)據(jù)計(jì)算方式。流計(jì)算和批計(jì)算的區(qū)別如下REF_Ref118191963\r\h0所示。流計(jì)算與批計(jì)算的區(qū)別比較內(nèi)容流計(jì)算批計(jì)算數(shù)據(jù)時(shí)效性實(shí)時(shí)、低時(shí)延非實(shí)時(shí)、高時(shí)延數(shù)據(jù)特征動(dòng)態(tài)、無邊界靜態(tài)應(yīng)用場(chǎng)景實(shí)時(shí)、時(shí)效性較高場(chǎng)景（業(yè)務(wù)監(jiān)控）實(shí)時(shí)性低、離線計(jì)算場(chǎng)景（數(shù)據(jù)分析、離線報(bào)表）運(yùn)行方式持續(xù)進(jìn)行一次性完成（2）離線數(shù)據(jù)開發(fā)的校驗(yàn)過程1）首先，校驗(yàn)任務(wù)的發(fā)布數(shù)是否超過最大發(fā)布數(shù)，如果校驗(yàn)失敗，則發(fā)出異常，任務(wù)結(jié)束；如果校驗(yàn)通過，則執(zhí)行下一步。2）校驗(yàn)任務(wù)流編排是否有效，如果校驗(yàn)失敗，則發(fā)出異常，任務(wù)結(jié)束；如果校驗(yàn)通過，則執(zhí)行下一步。3）校驗(yàn)發(fā)布狀態(tài)是否正確，如果是已發(fā)布狀態(tài)，則發(fā)出異常，任務(wù)結(jié)束；如果是未發(fā)布狀態(tài)，則執(zhí)行下一步。4）校驗(yàn)是否配置調(diào)度，如果未配置調(diào)度則發(fā)出異常，任務(wù)結(jié)束；如果已配置調(diào)度，則執(zhí)行下一步。5）執(zhí)行任務(wù)與調(diào)度綁定，綁定完成后執(zhí)行下一步。6）執(zhí)行工作流定義轉(zhuǎn)換，轉(zhuǎn)換完成后上線調(diào)度任務(wù)。7）進(jìn)行上線任務(wù)調(diào)度。8）結(jié)束任務(wù)。離線數(shù)據(jù)開發(fā)的校驗(yàn)流程圖如REF_Ref118192848\r\h0所示。離線數(shù)據(jù)開發(fā)校驗(yàn)過程（3）任務(wù)流編排任務(wù)流的編排步驟為：新增外部數(shù)據(jù)源>完成任務(wù)編排>配置調(diào)度計(jì)劃>發(fā)布和啟動(dòng)編排任務(wù)>瀏覽計(jì)算結(jié)果，流程圖如下REF_Ref118192869\r\h0所示。任務(wù)流的編排步驟（2）離線任務(wù)運(yùn)維一個(gè)工作流包含多個(gè)任務(wù)節(jié)點(diǎn)，一個(gè)工作流配置一個(gè)定時(shí)調(diào)度計(jì)劃，定時(shí)調(diào)度計(jì)劃每個(gè)周期生產(chǎn)一個(gè)工作流實(shí)例，工作流實(shí)例中包含多個(gè)任務(wù)實(shí)例。任務(wù)流編輯器編輯完成后即生成一個(gè)任務(wù)流。任務(wù)流進(jìn)行發(fā)布后能夠進(jìn)行工作流調(diào)度，在任務(wù)流調(diào)度中進(jìn)行上線、下線、補(bǔ)數(shù)據(jù)操作，生成對(duì)應(yīng)的工作流實(shí)例。每個(gè)工作流實(shí)例會(huì)在Flink中生成多個(gè)任務(wù)實(shí)例。離線任務(wù)運(yùn)維的流程圖如下REF_Ref124327217\r\h0所示。離線任務(wù)運(yùn)維的流程圖工作流：大數(shù)據(jù)的計(jì)算、分析和處理，一般由多個(gè)任務(wù)單元組成（Hive、Sparksql、Spark、Shell等），每個(gè)任務(wù)單元完成特定的數(shù)據(jù)處理邏輯。工作流預(yù)估出每個(gè)任務(wù)處理所需時(shí)間，根據(jù)先后順序，計(jì)算出每個(gè)任務(wù)執(zhí)行的起止時(shí)間，通過定時(shí)跑任務(wù)的方式，讓整個(gè)系統(tǒng)保持穩(wěn)定的運(yùn)行。定時(shí)調(diào)度：存在某些任務(wù)，需要系統(tǒng)定期、自動(dòng)執(zhí)行?；诮o定時(shí)間點(diǎn)，給定時(shí)間間隔或者給定執(zhí)行次數(shù)自動(dòng)執(zhí)行任