工業(yè)互聯(lián)網(wǎng)平臺(tái)綜合應(yīng)用 課件 項(xiàng)目三任務(wù)3.3 IT OT數(shù)據(jù)融合計(jì)算

《工業(yè)數(shù)據(jù)處理與分析》/工業(yè)互聯(lián)網(wǎng)系列課程

項(xiàng)目三

生產(chǎn)能源管理分析任務(wù)四IT&OT數(shù)據(jù)融合計(jì)算>>目錄任務(wù)說(shuō)明01《工業(yè)數(shù)據(jù)處理與分析》/工業(yè)互聯(lián)網(wǎng)系列課程知識(shí)準(zhǔn)備02任務(wù)實(shí)施03思考與討論04任務(wù)說(shuō)明上一個(gè)任務(wù)中，數(shù)據(jù)開(kāi)發(fā)工程師已經(jīng)根據(jù)能源指標(biāo)體系完成工業(yè)設(shè)備數(shù)據(jù)實(shí)時(shí)計(jì)算在本次任務(wù)中，數(shù)據(jù)開(kāi)發(fā)工程師需要根據(jù)業(yè)務(wù)需求，搭建離線(xiàn)數(shù)據(jù)開(kāi)發(fā)任務(wù)任務(wù)說(shuō)明學(xué)習(xí)導(dǎo)圖目錄任務(wù)說(shuō)明01《工業(yè)數(shù)據(jù)處理與分析》/工業(yè)互聯(lián)網(wǎng)系列課程知識(shí)準(zhǔn)備02任務(wù)實(shí)施03思考與討論04批量計(jì)算概念批量計(jì)算，也稱(chēng)為批處理計(jì)算，是一種數(shù)據(jù)處理方式。批量計(jì)算是指對(duì)靜態(tài)數(shù)據(jù)的批量處理，批量計(jì)算處理的是“固定”、“有界”的數(shù)據(jù)集。也就是說(shuō)，首先會(huì)統(tǒng)一收集數(shù)據(jù)，并且把數(shù)據(jù)以數(shù)據(jù)表的形式存儲(chǔ)到數(shù)據(jù)庫(kù)中，再按照不同的計(jì)算邏輯，對(duì)全部的數(shù)據(jù)進(jìn)行統(tǒng)一的批量處理，待全部數(shù)據(jù)處理完成后，才會(huì)輸出最終的結(jié)果。傳統(tǒng)的數(shù)據(jù)處理方式面臨的問(wèn)題：如果數(shù)據(jù)源非常大時(shí)，往往數(shù)據(jù)的移動(dòng)就要花費(fèi)較長(zhǎng)時(shí)間。傳統(tǒng)的數(shù)據(jù)處理工具往往是單機(jī)模型，面對(duì)海量數(shù)據(jù)時(shí)，數(shù)據(jù)處理的時(shí)間也是一個(gè)很大的問(wèn)題。批量計(jì)算概念批量計(jì)算的主要特點(diǎn)：常用于處理大量數(shù)據(jù)，這些數(shù)據(jù)可以是存儲(chǔ)在文件系統(tǒng)中的數(shù)據(jù)、數(shù)據(jù)庫(kù)中的數(shù)據(jù)、網(wǎng)絡(luò)中的數(shù)據(jù)等。大量數(shù)據(jù)處理通常是在一個(gè)固定時(shí)間段內(nèi)，將數(shù)據(jù)按照一定的邏輯分組，進(jìn)行一次性批量處理。通常適用于離線(xiàn)分析和歷史趨勢(shì)分析，這些分析往往需要大量數(shù)據(jù)支撐。通常要求數(shù)據(jù)的一致性，即每次處理的數(shù)據(jù)都是最新的數(shù)據(jù)，而不是實(shí)時(shí)的數(shù)據(jù)。通常需要在處理的時(shí)間窗口內(nèi)完成所有數(shù)據(jù)的處理，處理速度是非常重要的。批量處理離線(xiàn)分析數(shù)據(jù)一致性處理速度批量計(jì)算概念批量計(jì)算的典型應(yīng)用場(chǎng)景包括但不限于：數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)同步與更新定期將來(lái)自不同源的大量數(shù)據(jù)整合、清理、轉(zhuǎn)換，并加載到數(shù)據(jù)倉(cāng)庫(kù)中。大規(guī)模數(shù)據(jù)分析對(duì)大數(shù)據(jù)集進(jìn)行復(fù)雜的分析，如模式識(shí)別、趨勢(shì)預(yù)測(cè)等，這些任務(wù)往往不需要即時(shí)反饋。日志文件分析收集和分析大量日志文件，以便進(jìn)行性能監(jiān)控、安全分析或用戶(hù)行為分析。批量計(jì)算一般應(yīng)用于那些離線(xiàn)批量、延時(shí)較高的靜態(tài)數(shù)據(jù)處理過(guò)程，適用于實(shí)時(shí)性要求不高的場(chǎng)景，比如定時(shí)周期執(zhí)行一個(gè)任務(wù)，任務(wù)周期可以是天級(jí)別、周級(jí)別、月級(jí)別、年級(jí)別。在計(jì)算開(kāi)始前已知所有輸入數(shù)據(jù)，輸入數(shù)據(jù)不會(huì)產(chǎn)生變化，一般計(jì)算量級(jí)較大，計(jì)算時(shí)間也較長(zhǎng)。例如今天早上一點(diǎn)，把昨天累積的日志，計(jì)算出所需結(jié)果。一般是根據(jù)前一日的數(shù)據(jù)生成報(bào)表，雖然統(tǒng)計(jì)指標(biāo)、報(bào)表繁多，但是對(duì)時(shí)效性不敏感。從技術(shù)操作的角度，這部分屬于批量處理的操作。批量計(jì)算概念流式計(jì)算和批量計(jì)算區(qū)別類(lèi)別流式計(jì)算批量計(jì)算數(shù)據(jù)處理方式流式計(jì)算是一種實(shí)時(shí)數(shù)據(jù)處理方法，它持續(xù)地、即時(shí)地處理數(shù)據(jù)流。數(shù)據(jù)以連續(xù)的流形式進(jìn)入系統(tǒng)并被實(shí)時(shí)處理，每接收到一條新數(shù)據(jù)或數(shù)據(jù)塊時(shí)，系統(tǒng)會(huì)立即處理。批量計(jì)算處理的是靜態(tài)的數(shù)據(jù)集。數(shù)據(jù)被累積一段時(shí)間后，形成一個(gè)完整的批次，然后作為一個(gè)整體進(jìn)行處理。這種處理通常發(fā)生在數(shù)據(jù)集已經(jīng)完全收集后。適用場(chǎng)景適用于需要即時(shí)響應(yīng)的場(chǎng)景，如實(shí)時(shí)監(jiān)控、實(shí)時(shí)分析、實(shí)時(shí)決策支持系統(tǒng)等。適合處理歷史數(shù)據(jù)集，進(jìn)行大規(guī)模的數(shù)據(jù)分析、統(tǒng)計(jì)匯總、報(bào)告生成等，這些場(chǎng)景不要求即時(shí)響應(yīng)。性能考量關(guān)注延遲的最小化，即數(shù)據(jù)從輸入到輸出的時(shí)間應(yīng)盡可能短。關(guān)注吞吐量的最大化，即單位時(shí)間內(nèi)處理的數(shù)據(jù)量最大。數(shù)據(jù)處理模型基于事件的處理，每個(gè)數(shù)據(jù)項(xiàng)或小批數(shù)據(jù)項(xiàng)被視為一個(gè)事件?；谂蔚奶幚?，數(shù)據(jù)分為不同的批次，每個(gè)批次包含大量數(shù)據(jù)。離線(xiàn)數(shù)據(jù)節(jié)點(diǎn)輸入節(jié)點(diǎn)可以是外部數(shù)據(jù)，也可以是內(nèi)部數(shù)據(jù)。輸入節(jié)點(diǎn)主要包含hive，MySQL，PostgreSQL，Oracle，工業(yè)數(shù)據(jù)編織。外部數(shù)據(jù)庫(kù)MySQL輸入節(jié)點(diǎn)配置節(jié)點(diǎn)名稱(chēng)輸入數(shù)據(jù)源輸出映射查詢(xún)語(yǔ)句支持字符串?dāng)?shù)據(jù)，最多可輸入64個(gè)字符（1個(gè)漢字為2個(gè)字符）。節(jié)點(diǎn)配置可以選擇MySQL外部數(shù)據(jù)源和數(shù)據(jù)源下的數(shù)據(jù)庫(kù)表。節(jié)點(diǎn)配置選擇了數(shù)據(jù)庫(kù)表后，可以自動(dòng)顯示數(shù)據(jù)庫(kù)表的字段列表，包括輸入字段、輸出字段名稱(chēng)、輸出字段ID、輸出數(shù)據(jù)類(lèi)型。支持Where

orderby

limit

offset關(guān)鍵詞，查詢(xún)最大記錄數(shù)限制1000000之內(nèi)。輸入節(jié)點(diǎn)離線(xiàn)數(shù)據(jù)節(jié)點(diǎn)處理節(jié)點(diǎn)FlinkSQL語(yǔ)法：平臺(tái)使用Flink1.12.2版本，具體操作請(qǐng)參考“Flink1.12官方文檔”或“阿里云FlinkSQL文檔”SQL編輯框格式化：在SQL編輯框中編寫(xiě)完成的SQL語(yǔ)句，可通過(guò)格式化將原有語(yǔ)句的格式規(guī)范化，便于排查錯(cuò)誤。SQL語(yǔ)句校驗(yàn)：校驗(yàn)語(yǔ)法，可驗(yàn)證已輸入的SQL語(yǔ)句是否符合FlinkSQL語(yǔ)法，如不符合頁(yè)面上方會(huì)出現(xiàn)警告。窗口最大化：編輯欄窗口可放大縮小，便于查看編輯。輸出字段：手動(dòng)指定輸出數(shù)據(jù)類(lèi)型FlinkSQL查詢(xún)包含：數(shù)據(jù)篩選，F(xiàn)linkSQL查詢(xún)，表關(guān)聯(lián)，去重。注意：Number數(shù)據(jù)類(lèi)型需要指定小數(shù)后幾位，確保FlinkSQL運(yùn)算準(zhǔn)確。避免如下情況出現(xiàn)：Number類(lèi)型1和2的字段數(shù)值為小數(shù)后12位，兩個(gè)字段相乘小數(shù)位就會(huì)溢出，F(xiàn)linkSQL輸出就為null會(huì)影響數(shù)據(jù)準(zhǔn)確性。離線(xiàn)數(shù)據(jù)節(jié)點(diǎn)常需要獲取以下內(nèi)置參數(shù)進(jìn)行FlinkSQL查詢(xún)：內(nèi)置參數(shù)字段ID數(shù)據(jù)類(lèi)型說(shuō)明zoonIdSTRING時(shí)區(qū)ID，表示不同的時(shí)區(qū)，例如UTC+00:00，UTC+08：00systemDatetimeSTRING任務(wù)調(diào)度時(shí)間，格式：yyyy-MM-ddHH:mm:ssbizStartDatetimeSTRING業(yè)務(wù)開(kāi)始時(shí)間，格式：yyyy-MM-ddHH:mm:ssbizEndDatetimeSTRING業(yè)務(wù)結(jié)束時(shí)間，格式：yyyy-MM-ddHH:mm:ss離線(xiàn)數(shù)據(jù)節(jié)點(diǎn)輸出節(jié)點(diǎn)目標(biāo)數(shù)據(jù)源：指定數(shù)據(jù)庫(kù)寫(xiě)入經(jīng)過(guò)數(shù)據(jù)處理后得到的結(jié)果插入鍵：需選擇數(shù)據(jù)庫(kù)表的主鍵或者唯一索引作為更新數(shù)據(jù)的唯一標(biāo)識(shí)輸出映射：計(jì)算過(guò)程中Flink數(shù)據(jù)類(lèi)型需要按MySQL數(shù)據(jù)類(lèi)型輸出，輸出映射支持類(lèi)型匹配，有明確支持的MySQL數(shù)據(jù)類(lèi)型，以及Flink數(shù)據(jù)類(lèi)型可轉(zhuǎn)換成MySQL類(lèi)型的映射表說(shuō)明：可以查詢(xún)MySQL數(shù)據(jù)表的主鍵字段，如果主鍵字段沒(méi)有保存，節(jié)點(diǎn)配置會(huì)提示錯(cuò)誤。。任務(wù)流編排任務(wù)流比較多的時(shí)候，如果出現(xiàn)問(wèn)題恢復(fù)計(jì)算邏輯執(zhí)行重跑和補(bǔ)數(shù)據(jù)操作繁瑣例如：用電的小時(shí)任務(wù)執(zhí)行失敗，需要把小時(shí)任務(wù)、天任務(wù)和月任務(wù)都手動(dòng)執(zhí)行重跑，而且手動(dòng)重跑的順序必須是小時(shí)、天和月逐個(gè)完成用電的統(tǒng)計(jì)小時(shí)定時(shí)任務(wù)、天定時(shí)任務(wù)和月定時(shí)任務(wù)按序調(diào)度執(zhí)行，只有前一個(gè)任務(wù)執(zhí)行成功的情況，后一個(gè)任務(wù)才能執(zhí)行，在項(xiàng)目實(shí)施過(guò)程需要把任務(wù)的定時(shí)時(shí)間錯(cuò)開(kāi)；例如：8:00執(zhí)行小時(shí)任務(wù)，8:15執(zhí)行天任務(wù)，8:30執(zhí)行月定時(shí)任務(wù)。如果時(shí)間間隔設(shè)計(jì)不合理，或者任務(wù)調(diào)度出現(xiàn)了延遲執(zhí)行情況，就會(huì)出現(xiàn)天和月級(jí)別任務(wù)在小時(shí)任務(wù)未完成的情況下提前執(zhí)行。任務(wù)流編排任務(wù)流編排實(shí)現(xiàn)了把電的小時(shí)、天和月3個(gè)任務(wù)放到一個(gè)任務(wù)流中，方便出現(xiàn)問(wèn)題及時(shí)定位問(wèn)題①在離線(xiàn)數(shù)據(jù)開(kāi)發(fā)中創(chuàng)建2個(gè)離線(xiàn)任務(wù)編排（task1和task2）并發(fā)布；②創(chuàng)建任務(wù)流編排，使用task1和task2兩個(gè)離線(xiàn)任務(wù)節(jié)點(diǎn)；③發(fā)布任務(wù)流編排；④配置調(diào)度每隔1小時(shí)執(zhí)行；⑤在任務(wù)流運(yùn)維中查看任務(wù)流的運(yùn)行詳情，檢查運(yùn)行狀態(tài)。任務(wù)流編排創(chuàng)建編排在彈出框中填入自定義的稱(chēng)和選擇上級(jí)文件夾。單擊確定完成創(chuàng)建平臺(tái)自動(dòng)跳轉(zhuǎn)到開(kāi)發(fā)頁(yè)面，在畫(huà)布中以拖拽的方式進(jìn)行任務(wù)流編排從文件夾右側(cè)單擊創(chuàng)建任務(wù)流編排或在開(kāi)發(fā)空白頁(yè)單擊創(chuàng)建任務(wù)流創(chuàng)建任務(wù)流編排任務(wù)流編排離線(xiàn)任務(wù)節(jié)點(diǎn)創(chuàng)建任務(wù)流編排，拖入一個(gè)離線(xiàn)任務(wù)節(jié)點(diǎn)，不進(jìn)行任何配置后單擊保存，保存成功或提示具體錯(cuò)誤信息。任務(wù)調(diào)度拖拽式離線(xiàn)計(jì)算任務(wù)節(jié)點(diǎn)，選擇已發(fā)布的離線(xiàn)任務(wù)，選擇之后會(huì)自動(dòng)填寫(xiě)節(jié)點(diǎn)名稱(chēng)和描述。多個(gè)離線(xiàn)任務(wù)節(jié)點(diǎn)依賴(lài)順序執(zhí)行能成功運(yùn)行。前一個(gè)節(jié)點(diǎn)運(yùn)行失敗，后一個(gè)節(jié)點(diǎn)的運(yùn)行狀態(tài)也為運(yùn)行失敗。說(shuō)明：一個(gè)離線(xiàn)任務(wù)節(jié)點(diǎn)只能有一個(gè)后續(xù)節(jié)點(diǎn)任務(wù)流編排流程節(jié)點(diǎn)流程節(jié)點(diǎn)：流程節(jié)點(diǎn)包含依賴(lài)節(jié)點(diǎn)和分支節(jié)點(diǎn)依賴(lài)節(jié)點(diǎn)：依賴(lài)節(jié)點(diǎn)支持選擇某一任務(wù)流的具體節(jié)點(diǎn)或者全部節(jié)點(diǎn)，多個(gè)任務(wù)流之間支持AND和OR的邏輯分支節(jié)點(diǎn)：當(dāng)分支節(jié)點(diǎn)只有一個(gè)上游節(jié)點(diǎn)時(shí)，邏輯判斷條件為上游節(jié)點(diǎn)執(zhí)行狀態(tài)成功和失敗執(zhí)行不同的下游節(jié)點(diǎn)當(dāng)分支節(jié)點(diǎn)存在多個(gè)上游節(jié)點(diǎn)時(shí)，邏輯判斷條件為上游節(jié)點(diǎn)狀態(tài)的邏輯組合AND和OR，最終的結(jié)果為成功和失敗執(zhí)行不同的下游節(jié)點(diǎn)調(diào)度計(jì)劃離線(xiàn)數(shù)據(jù)計(jì)算通常需要大量的計(jì)算資源和存儲(chǔ)資源。通過(guò)制定合理的調(diào)度計(jì)劃，可以?xún)?yōu)化資源的利用率，避免資源的浪費(fèi)和閑置。合理分配計(jì)算任務(wù)和提前預(yù)定資源，可以使離線(xiàn)計(jì)算作業(yè)在最短的時(shí)間內(nèi)完成，從而提高整體的計(jì)算效率。調(diào)度計(jì)劃配置調(diào)度計(jì)劃，離線(xiàn)數(shù)據(jù)開(kāi)發(fā)需要系統(tǒng)定期自動(dòng)執(zhí)行?；诮o定的時(shí)間點(diǎn)、時(shí)間間隔或者執(zhí)行次數(shù)自動(dòng)執(zhí)行任務(wù)，可以配置批處理的執(zhí)行計(jì)劃，隔多久執(zhí)行一次計(jì)劃等。1）生效日期：調(diào)度計(jì)劃生效時(shí)間及截至?xí)r間，在生效日期內(nèi)，任務(wù)流按照調(diào)度周期重復(fù)執(zhí)行。2）數(shù)據(jù)時(shí)區(qū)：根據(jù)指定的時(shí)區(qū)進(jìn)行生效日期的計(jì)算。場(chǎng)景舉例：在中國(guó)編排的離線(xiàn)數(shù)據(jù)計(jì)算任務(wù)需發(fā)布于其他國(guó)家執(zhí)行時(shí)，數(shù)據(jù)時(shí)區(qū)應(yīng)選擇任務(wù)執(zhí)行地的時(shí)區(qū)。3）調(diào)度周期：離線(xiàn)數(shù)據(jù)開(kāi)發(fā)任務(wù)可以根據(jù)調(diào)度周期重復(fù)執(zhí)行，分別為按小時(shí)、按天、按周、按月。業(yè)務(wù)指標(biāo)的獲取調(diào)度周期時(shí)間分類(lèi)細(xì)分項(xiàng)說(shuō)明按小時(shí)每小時(shí)重復(fù)重復(fù)時(shí)間點(diǎn)指定在每個(gè)小時(shí)的第幾分鐘執(zhí)行間隔間隔指定間隔幾小時(shí)重復(fù)一次重復(fù)時(shí)間點(diǎn)指定在該小時(shí)的第幾分鐘執(zhí)行指定時(shí)間執(zhí)行小時(shí)指定在一天內(nèi)的第幾小時(shí)執(zhí)行，可多選重復(fù)時(shí)間點(diǎn)指定在該小時(shí)的第幾分鐘執(zhí)行按天時(shí)間點(diǎn)指定在每天中哪一個(gè)時(shí)刻執(zhí)行按周執(zhí)行周次指定在每周的星期幾執(zhí)行，可多選時(shí)間點(diǎn)指定在該天中哪一個(gè)時(shí)刻執(zhí)行按月執(zhí)行日期指定每月的哪一天執(zhí)行，可多選時(shí)間點(diǎn)指定在該天中哪一個(gè)時(shí)刻執(zhí)行調(diào)度計(jì)劃4）業(yè)務(wù)開(kāi)始和結(jié)束時(shí)間：每次任務(wù)執(zhí)行需要獲取數(shù)據(jù)的時(shí)間段。業(yè)務(wù)邏輯：根據(jù)調(diào)度時(shí)間計(jì)算當(dāng)前任務(wù)運(yùn)行時(shí)，需要獲取哪一時(shí)間段內(nèi)的數(shù)據(jù)。舉例：最近一次調(diào)度計(jì)劃的運(yùn)行時(shí)間為2021年11月11日12：00。即本次調(diào)度計(jì)劃運(yùn)行時(shí)，所選取的數(shù)據(jù)為調(diào)度時(shí)間前2小時(shí)至調(diào)度時(shí)間前1小時(shí)內(nèi)的數(shù)據(jù)（即2021年11月11日10：00至2021年11月11日11：00這段時(shí)間內(nèi)的數(shù)據(jù)）調(diào)度計(jì)劃5）調(diào)度依賴(lài)：當(dāng)前任務(wù)需要依賴(lài)于其他任務(wù)執(zhí)行完成才能執(zhí)行時(shí)，支持編排任務(wù)依賴(lài)，可以選擇多個(gè)依賴(lài)任務(wù)。選擇需要依賴(lài)的前置編排任務(wù)，指定依賴(lài)周期和依賴(lài)時(shí)間。依賴(lài)周期：依賴(lài)前置任務(wù)完成的周期。依賴(lài)時(shí)間：每次任務(wù)執(zhí)行前，前置任務(wù)需要提前完成的時(shí)間。舉例：如圖進(jìn)行配置，即表示每次離線(xiàn)數(shù)據(jù)開(kāi)發(fā)任務(wù)執(zhí)行前，需保證“clh-test”編排任務(wù)在前一小時(shí)已經(jīng)執(zhí)行完畢。目錄任務(wù)說(shuō)明01《工業(yè)數(shù)據(jù)處理與分析》/工業(yè)互聯(lián)網(wǎng)系列課程知識(shí)準(zhǔn)備02任務(wù)實(shí)施03思考與討論04業(yè)務(wù)指標(biāo)的獲取能源數(shù)據(jù)的獲取從上一個(gè)任務(wù)實(shí)時(shí)數(shù)據(jù)開(kāi)發(fā)中，通過(guò)數(shù)據(jù)的實(shí)時(shí)監(jiān)測(cè)，可以獲取到每一小時(shí)的能源數(shù)據(jù)。在數(shù)據(jù)庫(kù)可以查詢(xún)到數(shù)據(jù)表fee_energy_1h的屬性情況字段名類(lèi)型timestamptimestampdate_dayvarcharPWR_Cdoubledate_hourvarchardevice_idvarchar業(yè)務(wù)指標(biāo)的獲取業(yè)務(wù)指標(biāo)的獲取通過(guò)獲取每小時(shí)的電價(jià)和能源數(shù)據(jù)，可以通過(guò)表的連接以及指標(biāo)間的計(jì)算，可以得到每天每個(gè)小時(shí)單位的電費(fèi)情況以及對(duì)應(yīng)的能源消費(fèi)。根據(jù)本任務(wù)的業(yè)務(wù)目標(biāo)分析，可以得到本任務(wù)的指標(biāo)點(diǎn)屬性ID屬性名稱(chēng)數(shù)據(jù)類(lèi)型運(yùn)算方案tip_energy每日尖時(shí)能源Number計(jì)算每日尖時(shí)段（19:00-22:00）的能源。peak_energy每日峰時(shí)能源Number計(jì)算每日峰時(shí)段（8:00-11:00，15:00-19:00）的能源。ordinary_energy每日平時(shí)能源Number實(shí)時(shí)計(jì)算每日平時(shí)段（23:00-0:00，00:00-7:00）的能源。valley_energy每日谷時(shí)能源Number計(jì)算每日谷時(shí)段（7:00-8:00，11:00-15:00，22:00-23:00）的能源。day_fee每日電費(fèi)Number每日尖峰平谷的電費(fèi)之和。month_fee每月總電費(fèi)Number每日總電費(fèi)之和部分屬性點(diǎn)表創(chuàng)建離線(xiàn)數(shù)據(jù)任務(wù)添加文件夾創(chuàng)建文件，操作步驟為：登錄控制臺(tái)>數(shù)據(jù)計(jì)算>數(shù)據(jù)開(kāi)發(fā)>離線(xiàn)數(shù)據(jù)開(kāi)發(fā)>單擊符號(hào)>添加統(tǒng)計(jì)文件創(chuàng)建離線(xiàn)數(shù)據(jù)任務(wù)添加文件夾創(chuàng)建文件，操作步驟為：登錄控制臺(tái)>數(shù)據(jù)計(jì)算>數(shù)據(jù)開(kāi)發(fā)>離線(xiàn)數(shù)據(jù)開(kāi)發(fā)>單擊符號(hào)>添加統(tǒng)計(jì)文件自定義文件夾名稱(chēng)“能源離線(xiàn)管理”，單擊“確定”創(chuàng)建離線(xiàn)數(shù)據(jù)任務(wù)創(chuàng)建離線(xiàn)數(shù)據(jù)任務(wù)流在“離線(xiàn)數(shù)據(jù)開(kāi)發(fā)”菜單欄單擊創(chuàng)建任務(wù)流符號(hào)>單擊白色方框>填寫(xiě)“創(chuàng)建離線(xiàn)數(shù)據(jù)開(kāi)發(fā)”中的相關(guān)信息。在“離線(xiàn)數(shù)據(jù)開(kāi)發(fā)”菜單欄單擊創(chuàng)建任務(wù)流符號(hào)單擊“空白創(chuàng)建”，創(chuàng)建離線(xiàn)數(shù)據(jù)開(kāi)發(fā)創(chuàng)建離線(xiàn)數(shù)據(jù)任務(wù)創(chuàng)建離線(xiàn)數(shù)據(jù)任務(wù)流在彈出的提示框中填寫(xiě)創(chuàng)建任務(wù)的相關(guān)信息，自定義任務(wù)名稱(chēng)為“能源離線(xiàn)開(kāi)發(fā)”上級(jí)文件夾選擇“能源離線(xiàn)管理”最后單擊“確定”，完成離線(xiàn)數(shù)據(jù)開(kāi)發(fā)的創(chuàng)建此時(shí)，創(chuàng)建完成的離線(xiàn)數(shù)據(jù)開(kāi)發(fā)的畫(huà)布為空白畫(huà)布數(shù)據(jù)計(jì)算—每小時(shí)費(fèi)用、能源數(shù)據(jù)編輯輸入節(jié)點(diǎn)將“MySQL”輸入節(jié)點(diǎn)拖入畫(huà)布后，編輯輸入節(jié)點(diǎn)自定義節(jié)點(diǎn)名稱(chēng)為“尖峰平谷電費(fèi)表”輸入數(shù)據(jù)源選擇“Project3”勾選“直接選表”選擇數(shù)據(jù)表“fee”在輸出字段會(huì)自動(dòng)生成輸出字段名稱(chēng)、輸出字段ID、輸出字段數(shù)據(jù)類(lèi)型，可以根據(jù)業(yè)務(wù)需求添加、刪除輸出字段最后單擊“保存”數(shù)據(jù)計(jì)算—每小時(shí)費(fèi)用、能源數(shù)據(jù)編輯輸入節(jié)點(diǎn)第二個(gè)節(jié)點(diǎn)輸入選擇“MySQL”，自定義節(jié)點(diǎn)名稱(chēng)為“每小時(shí)能源數(shù)據(jù)”輸入數(shù)據(jù)源選擇“Project3”勾選“直接選表”選擇在數(shù)據(jù)源目錄下的數(shù)據(jù)表“fee_energy_1h”最后單擊“保存數(shù)據(jù)計(jì)算—每小時(shí)費(fèi)用、能源數(shù)據(jù)搭建好電度電價(jià)和每小時(shí)能源數(shù)據(jù)兩個(gè)輸入節(jié)點(diǎn)編輯輸入節(jié)點(diǎn)數(shù)據(jù)計(jì)算—每小時(shí)費(fèi)用、能源數(shù)據(jù)FlinkSQL查詢(xún)建立FlinkSQL查詢(xún)節(jié)點(diǎn)，F(xiàn)linkSQL查詢(xún)處理節(jié)點(diǎn)可以進(jìn)行自定義多個(gè)輸入表的聯(lián)合FlinkSQL聯(lián)合查詢(xún)計(jì)算選擇節(jié)點(diǎn)庫(kù)中“FlinkSQL查詢(xún)”節(jié)點(diǎn)并將其拖拽到編輯頁(yè)面中，自定義名稱(chēng)為“hour電費(fèi)”，然后單擊“保存”數(shù)據(jù)計(jì)算—每小時(shí)費(fèi)用、能源數(shù)據(jù)FlinkSQL查詢(xún)分別單擊兩個(gè)“MySQL”輸出節(jié)點(diǎn)下方的連接點(diǎn)拖動(dòng)連線(xiàn)至“hour電費(fèi)”節(jié)點(diǎn)數(shù)據(jù)計(jì)算—每小時(shí)費(fèi)用、能源數(shù)據(jù)FlinkSQL查詢(xún)編輯FlinkSQL查詢(xún)節(jié)點(diǎn)單擊“hour電費(fèi)”節(jié)點(diǎn)，此時(shí)可以看到關(guān)聯(lián)的兩個(gè)輸入節(jié)點(diǎn)的節(jié)點(diǎn)名稱(chēng)和節(jié)點(diǎn)ID。輸入節(jié)點(diǎn)對(duì)應(yīng)產(chǎn)生節(jié)點(diǎn)ID，作為查詢(xún)表名用于后續(xù)的FlinkSQL語(yǔ)句編輯。在“FlinkSQL語(yǔ)句”下輸入數(shù)據(jù)查詢(xún)的SQL語(yǔ)句數(shù)據(jù)計(jì)算—每小時(shí)費(fèi)用、能源數(shù)據(jù)FlinkSQL查詢(xún)SELECTab.date_day,ab.date_hour,ab.PWR_C*cd.fee_kasfee_h,ab.PWR_CFROMnode18841asabLEFTJOINnode33386ascdONab.date_hour=cd.date_hourSQL查詢(xún)語(yǔ)句在SQL編輯框中編寫(xiě)完成的SQL語(yǔ)句，可通過(guò)格式化將原有語(yǔ)句的格式規(guī)范化，便于排查錯(cuò)誤。在“FlinkSQL語(yǔ)句”下編寫(xiě)SQL語(yǔ)句進(jìn)行多表查詢(xún)，需要查詢(xún)每小時(shí)電費(fèi)、能源數(shù)據(jù)數(shù)據(jù)計(jì)算—每小時(shí)費(fèi)用、能源數(shù)據(jù)FlinkSQL查詢(xún)SQL語(yǔ)句校驗(yàn)：?jiǎn)螕艟庉嫏诖翱谟疑辖恰靶ｒ?yàn)”，進(jìn)行語(yǔ)法校驗(yàn)，可驗(yàn)證已輸入的SQL語(yǔ)句是否符合FlinkSQL語(yǔ)法，如不符合頁(yè)面上方會(huì)出現(xiàn)警告。窗口最大化：?jiǎn)螕艟庉嫏诖翱谟疑辖菆D標(biāo)，可對(duì)編輯窗口放大縮小，便于查看編輯數(shù)據(jù)計(jì)算—每小時(shí)費(fèi)用、能源數(shù)據(jù)FlinkSQL查詢(xún)首先單擊“同步字段”手動(dòng)指定數(shù)據(jù)類(lèi)型，修改date_day的數(shù)據(jù)類(lèi)型為“String”，date_hour的數(shù)據(jù)類(lèi)型為“String”，fee的數(shù)據(jù)類(lèi)型為“Double”，PWR_C的數(shù)據(jù)類(lèi)型為“Double”,也可以根據(jù)業(yè)務(wù)需求手動(dòng)添加字段和刪除字段，最后單擊保存數(shù)據(jù)計(jì)算—每小時(shí)費(fèi)用、能源數(shù)據(jù)編輯輸出節(jié)點(diǎn)將輸出節(jié)點(diǎn)“MySQL”拖拽到畫(huà)布中，自定義輸出節(jié)點(diǎn)名稱(chēng)為“輸出”單擊“FlinkSQL查詢(xún)”節(jié)點(diǎn)下方的連接點(diǎn)拖動(dòng)連線(xiàn)至“MySQL”節(jié)點(diǎn)數(shù)據(jù)計(jì)算—每小時(shí)費(fèi)用、能源數(shù)據(jù)編輯輸出節(jié)點(diǎn)選擇對(duì)應(yīng)的外部數(shù)據(jù)源及目標(biāo)數(shù)據(jù)表數(shù)據(jù)計(jì)算—每小時(shí)費(fèi)用、能源數(shù)據(jù)編輯輸出節(jié)點(diǎn)在選擇外部數(shù)據(jù)源和目標(biāo)數(shù)據(jù)表后自動(dòng)生成插入鍵“PRIMARY”和插入鍵字段選擇輸出映射字段以及對(duì)應(yīng)的數(shù)據(jù)庫(kù)字段并單擊保存數(shù)據(jù)計(jì)算—每小時(shí)費(fèi)用、能源數(shù)據(jù)發(fā)布離線(xiàn)數(shù)據(jù)計(jì)算單擊<發(fā)布>按鈕頁(yè)面彈出彈框“確定要發(fā)布該任務(wù)嗎？”，單擊確定。任務(wù)發(fā)布成功則會(huì)彈出“數(shù)據(jù)處理任務(wù)發(fā)布成功”數(shù)據(jù)計(jì)算—每小時(shí)費(fèi)用、能源數(shù)據(jù)創(chuàng)建任務(wù)流編排創(chuàng)建文件，操作步驟為：登錄控制臺(tái)>數(shù)據(jù)計(jì)算>數(shù)據(jù)開(kāi)發(fā)>任務(wù)流編排>單擊右上角符號(hào)>添加一級(jí)文件夾。在“任務(wù)流編排”菜單欄單擊一級(jí)文件夾旁邊的符號(hào)，創(chuàng)建任務(wù)流編排自定義任務(wù)名稱(chēng)為“能源離線(xiàn)開(kāi)發(fā)”并選擇上級(jí)文件夾，然后單擊“確定”數(shù)據(jù)計(jì)算—每小時(shí)費(fèi)用、能源數(shù)據(jù)創(chuàng)建任務(wù)流編排選擇離線(xiàn)任務(wù)并將其拖拽到畫(huà)布中選擇離線(xiàn)任務(wù)“能源離線(xiàn)開(kāi)發(fā)”自定義節(jié)點(diǎn)名稱(chēng)為“能源離線(xiàn)開(kāi)發(fā)”最后單擊“保存”數(shù)據(jù)計(jì)算—每小時(shí)費(fèi)用、能源數(shù)據(jù)發(fā)布任務(wù)流編排對(duì)建立的任務(wù)流編排進(jìn)行保存后，單擊飛機(jī)圖標(biāo)發(fā)布任務(wù)流編排。頁(yè)面彈出彈框“確定要發(fā)布該任務(wù)嗎？”單擊確定，任務(wù)發(fā)布成功則會(huì)彈出“數(shù)據(jù)處理任務(wù)發(fā)布成功”單擊“馬上配置調(diào)度”可對(duì)任務(wù)流編排進(jìn)行調(diào)度配置數(shù)據(jù)計(jì)算—每小時(shí)費(fèi)用、能源數(shù)據(jù)發(fā)布任務(wù)流編排設(shè)置配置調(diào)度計(jì)劃相關(guān)參數(shù)，單擊保存撤回任務(wù)流編排選擇任務(wù)流編排界面，單擊撤回圖標(biāo)來(lái)對(duì)任務(wù)流編排進(jìn)行撤回。頁(yè)面彈出彈框“您確定要撤回任務(wù)嗎？”，單擊確定。任務(wù)撤回成功則會(huì)彈出“數(shù)據(jù)處理任務(wù)撤回成功”。數(shù)據(jù)計(jì)算—綜合業(yè)務(wù)指標(biāo)計(jì)算撤回離線(xiàn)任務(wù)單擊撤回圖標(biāo)來(lái)對(duì)離線(xiàn)任務(wù)進(jìn)行撤回。頁(yè)面彈出彈框“您確定要撤回任務(wù)嗎？”，單擊確定。如圖所示，任務(wù)撤回成功則會(huì)彈出“數(shù)據(jù)處理任務(wù)撤回成功”。添加FlinkSQL查詢(xún)選擇節(jié)點(diǎn)庫(kù)中“FlinkSQL查詢(xún)”節(jié)點(diǎn)并將其拖拽到編輯頁(yè)面中自定義節(jié)點(diǎn)名稱(chēng)為“每日基本信息”，單擊“保存”單擊名稱(chēng)為“hour電費(fèi)”的“FlinkSQL查詢(xún)”輸出節(jié)點(diǎn)下方的連接點(diǎn)拖動(dòng)連線(xiàn)至新建的“FlinkSQL查詢(xún)”節(jié)點(diǎn)上方數(shù)據(jù)計(jì)算—綜合業(yè)務(wù)指標(biāo)計(jì)算添加FlinkSQL查詢(xún)自定義節(jié)點(diǎn)名稱(chēng)為“每日基本信息”，由上一節(jié)點(diǎn)“hour電費(fèi)”對(duì)應(yīng)產(chǎn)生節(jié)點(diǎn)ID為“node1750”在“FlinkSQL語(yǔ)句”下輸入數(shù)據(jù)查詢(xún)的SQL語(yǔ)句數(shù)據(jù)計(jì)算—綜合業(yè)務(wù)指標(biāo)計(jì)算添加FlinkSQL查詢(xún)?cè)赟QL編輯框中編寫(xiě)完成的SQL語(yǔ)句，可通過(guò)格式化將原有語(yǔ)句的格式規(guī)范化，便于排查錯(cuò)誤在“FlinkSQL語(yǔ)句”下編寫(xiě)SQL語(yǔ)句進(jìn)行多表查詢(xún)，需要查詢(xún)一級(jí)指標(biāo)相關(guān)數(shù)據(jù)數(shù)據(jù)計(jì)算—綜合業(yè)務(wù)指標(biāo)計(jì)算SELECTdate_day,SUM(fee_h)fee_day,SUM(PWR_C)energy_day,CASEWHENdate_hour>=19anddate_hour<22THENsum(fee_h)ELSE0ENDastip_fee,FlinkSQL查詢(xún)邏輯數(shù)據(jù)計(jì)算—綜合業(yè)務(wù)指標(biāo)計(jì)算CASEWHEN(date_hour>=8anddate_hour<11)or(date_hour>=15anddate_hour<19)THENsum(fee_h)ELSE0ENDaspeak_fee,CASEWHEN(date_hour>=23)or(date_hour>=0anddate_hour<7)THENsum(fee_h)ELSE0ENDasordinary_fee,CASEWHEN(date_hour>=11anddate_hour<15)or(date_hour>=22anddate_hour<23)THENsum(fee_h)ELSE0ENDasvalley_fee,CASEWHENdate_hour>=19anddate_hour<22THENsum(PWR_C)ELSE0ENDastip_energy,CASEWHEN(date_hour>=8anddate_hour<11)or(date_hour>=15anddate_hour<19)TH