Flink大數(shù)據(jù)分析實戰(zhàn)

Flink大數(shù)據(jù)分析實戰(zhàn)讀書筆記模板01思維導(dǎo)圖目錄分析讀書筆記內(nèi)容摘要作者介紹精彩摘錄目錄0305020406思維導(dǎo)圖實戰(zhàn)書籍?dāng)?shù)據(jù)處理語言大數(shù)據(jù)主流案例數(shù)據(jù)架構(gòu)示例數(shù)量訂單第章基本概念策略圖單詞程序結(jié)構(gòu)模式本書關(guān)鍵字分析思維導(dǎo)圖內(nèi)容摘要內(nèi)容摘要本書作為Flink的入門書，從Flink核心編程語言Scala講起，涵蓋當(dāng)前Flink主流的開發(fā)組件。以實操為主，深入講解每一個操作步驟，包括DataSetAPI離線數(shù)據(jù)處理、FlinkSQL快速結(jié)構(gòu)化數(shù)據(jù)處理、DataStream實時數(shù)據(jù)處理，同時包括案例講解、源碼剖析、常用Shell命令和ScalaAPI詳解。即使沒有任何Flink基礎(chǔ)的讀者也可以對照書中的步驟成功搭建屬于自己的Flink集群，是一本真正的實操指南書籍。本書可作為大數(shù)據(jù)開發(fā)人員的隨身手冊，也可作為Flink新手入門的指導(dǎo)書籍，以及大數(shù)據(jù)從業(yè)者的參考用書。目錄分析1.1大數(shù)據(jù)開發(fā)總體架構(gòu)1.2什么是Flink1.3Flink的應(yīng)用場景1.4流計算框架對比第1章初識Flink1.5Flink的主要組件1.7快速體驗Flink程序1.6Flink編程模型第1章初識Flink1.6Flink編程模型1.6.1數(shù)據(jù)集1.6.2編程接口1.6.3程序結(jié)構(gòu)1.7快速體驗Flink程序1.7.1IntelliJIDEA安裝Scala插件1.7.2IntelliJIDEA創(chuàng)建Flink項目1.7.3示例：批處理單詞計數(shù)1.7.4示例：流處理單詞計數(shù)2.1Flink運行時架構(gòu)2.3Flink數(shù)據(jù)分區(qū)2.2Flink任務(wù)調(diào)度原理第2章Flink運行架構(gòu)及原理2.1Flink運行時架構(gòu)2.1.1YARN集群架構(gòu)2.1.2FlinkStandalone架構(gòu)2.1.3FlinkOnYARN的架構(gòu)2.2Flink任務(wù)調(diào)度原理2.2.1任務(wù)鏈2.2.2并行度2.2.3共享TaskSlot2.2.4數(shù)據(jù)流2.2.5執(zhí)行圖2.2.6執(zhí)行計劃2.3Flink數(shù)據(jù)分區(qū)2.3.1分區(qū)數(shù)量2.3.2分區(qū)策略3.1Flink集群搭建3.3Flink命令行界面3.2FlinkHA模式第3章Flink安裝及部署3.5FlinkShell的使用3.4Flink應(yīng)用提交第3章Flink安裝及部署3.1Flink集群搭建3.1.1Flink本地模式搭建3.1.2FlinkStandalone搭建3.1.3FlinkOnYARN搭建3.2FlinkHA模式3.2.1FlinkStandalone模式的HA架構(gòu)3.2.2FlinkStandalone模式HA集群搭建3.2.3FlinkOnYARN模式HA集群搭建4.1基本概念4.2執(zhí)行模式4.3作業(yè)流程4.4程序結(jié)構(gòu)4.5Source數(shù)據(jù)源12345第4章FlinkDataStreamAPI4.6Transformation數(shù)據(jù)轉(zhuǎn)換4.7Sink數(shù)據(jù)輸出4.8數(shù)據(jù)類型與序列化4.9分區(qū)策略第4章FlinkDataStreamAPI4.10窗口計算4.12狀態(tài)管理4.11水印第4章FlinkDataStreamAPI4.13容錯機制4.14案例分析：計算5秒內(nèi)輸入的單詞數(shù)量4.15案例分析：統(tǒng)計5分鐘內(nèi)每個用戶產(chǎn)生的日志數(shù)量4.16案例分析：統(tǒng)計24小時內(nèi)每個用戶的訂單平均消費額第4章FlinkDataStreamAPI4.17案例分析：計算5秒內(nèi)每個信號燈通過的汽車數(shù)量4.19案例分析：天貓雙十一實時交易額統(tǒng)計4.18案例分析：Flink整合Kafka計算實時單詞數(shù)量第4章FlinkDataStreamAPI4.5Source數(shù)據(jù)源4.5.1基本數(shù)據(jù)源4.5.2高級數(shù)據(jù)源4.5.3自定義數(shù)據(jù)源4.9分區(qū)策略4.9.1內(nèi)置分區(qū)策略4.9.2自定義分區(qū)策略4.10窗口計算4.10.1事件時間4.10.2窗口分類4.10.3窗口函數(shù)4.10.4觸發(fā)器4.10.5清除器4.11水印4.11.1計算規(guī)則4.11.2允許延遲與側(cè)道輸出4.11.3生成策略4.12狀態(tài)管理4.12.1KeyedState4.12.2OperatorState4.13容錯機制4.13.1Checkpoint4.13.2Barrier4.13.3重啟與故障恢復(fù)策略4.13.4Savepoint4.19案例分析：天貓雙十一實時交易額統(tǒng)計4.19.1創(chuàng)建自定義數(shù)據(jù)源4.19.2計算各個分類的訂單總額4.19.3計算全網(wǎng)銷售總額與分類Top35.1基本概念5.2動態(tài)表5.3TableEnvironmentAPI5.4TableAPI第5章FlinkTableAPI&SQL5.5SQLAPI5.6TopN查詢5.7Catalog元數(shù)據(jù)管理5.8FlinkSQL整合Kafka5.9FlinkSQLCLI5.10FlinkSQL整合Hive010302040506第5章FlinkTableAPI&SQL5.11案例分析：FlinkSQL實時單詞計數(shù)5.12案例分析：FlinkSQL實時計算5秒內(nèi)用戶訂單總金額5.13案例分析：**用戶行為分析5.14案例分析：FlinkSQL智慧交通數(shù)據(jù)分析第5章FlinkTableAPI&SQL5.1基本概念5.1.1計劃器5.1.2API架構(gòu)5.1.3程序結(jié)構(gòu)5.2動態(tài)表5.2.1流映射為動態(tài)表5.2.2連續(xù)查詢5.2.3動態(tài)表轉(zhuǎn)換為流5.3TableEnvironmentAPI5.3.1基本概念5.3.2創(chuàng)建TableEnvironment5.3.3示例：簡單訂單統(tǒng)計5.4TableAPI5.4.1基本概念5.4.2示例：訂單分組計數(shù)5.4.3示例：每小時訂單分組求平均值5.4.4關(guān)系操作5.5SQLAPI5.5.1DDL操作5.5.2DML操作5.5.3DQL操作5.5.4窗口函數(shù)5.5.5窗口聚合5.5.6分組聚合5.5.7OVER聚合5.5.8連接查詢5.6TopN查詢5.6.1OVER子句5.6.2示例：計算產(chǎn)品類別銷售額TopN5.6.3示例：搜索詞熱度統(tǒng)計5.6.4窗口TopN5.8FlinkSQL整合Kafka5.8.1基本概念5.8.2示例：FlinkSQL整合Kafka實現(xiàn)實時ETL5.9FlinkSQLCLI5.9.1啟動SQLCLI5.9.2執(zhí)行SQL查詢5.9.3可視化結(jié)果模式5.10FlinkSQL整合Hive5.10.1整合步驟5.10.2TableAPI操作Hive5.10.3示例：FlinkSQL整合Hive分析搜狗用戶搜索日志5.13案例分析：**用戶行為分析5.13.1離線與實時計算業(yè)務(wù)架構(gòu)5.13.2Flume數(shù)據(jù)采集架構(gòu)5.13.3Kafka消息隊列架構(gòu)5.14案例分析：FlinkSQL智慧交通數(shù)據(jù)分析5.14.1項目介紹5.14.2數(shù)據(jù)準(zhǔn)備5.14.3統(tǒng)計正?？跀?shù)量5.14.4統(tǒng)計車流量排名前3的卡口號5.14.5統(tǒng)計每個卡口通過速度最快的前3輛車5.14.6車輛軌跡分析6.1流圖6.3執(zhí)行圖6.2作業(yè)圖第6章Flink內(nèi)核源碼6.1流圖6.1.1StreamGraph核心對象6.1.2StreamGraph生成過程6.2作業(yè)圖6.2.1JobGraph的核心對象6.2.2JobGraph的生成過程6.3執(zhí)行圖6.3.1ExecutionGraph的核心對象6.3.2ExecutionGraph的生成過程7.1什么是Gelly7.2第一個Gelly程序7.3Gelly數(shù)據(jù)結(jié)構(gòu)7.4如何使用Gelly7.5圖操作12345第7章Gelly圖計算7.7案例分析：Gelly計算社交網(wǎng)絡(luò)中粉絲的平均年齡7.6圖常用API第7章Gelly圖計算7.5圖操作7.5.1基本操作7.5.2屬性操作7.5.3結(jié)構(gòu)操作7.5.4連接操作7.6圖常用API7.6