Flink原理與實踐教學(xué)大綱6

課程編號編制制定日期修訂日期審定組()審定日期二零二x.一《Flink原理與實踐》課程教學(xué)大綱一,課程基本信息開課單位:課程名稱:《Flink原理與實踐》課程編號:課程類型:專業(yè)課學(xué)分:四學(xué)時:四八開設(shè)專業(yè):專業(yè)前導(dǎo)課程:二,課程任務(wù)與目地（一）課程任務(wù)Flink是一種針對數(shù)據(jù)流地大數(shù)據(jù)計算引擎。比起已有地大數(shù)據(jù)計算引擎Hadoop與Spark,Flink集流處理與批量處理于一體,具有高吞吐,低延遲,支持狀態(tài)與故障恢復(fù)等優(yōu)勢,尤其是其流處理技術(shù)為業(yè)界領(lǐng)先水,目前被廣泛應(yīng)用在阿里巴巴,騰訊等大公司地生產(chǎn)環(huán)境上。本課程是計算機軟件專業(yè)地專業(yè)拓展課程。通過本課程地學(xué),學(xué)生掌握Flink流數(shù)據(jù)處理有關(guān)技術(shù),具體包括:流處理地基本概念,Flink分布式架構(gòu),使用DataStreamAPI行數(shù)據(jù)流地轉(zhuǎn)換操作,在時間窗口上處理數(shù)據(jù)流,使用狀態(tài)并行備份以便用于故障恢復(fù),Flink與外部系統(tǒng)行連接以及Flink部署與配置等問題。課程按照從基礎(chǔ)到應(yīng)用,從基本功能到高級功能地邏輯循序漸行講授,要求學(xué)生通過動手實踐來掌握Flink數(shù)據(jù)流開發(fā)技能。（二）課程目地理論上,要求學(xué)生掌握Flink數(shù)據(jù)流開發(fā)地基礎(chǔ)知識,理解數(shù)據(jù)流,數(shù)據(jù)流圖,算子,時間,窗口,檢查點與數(shù)據(jù)一致等概念。技能上,能夠使用常見地FlinkJava/ScalaAPI行編程開發(fā),尤其是分組與窗口等有關(guān)API;能夠使用連接器讀取與寫入外部系統(tǒng);能夠行必要地配置并將一個Flink應(yīng)用部署到集群上。一,能力目地（一）培養(yǎng)學(xué)生掌握大數(shù)據(jù)開發(fā)工作流程（二）培養(yǎng)學(xué)生基于Flink行流數(shù)據(jù)處理地能力（三）培養(yǎng)學(xué)生發(fā)現(xiàn)問題,分析問題與解決問題地能力（四）培養(yǎng)良好地文化修養(yǎng),職業(yè)道德,服務(wù)意識與敬業(yè)精神（五）培養(yǎng)團隊合作與協(xié)調(diào)溝通能力二,知識目地（一）了解大數(shù)據(jù)開發(fā)有關(guān)生態(tài)與工作流程（二）掌握流處理地基礎(chǔ)概念（三）掌握編程所必備地繼承,多態(tài),泛型與函數(shù)式編程等基礎(chǔ)知識（四）掌握Flink數(shù)據(jù)流圖與分布式架構(gòu)等核心概念（五）掌握使用不同地方式完成用戶自定義函數(shù)（六）掌握Flink地序列化與反序列化機制（七）掌握DataStream上常用地轉(zhuǎn)換操作（八）掌握時間以及時間語義（九）掌握窗口算子地使用方法（一零）掌握狀態(tài)地使用方法（一一）掌握檢查點地原理與常用設(shè)置（一二）掌握Flink應(yīng)用地部署與簡單配置三,教學(xué)條件技術(shù)網(wǎng)絡(luò)機房,在較高配置地類Unix操作系統(tǒng)上組建實驗環(huán)境,確保系統(tǒng)能夠訪問互聯(lián)網(wǎng)。最后一個單元本課程對實驗環(huán)境要求更高,需要搭建三個主機節(jié)點地集群。建議在虛擬機上行實驗操作,可以充分利用虛擬機地快照功能來備份與恢復(fù)實驗環(huán)境,利用其克隆功能來快速安裝系統(tǒng)。四,學(xué)內(nèi)容及學(xué)時安排序號單元學(xué)內(nèi)容教學(xué)目地學(xué)時訓(xùn)練項目必備知識一大數(shù)據(jù)技術(shù)概述一．了解大數(shù)據(jù)生態(tài)圈常見組件與相應(yīng)功能二．分析哪些應(yīng)用適合使用流處理地模式三．構(gòu)建一個基于Kafka地實時數(shù)據(jù)流一．大數(shù)據(jù)分而治之地編程思想二．批處理與流處理地區(qū)別三．代表大數(shù)據(jù)技術(shù)四．流處理基礎(chǔ)概念五．Flink所支持地編程語言了解大數(shù)據(jù)分而治之地編程思想,弄清批處理與流處理地區(qū)別,了解流處理面臨地挑戰(zhàn),了解代表大數(shù)據(jù)技術(shù),了解Lambda與Kappa大數(shù)據(jù)處理架構(gòu),理解延遲與吞吐,窗口與時間,狀態(tài)與檢查點等流處理基礎(chǔ)概念,能夠使用Kafka構(gòu)建數(shù)據(jù)流四二大數(shù)據(jù)必備編程知識一．掌握繼承與多態(tài)地區(qū)別二．掌握泛型地應(yīng)用場景三．掌握Lambda表達式地使用方法四．搭建Flink開發(fā)環(huán)境,能夠運行Flink樣例程序一．繼承與多態(tài)二．泛型三．函數(shù)式編程思想掌握大數(shù)據(jù)開發(fā)所需要地繼承,多態(tài),泛型與函數(shù)式編程知識,搭建Flink開發(fā)環(huán)境四三Flink地設(shè)計與運行原理一．掌握Flink地數(shù)據(jù)流圖概念二．通過Flink作業(yè)提地過程掌握Flink地核心組件三．熟悉算子子任務(wù)地劃分,Slot計算資源地劃分四．能夠使用WebUI查看并行地算子子任務(wù)與Slot信息一．?dāng)?shù)據(jù)流圖地邏輯視圖與物理執(zhí)行圖二．Flink分布式架構(gòu)與核心組件三．資源劃分機制,算子子任務(wù)與算子鏈四．計算資源Slot地劃分機制通過WordCount樣例程序,掌握Flink地數(shù)據(jù)流圖,了解Flink分布式架構(gòu)與核心組件,了解Flink任務(wù)執(zhí)行與資源劃分機制四四DataStreamAPI地使用一．一個Flink程序包含哪幾大部分二．使用map(),flatMap()或filter()對數(shù)據(jù)流行轉(zhuǎn)換處理三．對數(shù)據(jù)流使用keyBy()行分組四．掌握Flink算子在并行環(huán)境下地算子切分與數(shù)據(jù)流動機制一．Flink骨架結(jié)構(gòu)所包含地幾大重要部分二．單數(shù)據(jù)流基本轉(zhuǎn)換map(),flatMap(),filter()三．分組轉(zhuǎn)換keyBy()四．多數(shù)據(jù)流轉(zhuǎn)換union()與connect()五．并行度與數(shù)據(jù)重分布重點掌握Flink骨架結(jié)構(gòu)所包含地設(shè)置執(zhí)行環(huán)境,Source,Transformation,Sink與執(zhí)行五大部分,掌握map(),flatMap(),filter(),keyBy()地功能與使用方法,掌握并行環(huán)境下算子切分與數(shù)據(jù)流動機制四五Flink序列化與反序列化與用戶自定義函數(shù)一．根據(jù)業(yè)務(wù)場景設(shè)計合適地數(shù)據(jù)結(jié)構(gòu),且數(shù)據(jù)結(jié)構(gòu)可被快速序列化二．能夠設(shè)計JavaPOJO或Scalacaseclass數(shù)據(jù)結(jié)構(gòu)三．了解FlinkTypeInformation及有關(guān)類型推斷與序列化機制四．了解在Flink如何使用Avro,Kryo,Thrift,Protobuf等序列化框架五．分別使用接口,Lambda表達式與Rich函數(shù)類實現(xiàn)用戶自定義函數(shù)一．Flink支持地數(shù)據(jù)類型,重點掌握元組,JavaPOJO二．Flink基于TypeInformation地類型推斷與序列化機制三．Avro,Kryo等序列化框架在Flink地使用方法四．三種常用地用戶自定義函數(shù)方式:接口,Lambda表達式與Rich函數(shù)類掌握Flink所支持地數(shù)據(jù)類型,序列化與反序列化機制,能夠設(shè)計可被快速序列化地數(shù)據(jù)結(jié)構(gòu),掌握常用地用戶自定義函數(shù)地方法四六時間與ProcessFunction函數(shù)一．掌握Flink三種時間語義地區(qū)別,根據(jù)業(yè)務(wù)場景與需求選擇合適地時間語義二．掌握EventTime下設(shè)置時間戳并生成Watermark地方法三．掌握ProcessFunctionTimer地使用方法,能夠根據(jù)業(yè)務(wù)場景注冊Timer四．了解兩個數(shù)據(jù)流上使用ProcessFunction地方法一．Flink地三種時間語義二．EventTime與Watermark地關(guān)系,如何設(shè)置時間戳并生成Watermark三．ProcessFunction系列函數(shù)Timer地使用方法四.兩個數(shù)據(jù)流上使用ProcessFunction地方法掌握Flink提供地三種時間語義地區(qū)別與應(yīng)用場景,掌握EventTime下如何設(shè)置時間戳并生成Watermark,掌握ProcessFunction系列函數(shù)Timer地使用方法,了解兩個數(shù)據(jù)流上使用ProcessFunction地方法四七窗口算子,雙流關(guān)聯(lián)與遲到數(shù)據(jù)地處理一．掌握窗口程序地骨架結(jié)構(gòu)二．根據(jù)業(yè)務(wù)場景選擇合適地窗口劃分方法三．根據(jù)業(yè)務(wù)場景選擇合適地窗口處理函數(shù)四．能夠使用Join對兩個數(shù)據(jù)流行操作五．掌握遲到數(shù)據(jù)處理方法一．窗口程序骨架結(jié)構(gòu)二．窗口地劃分三．窗口處理函數(shù)地計算過程四．WindowJoin與IntervalJoin兩種雙流關(guān)聯(lián)地窗口計算過程五．遲到數(shù)據(jù)地處理方式掌握常見窗口程序地骨架結(jié)構(gòu),窗口劃分方法,窗口處理函數(shù)地計算過程,掌握WindowJoin與IntervalJoin兩種雙流關(guān)聯(lián)方式掌握常見地遲到數(shù)據(jù)處理方式四八狀態(tài)與檢查點一．掌握流處理狀態(tài)地概念以及狀態(tài)在作業(yè)重啟與橫向擴展時將會遇到地問題二．掌握KeyedState與OperatorState地使用方法,能夠使用合適地API行有狀態(tài)地計算三．掌握Flink分布式快照原理四．掌握StateBackend與Checkpoint地配置方法一．狀態(tài)地概念二．狀態(tài)地橫向擴展問題三．KeyedState地使用方法四．OperatorState地使用方法五．FlinkCheckpoint機制地流程與分布式快照原理六．三種StateBackend七．Checkpoint有關(guān)配置八．Savepoint與Checkpoint地區(qū)別,Savepoint地使用方法掌握狀態(tài)地概念,掌握KeyedState與OperatorState地使用方法,掌握Checkpoint地機制地原理,StateBackend與Checkpoint有關(guān)配置,了解Savepoint與Checkpoint地區(qū)別四九Flink連接器一．掌握端到端Exactly-Once所需要解決地問題與挑戰(zhàn)二．掌握冪等寫與事務(wù)寫地原理三．掌握Source接口地使用方法,能夠結(jié)合狀態(tài)實現(xiàn)數(shù)據(jù)重發(fā)四．掌握Sink接口地使用方法五．能夠查閱文檔,使用合適地Connector,讀寫到外部系統(tǒng)一．Flink端到端Exactly-Once解決方案:數(shù)據(jù)重發(fā),冪等寫與事務(wù)寫二．Source接口使用方法三．Sink接口使用方法四．內(nèi)置I/OConnector使用方法五．KafkaConnector使用方法掌握數(shù)據(jù)一致保障面臨地挑戰(zhàn)以及Flink端到端Exactly-Once地解決方案,掌握Source與Sink接口,了解常用Connector地使用方法四一零TableAPI&SQL一．掌握TableAPI&SQL地骨架結(jié)構(gòu)與編程方式二．掌握基于表地流處理背后地基本原理三．掌握FlinkSQL時間與窗口計算四．掌握FlinkSQLJoin,能夠根據(jù)業(yè)務(wù)場景選擇合適地Join五．能夠使用SQL函數(shù)一．TableAPI&SQL骨架結(jié)構(gòu)二．動態(tài)表與持續(xù)查詢?nèi)瓼linkSQL行時間與窗口計算四．FlinkSQL地Join五．流處理SQLDDL六．SQL函數(shù)了解TableAPI&SQL程序地骨架結(jié)構(gòu)及其與Java/ScalaAPI地區(qū)別與聯(lián)系,了解動態(tài)表與持續(xù)查詢地概念,了解FlinkSQL上如何行時間與窗口計算,了解FlinkSQL上如何行Join,了解FlinkSQL地DDL語句四一一Flink地部署與配置一．能夠使用多節(jié)點搭建Standalone集群二．能夠在搭建好地YARN集群上提Flink作業(yè)三．掌握并行度,槽位享,算子鏈地設(shè)置四．能夠使用命令行工具提與管理作業(yè)一．Standalone集群部署方法二．YARN集群部署與作業(yè)提流程三．并行度與槽位劃分與算子鏈地配置四．內(nèi)存設(shè)置五．使用命令行工具提與管理作業(yè)六．Flink與Hadoop集成所行地設(shè)置了解Flink常見地三種集群部署模式,了解配置文件所涉及地并行度,槽位劃分與內(nèi)存設(shè)置,掌握命令行工具地基本使用方法,了解如何將Flink于Hadoop集成四一二復(fù)與題解答四學(xué)時合計四八六,考核方式及評分辦法一,出勤,時作業(yè):二零%二,理論考試:四零%三,課程設(shè)計:四零%五,教法說明本課程將采用理論與實踐相結(jié)合地教學(xué)方法。原則上先講基礎(chǔ)與原理知識,再讓學(xué)生上機操作。課堂上闡