云計(jì)算與大數(shù)據(jù)技術(shù) 課件12.3 Flink 運(yùn)行時(shí)架構(gòu)

Flink運(yùn)行時(shí)架構(gòu)Flink運(yùn)行時(shí)架構(gòu)Flink集群主要由三部分組成：JobManager、TaskManager和客戶端（Client），這三者各自運(yùn)行在獨(dú)立的Java虛擬機(jī)（JVM）進(jìn)程中。當(dāng)Flink集群?jiǎn)?dòng)時(shí)，至少會(huì)啟動(dòng)一個(gè)JobManager和一個(gè)TaskManager，但根據(jù)集群規(guī)模和作業(yè)需求，可以啟動(dòng)多個(gè)TaskManager?？蛻舳藢⑷蝿?wù)提交給JobManager，JobManager將任務(wù)拆分成Task并調(diào)度到各個(gè)TaskManager中執(zhí)行，最后TaskManager將Task執(zhí)行的情況匯報(bào)給JobManager。Flink運(yùn)行時(shí)架構(gòu)Flink運(yùn)行時(shí)架構(gòu)Flink提供了專門的客戶端（Client）用于提交作業(yè)（Job）到集群中。在服務(wù)端，F(xiàn)link采用了分布式的主從架構(gòu)，其中JobManager作為主節(jié)點(diǎn)，而TaskManager作為從節(jié)點(diǎn)或工作節(jié)點(diǎn)。JobManager負(fù)責(zé)管理計(jì)算資源（TaskManager）和任務(wù)的調(diào)度，同時(shí)創(chuàng)建檢查點(diǎn)（Checkpoint）以進(jìn)行容錯(cuò)處理；TaskManager則負(fù)責(zé)實(shí)際執(zhí)行SubTask。Flink運(yùn)行時(shí)架構(gòu)這種主從架構(gòu)的設(shè)計(jì)使得Flink能夠高效地處理大規(guī)模數(shù)據(jù)流，并提供了高可用性和容錯(cuò)功能，通過檢查點(diǎn)機(jī)制來確保在故障發(fā)生時(shí)能夠恢復(fù)作業(yè)的狀態(tài)，并從故障點(diǎn)繼續(xù)執(zhí)行，從而保證了數(shù)據(jù)的可靠性和一致性。Flink任務(wù)提交流程Flink不僅可以部署在包括YARN、Mesos、Kubernetes在內(nèi)的多種資源管理框架上，還支持在裸機(jī)集群上獨(dú)立部署，同時(shí)能輕松部署在云端。在不同的部署環(huán)境下，F(xiàn)link任務(wù)的提交流程可能會(huì)有所不同，以滿足特定的環(huán)境和需求。在獨(dú)立模式（Standalone）下，有會(huì)話（Session）模式和應(yīng)用（Application）模式兩種部署方式。在YA