Serverless工作流簡(jiǎn)介與技術(shù)剖析

1、Serverless工作流簡(jiǎn)介與技術(shù)剖析技術(shù)創(chuàng)新，變革未來(lái)背景問(wèn)題產(chǎn)品介紹未來(lái)展望CONTENT背景分而治之分布式技術(shù)微服務(wù)架構(gòu)函數(shù)即服務(wù)合而用之請(qǐng)求響應(yīng)隊(duì)列/主題集中編排一個(gè)計(jì)量系統(tǒng)的演進(jìn)之路（一）單體應(yīng)用架構(gòu)簡(jiǎn)單，快速上線無(wú)法處理日益增長(zhǎng)的業(yè)務(wù)需求，計(jì)算經(jīng)常延遲單點(diǎn)系統(tǒng)，宕機(jī)恢復(fù)時(shí)間長(zhǎng)一個(gè)計(jì)量系統(tǒng)的演進(jìn)之路（二）分布式任務(wù)/函數(shù)為支持部分失敗引入復(fù)雜的狀態(tài)管理主從模式增加成本，90%時(shí)間閑置，資源浪費(fèi)難以了解系統(tǒng)執(zhí)行狀態(tài)試圖使用隊(duì)列降低成本，帶來(lái)更加復(fù)雜的控制邏輯計(jì)算快速，系統(tǒng)性能水平擴(kuò)展，滿足長(zhǎng)遠(yuǎn)業(yè)務(wù)增長(zhǎng)需要架構(gòu)清晰，任務(wù)和協(xié)調(diào)職責(zé)明確函數(shù)按需執(zhí)行，成本有所降低考慮失敗重試和系統(tǒng)宕機(jī)影響

2、，系統(tǒng)恢復(fù)快計(jì)量系統(tǒng)主從模式，自動(dòng)失敗切換背景問(wèn)題產(chǎn)品介紹未來(lái)展望CONTENT函數(shù)編排的挑戰(zhàn)如何構(gòu)建復(fù)雜的，多步驟的，長(zhǎng)時(shí)間運(yùn)行的，有狀態(tài)的應(yīng)用？如何協(xié)調(diào)多個(gè)函數(shù)，比如順序或者并行執(zhí)行多個(gè)函數(shù)，又或者根據(jù)函數(shù)執(zhí)行結(jié)果選擇執(zhí)行其它函數(shù)。如何針對(duì)函數(shù)執(zhí)行錯(cuò)誤實(shí)現(xiàn)不同的重試策略，或者捕獲錯(cuò)誤后執(zhí)行其它函數(shù)。是否可以延長(zhǎng)函數(shù)執(zhí)行時(shí)間以支持長(zhǎng)流程，比如批量處理大量 OSS 文件，日志數(shù)據(jù)，運(yùn)維Pipeline 等。分布式任務(wù)編排的挑戰(zhàn)編排函數(shù)，微服務(wù)，腳本編寫(xiě)大量代碼來(lái)實(shí)現(xiàn)編排邏輯，狀態(tài)維護(hù)和錯(cuò)誤處理，而這些邏輯又很難被其它應(yīng)用重用。需要考慮狀態(tài)持久化，以支持多步驟長(zhǎng)時(shí)間流程。需要考慮調(diào)度和任務(wù)之間，

3、任務(wù)和任務(wù)之間的安全通訊。在公共云、自有機(jī)房和不同架構(gòu)下 的應(yīng)用任務(wù)調(diào)度如何高效率完成。如何有效的監(jiān)控整個(gè)流程的執(zhí)行進(jìn)度和狀態(tài)。維護(hù)和運(yùn)行執(zhí)行調(diào)度的基礎(chǔ)設(shè)施，確保編排程序的可用性和可伸縮性，閑置的資源導(dǎo)致成本 增加。編排的現(xiàn)狀協(xié)調(diào)方式適用場(chǎng)景局限性使用主函數(shù)同步調(diào)用 其它函數(shù)主函數(shù)是無(wú)狀態(tài)的。主函數(shù)執(zhí)行時(shí)間很短（數(shù)秒內(nèi)完成）。不關(guān)心部分失敗帶來(lái)的影響，重新執(zhí)行主函 數(shù)不會(huì)影響系統(tǒng)。由于函數(shù)執(zhí)行時(shí)間限制，無(wú)法支持長(zhǎng)時(shí)間業(yè) 務(wù)流程。主函數(shù)大部分時(shí)間花在等待其它函數(shù)返回，產(chǎn)生額外成本。不適合有狀態(tài)流程。使用事件驅(qū)動(dòng)方式協(xié) 調(diào)函數(shù)執(zhí)行（如消息 服務(wù)，OSS 通知等， 或者異步調(diào)用函數(shù)）一個(gè)事件觸發(fā)一個(gè)

4、或者多個(gè)函數(shù)（Fan- Out）。無(wú)需等待被調(diào)用函數(shù)返回結(jié)果。協(xié)調(diào)較少的函數(shù)。很難支持等待多個(gè)事件觸發(fā)一個(gè)函數(shù)的場(chǎng)景（Fan-In）。無(wú)法跟蹤流程執(zhí)行狀態(tài)。無(wú)法限制單個(gè)函數(shù)和整個(gè)流程執(zhí)行時(shí)間。無(wú)法針對(duì)函數(shù)執(zhí)行錯(cuò)誤定義重試策略。在服務(wù)器上運(yùn)行常駐 程序協(xié)調(diào)函數(shù)執(zhí)行1.工作負(fù)載十分穩(wěn)定。需要自行實(shí)現(xiàn)狀態(tài)管理。需要自行確保高可用性。需要自行擴(kuò)容縮容以應(yīng)對(duì)不同負(fù)載，提高資 源利用率。無(wú)法享受無(wú)服務(wù)器計(jì)算帶來(lái)的其它好處。背景問(wèn)題產(chǎn)品介紹未來(lái)展望CONTENTServerless 工作流介紹分布式任務(wù)函數(shù)計(jì)算 FunctionMNS 隊(duì)列，主題云服務(wù)，以及通過(guò)函數(shù)可觸達(dá)的 API自建工作節(jié)點(diǎn) （ECS，容

5、器，自建機(jī)房）完善的工作流功能任務(wù)，順序，分支，并行，動(dòng)態(tài)并行，選擇，循環(huán)，等 待子流程，回調(diào) （callback）錯(cuò)誤處理：指數(shù)退避，補(bǔ)償邏輯，超時(shí)狀態(tài)管理和可視化Serverless 全托管云服務(wù)免運(yùn)維，自動(dòng)彈性伸縮Pay-as-you-go，按照步驟轉(zhuǎn)換計(jì)費(fèi)讓用戶(hù)聚焦業(yè)務(wù)邏輯開(kāi)發(fā)如何使用 Serverless 工作流基本概念Serverless 工作流面向?qū)ο缶幊塘鞒填?lèi)步驟函數(shù)執(zhí)行實(shí)例狀態(tài)堆棧Serverless如何使用 Serverless 工作流觸發(fā)工作流調(diào)用StartExecution事件源依賴(lài)于函數(shù)計(jì)算事件源OSS，消息主題，API網(wǎng)關(guān)APISDK，CLI，控制臺(tái)一個(gè)計(jì)量系統(tǒng)的演

6、進(jìn)之路（三）基于 Serverless 工作流的任務(wù)調(diào)度無(wú)需為支持部分失敗引入復(fù)雜的狀態(tài)管理 主從模式增加成本，90%時(shí)間閑置，資源浪費(fèi)2臺(tái)服務(wù)器到10幾次 步驟轉(zhuǎn)換易于難以了解系統(tǒng)執(zhí)行狀態(tài) 試圖使用隊(duì)列降低成本，帶來(lái)更加復(fù)雜的控制邏輯替換容易，復(fù)用 任務(wù)計(jì)算快速，系統(tǒng)性能水平擴(kuò)展，滿足長(zhǎng)遠(yuǎn)業(yè)務(wù)增長(zhǎng)需要架構(gòu)清晰，職責(zé)更加明確函數(shù)按需執(zhí)行，成本有所降低考慮失敗重試和系統(tǒng)宕機(jī)影響，系統(tǒng)恢復(fù)快 計(jì)量系統(tǒng)主從模式，自動(dòng)失敗切換 依賴(lài)Serverless工作流高可用如何使用 Serverless 工作流- type: task name: listShards resourceArn:acs:fc:se

7、rvices/metering/functions/listShards timeoutSeconds: 20inputMappings:- target: execID source: $input.execIDoutputMappings:target: shardsretsroyu: rce: $local.listShardserrors:ErrorNeedsRetryFC.ResourceThrottledFC.InternalServerErrorFnF.TaskTimeoutFC.Unknown intervalSeconds: 3maxIntervalSeconds: 30ma

8、xAttempts: 10multiplier: 2type: foreach name: mappers iterationMapping: collection: $.shards item: shardsteps:type: taskname: mapperresourceArn: acs:fc:services/metering/functions/ma retry:errors:ErrorNeedsRetryFC.ResourceThrottledFC.InternalServerErrorFnF.TaskTimeoutFC.Unknown intervalSeconds: 3maxIntervalSeconds: 30maxAttempts: 10multiplier: 2流程定義業(yè)務(wù)場(chǎng)景核心功能狀態(tài)管理錯(cuò)誤處理多樣化任務(wù)豐富的編排邏輯可追溯執(zhí)行歷史基礎(chǔ)能力微服務(wù)/函數(shù)編排分布式任務(wù)編排跨網(wǎng)絡(luò)任務(wù)編排長(zhǎng)流程編排業(yè)務(wù)場(chǎng)景事務(wù)型業(yè)務(wù)流程媒體處理流程數(shù)據(jù)處理流水線