阿里云Serverless工作流解決方案

1、阿里云Serverless 工作流解決方案技術(shù)創(chuàng)新，變革未來(lái)CONTENTADD YOUR TEXTADD YOUR TEXT常見(jiàn)工作流場(chǎng)景和用戶案例分享ADD YOUR TEXTAgenda常見(jiàn)工作流場(chǎng)景音視頻處理工作流訂單審批流程數(shù)據(jù)處理流水線自動(dòng)化運(yùn)維機(jī)器學(xué)習(xí)流水線場(chǎng)景1：音視頻處理具體案例：長(zhǎng)視頻分片，并發(fā)轉(zhuǎn)碼多種格式并發(fā)轉(zhuǎn)碼視頻 AI 識(shí)別、審核、分發(fā)刷新 CDN 緩存海量視頻在規(guī)定時(shí)間內(nèi)完成處理場(chǎng)景需求和 Serverless 工作流解決方案：波峰波谷，快速伸縮速：Serverless 百毫秒級(jí)彈性自動(dòng)伸縮并發(fā)要求高：動(dòng)態(tài)并行步驟協(xié)調(diào)十萬(wàn)級(jí)別并發(fā)函數(shù)實(shí)例事件觸發(fā)：FC 響應(yīng) OSS

2、 上傳事件調(diào)用工作流處理視頻靈活的任務(wù)節(jié)點(diǎn)：通過(guò) FC 調(diào)用阿里云媒體處理，點(diǎn)播，視覺(jué)智能 等云服務(wù)完成復(fù)雜多媒體處理長(zhǎng)時(shí)間執(zhí)行，容錯(cuò)要求高：retry, try/catch，狀態(tài)和消息的持久 化幫助長(zhǎng)視頻可靠處理場(chǎng)景2：數(shù)據(jù)處理流水線具體案例：OSS 數(shù)據(jù)批量處理，跨區(qū)域，跨 bucket 備份容災(zāi)Mysql/MongoDB/TableStore 數(shù)據(jù)同步離線大數(shù)據(jù) ETL 流水線流式解壓 OSS 大壓縮包場(chǎng)景需求和 Serverless 工作流解決方案：執(zhí)行時(shí)間長(zhǎng)：最長(zhǎng)支持 1 年彈性，成本要求高：Serverless 彈性伸縮，不為閑置付費(fèi)要求最終一致：retry, try/catch，

3、狀態(tài)和消息的持久化使 流水線保證數(shù)據(jù)最終同步定時(shí)觸發(fā)：FC 定時(shí)觸發(fā)器場(chǎng)景3：訂單、審批流程具體案例：電商，出游行程等訂單自動(dòng)，人工審批場(chǎng)景需求和 Serverless 工作流解決方案：數(shù)據(jù)一致性要求高：狀態(tài)和消息的持久化使流水線保證數(shù) 據(jù)最終同步。try/catch 可靠支持回滾和補(bǔ)償邏輯（SAGA 模式）多網(wǎng)絡(luò)環(huán)境自動(dòng)化：消息隊(duì)列通知 + 回調(diào)需要人工介入：通知處理人員，審批后回調(diào)服務(wù)多步驟，分布式：支持函數(shù)計(jì)算，MSN 隊(duì)列，主題，自定 義任務(wù)節(jié)點(diǎn)執(zhí)行時(shí)間長(zhǎng)：最長(zhǎng)支持 1 年場(chǎng)景4：自動(dòng)化運(yùn)維具體案例：ECS 鏡像，云盤快照構(gòu)建云盤跨 region 備份容災(zāi)定制化運(yùn)維需求，上下線 ECS

4、 實(shí)例等場(chǎng)景需求和 Serverless 工作流解決方案：定時(shí)運(yùn)維任務(wù)：FC 定時(shí)觸發(fā) Serverless 工作流執(zhí)行時(shí)間長(zhǎng)：最長(zhǎng)支持 1 年需求運(yùn)維邏輯靈活：FDL 相比于指定依賴的 DAG 更加靈活， 支持深度自定義運(yùn)維低成本，高資源利用率：Serverless 計(jì)費(fèi)模型，按使用量（步驟轉(zhuǎn)換數(shù)）收費(fèi)，不為閑置資源付費(fèi)場(chǎng)景5：機(jī)器學(xué)習(xí)流水線具體案例：訓(xùn)練數(shù)據(jù) ETL 流水線構(gòu)建，模型訓(xùn)練，部署形成 ML 反饋回路場(chǎng)景需求和 Serverless 工作流解決方案：執(zhí)行時(shí)間長(zhǎng)：最長(zhǎng)支持 1 年需要人工介入：通知 + 回調(diào)可靠性要求高：try/catch, retry 等功能支持流 水線回滾，實(shí)

5、現(xiàn)補(bǔ)償邏輯客戶案例分享：圖森未來(lái)自動(dòng)化數(shù)據(jù)處理流水線圖森未來(lái)是一家專注于 L4 級(jí)別無(wú)人駕駛卡車技術(shù)研發(fā)與應(yīng)用的人工智能企業(yè)，面向全球提 供可大規(guī)模商業(yè)化運(yùn)營(yíng)的無(wú)人駕駛卡車技術(shù)，為全球物流運(yùn)輸行業(yè)賦能。目前已完成 D 輪 融資，估值超過(guò)10億美元。無(wú)人駕駛技術(shù)研發(fā)依賴大量的路測(cè)試驗(yàn)數(shù)據(jù)積累，而高效進(jìn)行路 測(cè)、快速對(duì)路測(cè)數(shù)據(jù)進(jìn)行處理來(lái)指導(dǎo)模型的更新迭代是這類場(chǎng)景的核心訴求?？蛻敉袋c(diǎn)復(fù)雜的數(shù)據(jù)處理流程跨團(tuán)隊(duì)數(shù)據(jù)處理協(xié)作任務(wù)依賴復(fù)雜處理時(shí)長(zhǎng)不確定機(jī)器資源利用率低自建機(jī)房網(wǎng)絡(luò)隔離解決方案云上工作流協(xié)調(diào)云下任務(wù)MNS 隊(duì)列 + 回調(diào)支持自定義任務(wù)FDL 編排任務(wù)集成工作流，提供內(nèi)部服務(wù)使用效果高效，可靠

6、，可觀測(cè)云下任務(wù)被可靠編排流程邏輯易理解，執(zhí)行狀態(tài)可追蹤提高資源利用率，消除資源閑置提升工程效率，專注業(yè)務(wù)瑞小博科技 Serverless 自動(dòng)化運(yùn)維平臺(tái)成都瑞小博科技有限公司（瑞小博科技）是國(guó)內(nèi)領(lǐng)先的基于移動(dòng)互聯(lián)網(wǎng)的大數(shù)據(jù)方案提供商，獲 得了美團(tuán)點(diǎn)評(píng)的戰(zhàn)略投資，公司自主研發(fā)了成都購(gòu)房通系統(tǒng)，小博無(wú)線運(yùn)營(yíng)平臺(tái)、大數(shù)據(jù)影響推 廣平臺(tái)等圍繞移動(dòng)大數(shù)據(jù)領(lǐng)域的產(chǎn)品，并提供相關(guān)的信息技術(shù)服務(wù)。公司自成立以來(lái)，一直致力 于移動(dòng)互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用與運(yùn)營(yíng)模式創(chuàng)新，為全國(guó)商業(yè)大數(shù)據(jù)運(yùn)營(yíng)團(tuán)隊(duì)提供全面的運(yùn)營(yíng)支持與技 術(shù)服務(wù)。公司憑借優(yōu)異的科技創(chuàng)新能力，通過(guò)了“國(guó)家高新技術(shù)企業(yè)”的認(rèn)定，榮獲“2019年 成 都高新區(qū)瞪羚企業(yè)”、2018德勤-中國(guó)高科技高成長(zhǎng)50強(qiáng)”、“2018德勤-成都高科技高成長(zhǎng)20 強(qiáng)”、“2017德勤-成都創(chuàng)新創(chuàng)業(yè)明日之星”等獎(jiǎng)項(xiàng)。客戶痛點(diǎn)運(yùn)維系統(tǒng)復(fù)雜度高搶占式實(shí)例運(yùn)維運(yùn)維角色臃腫響應(yīng)速度要求高函數(shù)計(jì)算并發(fā)控制解決方案Serverle