實(shí)時(shí)計(jì)算平臺1課件

1、大綱我們現(xiàn)在的計(jì)算平臺我們平臺上的業(yè)務(wù)我們將來要做的工作大綱我們現(xiàn)在的計(jì)算平臺我們平臺上的業(yè)務(wù)我們將來要做的工作實(shí)時(shí)計(jì)算平臺1支持毫秒級別至秒級別的計(jì)算延遲需求高可靠性，高可伸縮性，高可擴(kuò)展性支持DAG描述的流式作業(yè)支持已在線運(yùn)行作業(yè)DAG修改與升級Per-Record的計(jì)算模式與底層架構(gòu)Streaming模式支持多語言擴(kuò)展實(shí)時(shí)計(jì)算平臺1機(jī)群規(guī)模：500+ - 1000機(jī)群QPS：10M - 100M qps延遲保證：99.9% 50ms-在線系統(tǒng)統(tǒng)一平臺服務(wù)眾多（20+）業(yè)務(wù)方實(shí)時(shí)計(jì)算平臺2支持十秒級別至分鐘級別的計(jì)算延遲需求高可靠性，高可擴(kuò)展性支持DAG描述的流式作業(yè)/Queue-Work

2、er模型作業(yè)具備Transaction屬性，保證計(jì)算數(shù)據(jù)的不重不丟基于增量/小批量的計(jì)算模式與底層架構(gòu)Streaming模式支持多語言擴(kuò)展實(shí)時(shí)計(jì)算平臺2機(jī)群規(guī)模：500+ - 1000支持千級worker并發(fā)，百級業(yè)務(wù)流并發(fā)多級Master架構(gòu)設(shè)計(jì)控制流與數(shù)據(jù)流分離統(tǒng)一資源層大綱我們現(xiàn)在的計(jì)算平臺我們平臺上的業(yè)務(wù)我們將來要做的工作實(shí)時(shí)計(jì)算平臺1廣告計(jì)算平臺主要需求：真正的實(shí)時(shí)需求 ：百毫秒級別的延遲指標(biāo)靈活的拓?fù)渥兓盒略鲇脩魯?shù)據(jù)業(yè)務(wù)流，支持各種策略實(shí)驗(yàn)高穩(wěn)定性：跨機(jī)房故障時(shí)，優(yōu)雅的服務(wù)降級實(shí)時(shí)計(jì)算平臺1檢索端更新數(shù)據(jù)流 主要需求：真正的在線需求 ：在線調(diào)整與升級，穩(wěn)定靈活的拓?fù)渥兓盒略鲇脩魯?shù)據(jù)業(yè)務(wù)流，支持各種策略實(shí)驗(yàn)數(shù)據(jù)流頻繁調(diào)整：分流，備份實(shí)時(shí)計(jì)算平臺2離線/在線云視頻轉(zhuǎn)碼需求主要需求：視頻分段并行轉(zhuǎn)碼；潛在資源需求量大，短期無預(yù)算上線規(guī)模：worker并發(fā)數(shù)k級別業(yè)務(wù)收益：提升時(shí)效性，利用空閑資源實(shí)時(shí)計(jì)算平臺2業(yè)務(wù)日志后端計(jì)算主要需求：分析前端Server日志，計(jì)算統(tǒng)計(jì)報(bào)表，精確計(jì)算步驟較多：流式j(luò)oin，filter，aggregation，入庫業(yè)務(wù)收益：提升報(bào)表時(shí)效性（5hour+ - 30min-）大綱我們現(xiàn)在的計(jì)算平