實時計算平臺1

1、實時計算平臺及相關(guān)業(yè)務(wù)實踐實時計算平臺及相關(guān)業(yè)務(wù)實踐Baidu.inf.dc ChaiHua大綱1. 我們現(xiàn)在的計算平臺2. 我們平臺上的業(yè)務(wù)3. 我們將來要做的工作大綱1. 我們現(xiàn)在的計算平臺2. 我們平臺上的業(yè)務(wù)3. 我們將來要做的工作實時計算平臺實時計算平臺1 支持毫秒級別至秒級別的計算延遲需求 高可靠性，高可伸縮性，高可擴展性 支持DAG描述的流式作業(yè) 支持已在線運行作業(yè)DAG修改與升級 Per-Record的計算模式與底層架構(gòu) Streaming模式支持多語言擴展實時計算平臺實時計算平臺1 機群規(guī)模：500+ - 1000 機群QPS：10M - 100M qps 延遲保證：99.9

2、% 50ms- 在線系統(tǒng) 統(tǒng)一平臺服務(wù)眾多（20+）業(yè)務(wù)方實時計算平臺實時計算平臺2 支持十秒級別至分鐘級別的計算延遲需求 高可靠性，高可擴展性 支持DAG描述的流式作業(yè)/Queue-Worker模型作業(yè) 具備Transaction屬性，保證計算數(shù)據(jù)的不重不丟 基于增量/小批量的計算模式與底層架構(gòu) Streaming模式支持多語言擴展實時計算平臺實時計算平臺2 機群規(guī)模：500+ - 1000 支持千級worker并發(fā)，百級業(yè)務(wù)流并發(fā) 多級Master架構(gòu)設(shè)計 控制流與數(shù)據(jù)流分離 統(tǒng)一資源層大綱1. 我們現(xiàn)在的計算平臺2. 我們平臺上的業(yè)務(wù)3. 我們將來要做的工作實時計算平臺實時計算平臺1 廣

3、告計算平臺廣告計算平臺 主要需求： 真正的實時需求 ：百毫秒級別的延遲指標(biāo) 靈活的拓?fù)渥兓盒略鲇脩魯?shù)據(jù)業(yè)務(wù)流，支持各種策略實驗 高穩(wěn)定性：跨機房故障時，優(yōu)雅的服務(wù)降級實時計算平臺實時計算平臺1 檢索端更新數(shù)據(jù)流檢索端更新數(shù)據(jù)流 主要需求： 真正的在線需求 ：在線調(diào)整與升級，穩(wěn)定 靈活的拓?fù)渥兓盒略鲇脩魯?shù)據(jù)業(yè)務(wù)流，支持各種策略實驗 數(shù)據(jù)流頻繁調(diào)整：分流，備份實時計算平臺實時計算平臺2 離線離線/ /在線云視頻轉(zhuǎn)碼需求在線云視頻轉(zhuǎn)碼需求 主要需求： 視頻分段并行轉(zhuǎn)碼； 潛在資源需求量大，短期無預(yù)算 上線規(guī)模：worker并發(fā)數(shù)k級別 業(yè)務(wù)收益：提升時效性，利用空閑資源實時計算平臺實時計算平臺2 業(yè)務(wù)日志后端計算業(yè)務(wù)日志后端計算 主要需求： 分析前端Server日志，計算統(tǒng)計報表，精確 計算步驟較多：流式j(luò)oin，filter，aggregation，入庫 業(yè)務(wù)收益：提升報表時效性（5hour+ - 30min-）大綱1. 我們現(xiàn)在的計算平臺2.