_20200914_105905bookjstorm流式計算小談

1、CompanyLOGO流式計算小談紀君祥（封仲淹）大綱alipay概念問題與癥結(jié)趨勢封仲淹（Longda Feng）流式計算定義alipayv 基于下圖的分布式流水線的計算方式，類似隨著對計算能力不斷追求，程序從過去的單機流水線轉(zhuǎn)向分布式流水線封仲淹（Longda Feng）VS hadoop mapredalipayv 區(qū)別： 7 X 24 小時 流計算計算單元之間數(shù)據(jù)是小的，而mapreduce 單元之間數(shù)據(jù)是大的數(shù)據(jù)塊未來流計算編程模型與hadoop的mapred肯定都會相互滲透，相互融合。因為計算方式未來的趨勢都是分布式流水線封仲淹（Longda Feng）VS 實時計算alipayv

2、 流式計算 是一種編程模型v 實時計算 是一種對數(shù)據(jù)時效的要求兩者是在不同的維度，但流式計算常用于實時計算封仲淹（Longda Feng）VS Alipay sofaalipayv Sofa 其實不適合做架非常重復雜計算，因為框v Storm 計算單元非常輕量， 內(nèi)核實際上就3 個線程，一個發(fā)送，一個接受，一個執(zhí)行。v 通訊協(xié)議：sofa 走rpc，storm走zeromq。一臺物理機可以運行20個甚至30個storm slot，但無法運行20個sofa程序封仲淹（Longda Feng）問題與癥結(jié)alipayv 需求與開發(fā)資源完全不對稱，期待一種快速解決需求的平臺或工具v 流計算（比如sto

3、rm）只不過是一個計算引擎，還是很單薄，需要一個完整的平臺。封仲淹（Longda Feng）需求的分類alipayv 無狀態(tài)數(shù)據(jù) 直接對本數(shù)據(jù)流計算即可得到結(jié)果，不需要依賴外部數(shù)據(jù)流或外部大數(shù)據(jù)。v 有狀態(tài)數(shù)據(jù) 依賴外部數(shù)據(jù)流或外部大數(shù)據(jù)不同的數(shù)據(jù)類型，帶來計算復雜性的質(zhì)變封仲淹（Longda Feng）無狀態(tài)計算趨勢alipayv 固定的計算因子，count/sum/filter/replace/serialize/deserialize/group by/。用戶通過一個工具或者網(wǎng)頁，對數(shù)據(jù)流配置輸入、輸出、計算因子， 最終結(jié)果就輸向指定的地方（如數(shù)據(jù)庫或hadoop）封仲淹（Longda Feng）有狀態(tài)計算alipayv 類似于hive，以一種類似SQL的方式來解決需求v 依附于海量存儲，或海量數(shù)據(jù)庫。v 包容有狀態(tài)計算CDO 的galaxy正在朝這個方向封仲淹（Longda Feng）未來可能alipay自編程Command/web UI流式計算平臺Meta/ttDB/ HB