cloudystorm企業(yè)項目實戰(zhàn)代碼40.jstorm介紹-官方

1、JStorm 介紹封仲淹(Longda)封仲淹（Longda Feng）Alibaba大綱Question and Answer.特性JStorm概敘 & 流式計算JStorm vs Storm現(xiàn)狀自我介紹JStorm團隊 是國內(nèi)最早開始使用storm的團隊歷經(jīng)storm 0.5.1/0.5.4/0.6.0/0.6.2/0.7.0/0.7.1JStorm 0.7.1/0.9.0/0.9.1/0.9.2/0.9.3一條龍服務(wù)應(yīng)用開發(fā)平臺開發(fā)系統(tǒng)運維封仲淹（Longda Feng）AlibabaJStorm 現(xiàn)狀A(yù)li 內(nèi)部超過600臺日超過1萬億條封仲淹（Longda Feng）AlibabaJ

2、Storm 是什么JStorm 是一個分布式實時計算引擎類似Hadoop MR用戶按照規(guī)定的編程規(guī)范實現(xiàn)一個任務(wù)，將任務(wù)放到JStorm上，JStorm就將任務(wù)7 * 24 小時調(diào)度起來JStorm 比Storm 更穩(wěn)定，功能更強大，更快。Storm上跑的程序可以一行代碼不變運行在JStorm上封仲淹（Longda Feng）Alibaba流式計算特點基于消息的流水線處理系統(tǒng)封仲淹（Longda Feng）Alibaba優(yōu)點1開發(fā)非常迅速， 容易上手，只要遵守Topology，Spout， Bolt的編程規(guī)范即可開發(fā)出一個擴展性極好的應(yīng)用，底層rpc，worker之間冗余，數(shù)據(jù)分流之類的操作，

3、開發(fā)者完全不用考慮。封仲淹（Longda Feng）Alibaba優(yōu)點2擴展性極好 當(dāng)一級處理單元速度，直接配置一下并發(fā)數(shù)，即可線性擴展性能封仲淹（Longda Feng）Alibaba優(yōu)點3健壯當(dāng)worker失效或機器出現(xiàn)故障時， 自動分配新的worker替換失效worker調(diào)度器Nimbus 采用主從備份，支持熱切封仲淹（Longda Feng）Alibaba優(yōu)點4準(zhǔn)確采用Acker機制，保證數(shù)據(jù)不丟失。采用事務(wù)機制，保證數(shù)據(jù)準(zhǔn)確性封仲淹（Longda Feng）Alibaba適用場景適合無狀態(tài)計算處理單元處理的數(shù)據(jù)均來自input Tuple，不含有額外依賴數(shù)據(jù)。場景：日志分析管道系統(tǒng)消

4、息轉(zhuǎn)化器統(tǒng)計分析器封仲淹（Longda Feng）Alibaba封仲淹（Longda Feng）Alibaba為什么啟動JStorm項目阿里擁有自己的實時計算引擎類似于hadoop 中的MR開源storm響應(yīng)太慢開源社區(qū)的速度完全跟不上Ali的需求降低未來運維成本提供更多技術(shù)支持，加快內(nèi)部業(yè)務(wù)響應(yīng)速度為什么啟動JStorm項目現(xiàn)有Storm無法滿足一些需求現(xiàn)有storm調(diào)度太簡單粗暴，無法定制化Storm 任務(wù)分配不平衡RPC OOM一直沒有解決監(jiān)控太簡單對ZK 訪問頻繁。封仲淹（Longda Feng）Alibaba更穩(wěn)定（1） - nimbus HANimbus 實現(xiàn)HA當(dāng)一臺nimbus

5、掛了，自動熱切到備份nimbus封仲淹（Longda Feng）Alibaba更穩(wěn)定（2） - 解決RPC問題原生Storm RPCZeromq 使用堆外內(nèi)存，導(dǎo)致OS 內(nèi)存不夠Netty 導(dǎo)致OOM(老版本)JStorm底層RPC 采用netty + 檢查機制基本保證發(fā)送速度和接受速度是匹配的封仲淹（Longda Feng）Alibaba更穩(wěn)定（3）- 數(shù)據(jù)流穩(wěn)定現(xiàn)有Storm（0.9.0 已經(jīng)fix）添加supervisor時， 會觸發(fā)任務(wù)rebalanceSupervisor shutdown時， 觸發(fā)任務(wù)rebalance提交新任務(wù)時，當(dāng)worker數(shù)不夠時，觸發(fā)其他任務(wù)做rebala

6、nce上敘問題不會在JStorm中發(fā)生封仲淹（Longda Feng）Alibaba更穩(wěn)定（4） 任務(wù)之間影響小新上線的任務(wù)不會沖擊老的任務(wù)采用cgroups對資源進行硬隔離，保證程序之間CPU不發(fā)生搶占封仲淹（Longda Feng）Alibaba解決Disruptor急劇消耗CPU問題當(dāng)原生Disruptor隊列慢時， 生產(chǎn)方會不斷輪詢檢查Disruptor隊列是否有空的slot， 極大消耗隊列Cpu利用率從300%降到10%封仲淹（Longda Feng）Alibaba更穩(wěn)定（5）優(yōu)化GC， 減少因GC 導(dǎo)致誤認worker死掉Storm經(jīng)常殺死worker不徹底，導(dǎo)致后續(xù)無法啟動wor

7、ker同一臺機器上只啟動一個supervisor/nimbus，避免運維誤操作導(dǎo)致丟失大量任務(wù)減少netty不斷重連，占用太多的臨時端口。封仲淹（Longda Feng）Alibaba穩(wěn)定性（6） - 支持用戶級報警 和alimonitor結(jié)合支持用戶自定義監(jiān)控和報警 （0.9.6）各種維度采樣單worker內(nèi)部支持70多個維度的采樣，全方位展示各種數(shù)據(jù)，幫助快速查找錯誤封仲淹（Longda Feng）Alibaba更穩(wěn)定（7） - more catchSupervisor主線程Spout/Bolt 的open/prepare所有IO, 序列化，反序列化封仲淹（Longda Feng）Alib

8、aba更穩(wěn)定（8）減少對ZK的訪問量：去掉大量無用的watchtask的心跳時間延長一倍Task心跳檢測無需全ZK掃描封仲淹（Longda Feng）Alibaba調(diào)度更強大（1）徹底解決了storm 任務(wù)分配不均衡問題從4個維度進行任務(wù)分配：CPUMemoryDiskNet封仲淹（Longda Feng）Alibaba調(diào)度更強大（2）默認一個task，一個cpu slot當(dāng)task消耗更多的cpu時，可以申請更多cpu slot。申請的cpu slot多，就獲取更多的cpu資源需求：解決新上線的任務(wù)去搶占老任務(wù)的cpu。一淘有些task內(nèi)部起很多線程，單task消耗太多cpu封仲淹（Long

9、da Feng）Alibaba調(diào)度更強大（3）默認一個task，一個memory slot當(dāng)task需要更多內(nèi)存時，可以申請更多內(nèi)存slot需求：在海狗項目中，solr task 需要8G內(nèi)存，而且其他任務(wù)2G 就夠了封仲淹（Longda Feng）Alibaba調(diào)度更強大（4）在資源平衡算法的前提下盡量保證上下游關(guān)系的task在同一個worker盡量走內(nèi)部通道，提高性能封仲淹（Longda Feng）Alibaba調(diào)度更強大（5）可以強制某個component的task 運行在不同的節(jié)點上需求：聚石塔，海狗項目，某些task提供web service服務(wù)，為了端口不沖突，因此必須強制這些ta

10、sk運行在不同節(jié)點上封仲淹（Longda Feng）Alibaba調(diào)度更強大（6）可以強制topology運行在單獨一個節(jié)點上需求：節(jié)省網(wǎng)絡(luò)帶寬Tlog中大量小topology，為了減少網(wǎng)絡(luò)開銷，強制任務(wù)分配到一個節(jié)點上封仲淹（Longda Feng）Alibaba調(diào)度更強大（7）可以自定義任務(wù)分配提前預(yù)約任務(wù)分配到哪臺機器上，哪個端口，多少個cpu slot，多少內(nèi)存，是否申請磁盤需求：海狗項目中，部分task期望分配到某些節(jié)點上封仲淹（Longda Feng）Alibaba調(diào)度更加強大（8）可以預(yù)約上一次成功運行時的任務(wù)分配上次task分配了什么資源，這次還是使用這些資源需求：CDO 很多

11、任務(wù)期待重啟后，仍使用老的節(jié)點，端口封仲淹（Longda Feng）Alibaba插件化可以運行在飛天上可以運行在Hadoop 2.0（yarn）上可以運行在公司彈性計算平臺上封仲淹（Longda Feng）Alibaba資源隔離不同部門，使用不同的組名每個組有自己的Quato（0.9.5 以下版本）不同組的資源隔離采用cgroups 硬隔離封仲淹（Longda Feng）Alibabaclassloader解決應(yīng)用的類和JStorm的類發(fā)生沖突應(yīng)用的類在自己的類空間中需求：Log4j， Logbak沖突當(dāng)應(yīng)用訪問Hive時，使用thrift9， 與JStorm thrift7沖突如果使用hs

12、f，肯定會發(fā)生類沖突封仲淹（Longda Feng）Alibaba更方便的UI人性化的LogView， 看日志更方便更簡潔直觀的UI解決了storm 統(tǒng)計小粒度誤差問題展示更關(guān)鍵的QPS封仲淹（Longda Feng）AlibabaTask 內(nèi)部異步化Worker 內(nèi)部全流水線模式Spout nextTuple和ack/fail運行在不同線程需求：EagleEye中，在nextTuple 做sleep和wait操作不會block ack/fail 動作封仲淹（Longda Feng）AlibabaLibjar可以無需上傳支持命令讀取配置文件，無需編碼讀取配置依賴包可以不打入應(yīng)用jar， 減少大

13、量上傳下載的時間支持應(yīng)用指定worker.classpath封仲淹（Longda Feng）Alibaba強大的監(jiān)控Web ui 上展示更多的監(jiān)控Task 級別，每一個模塊消耗時間，隊列長度Worker級別， 每一個模塊消耗時間，隊列長度， cpu/mem使用，網(wǎng)絡(luò)時延用戶自定義監(jiān)控數(shù)據(jù)更多監(jiān)控和Alimonitor無縫結(jié)合，讓用戶自定義報警封仲淹（Longda Feng）Alibaba性能對比 快20%以上5臺物理機18spout/18bolt/18acker封仲淹（Longda Feng）AlibabaJstorm 性能 發(fā)送41W QPS 封仲淹（Longda Feng）AlibabaStorm 性能 發(fā)送20W QPS封仲淹（Longda Feng）Alibaba為什么更快Zeromq 減少一次內(nèi)存拷貝增加反序列化線程重寫采樣代碼，大幅減少采樣影響優(yōu)化ack代碼優(yōu)化緩沖map性能對GC做了特別優(yōu)化 Java 比clojure更底層封仲淹（Longda Feng）Alibaba其他優(yōu)化超過100多項優(yōu)化 自動清理殘留的worker任務(wù)分配算法單線程執(zhí)行，避免同一slot被分配不通worker被r