云計算極限班視頻-10.29騰訊公開課storm-尚學堂

天貓雙十一大屏幕天貓雙十一大屏幕講課內容實時(流式)計算？公司里為什么需要實時計算？哪些技術支持實時計算？Storm？解決了哪些問題？Storm架構是什么？如何搭建Storm？運行樣例程序剖析API中國移動項目展示實時(流式)計算？實時(流式)計算？信息時效性的要求越來越高，隨著時間的流逝，數據也在流逝目標是隨著數據流的實時到達，實時處理、計算、查詢Kafka/Flume/Scribe/TimeTunnel/ChukwaStorm/Spark/Samza/S4/Puma/JStormRedis/Memcache/MongoDB/BerkeleyDB/HBase公司里為什么需要實時計算？在數據持久性建模不滿足現狀的情況下，急需數據流的瞬時建模或計算處理應用實例有金融服務、網絡

、電信數據管理、Web應用、生產制造、傳感檢測等對于大型互聯網

來說具有重大實際意義，實時的數據計算和分析可以動態(tài)實時地刷新用戶

數據，展示

實時流量的變化情況，例如

的

PV/UV、用戶

的內容、搜索的內容、頁面服務的質量、帶寬使用情況等天貓雙十一大屏幕騰訊人數統(tǒng)計遷徙項目哪些技術支持實時計算？Storm哪些技術支持實時計算？Spark哪些技術支持實時計算？Samza哪些技術支持實時計算？哪些技術支持實時計算？Storm？Storm是實時流計算的一員，具備了與HadoopMapReduce不同角色的能力—低延遲、高可靠性和容錯2011年由

開源，使用Clojure語言實現的。Lisp，JVM支持多語言Storm保證每個消息都會得到很快處理，一個小集群中，每秒可以處理數以百計的消息Storm的處理速度非常驚人：經測試，每個節(jié)點每秒可以處理100萬個數據元組解決了哪些問題？互聯網

實時流量統(tǒng)計互聯網數據質量實時交通超速頻發(fā)路段交通基于GPS的實時路況分析移動互聯語音實時墻運營商網絡流量流向實時分析中國移動小區(qū)Storm架構是什么？Storm架構是什么？如何搭建Storm？環(huán)境準備(JDK,SSH服務,Python,ZK)單機./bin/storm

dev-zookeeper

>>

./logs/zk.out

2>&1&./bin/storm

nimbus

>>

./logs/nimbus.out

2>&1

&./bin/storm

ui>>

./logs/ui.out

2>&1

&./bin/storm

supervisor

>>

./logs/supervisor.out

2>&1

&./bin/storm

logviewer

>>

./logs/logviewer.out

2>&1

&驗證：

，運行wordcount

example如何搭建Storm？ls

examples/storm-starterjar

tvf

examples/storm-starter/storm-starter-topologies-0.9.5.jar

|

grepWordCount下面

來提交這個topology./bin/storm

jar

examples/storm-starter/storm-starter-topologies-0.9.5.jarstorm.starter.WordCountTopology

wordcount如何搭建Storm？分布式分發(fā)Storm到所有nimbus/supervisor服務器conf/storm.yamlstorm.zookeeper.servers:-

"spark001"-

"spark002"-

"spark003"nimbus.host:

"spark001"運行樣例程序./bin/storm

jar

examples/storm-starter/storm-starter-topologies-0.9.5.jarstorm.starter.WordCountTopology

wordcount剖析APISpout

/

Bolt中國移動項目展示kafka(移動的程控交換機獲取數據)storm（實時計算）hbase+zookeeper（數據

）servlet+ehcart(數據展示)get

'cell_monitor_table','29448-0000