實(shí)例講解grouping策略及并發(fā)度

Storm流計(jì)算從入門到精通—技術(shù)篇講師：Cloudy（北風(fēng)網(wǎng)版權(quán)所有)7、實(shí)例講解Grouping策略及并發(fā)度讀文件案例的問題思考Spout數(shù)據(jù)源：Message

queueMQ、Db、文件直接流數(shù)據(jù)源：MQ從db只能讀配置文件Log文件增量數(shù)據(jù)：1、讀出內(nèi)容寫入MQ，2、Storm處理

Spout讀文件：學(xué)習(xí)用，其他無用讀文件：1、分布式應(yīng)用無法讀；2、spout開并發(fā)會(huì)重復(fù)讀stream

grouping就是用來定義一個(gè)stream應(yīng)該如果分配給Bolts上面的多個(gè)Executors(多線程，并發(fā)度)注：不是一個(gè)spout或bolt

emit到多個(gè)bolt（廣播方式）。storm里面有6種類型的stream

grouping。單線程下均等同于All

GroupingShuffle

Grouping輪詢，平均分配。隨機(jī)派發(fā)stream里面的tuple，保證每個(gè)bolt接收到的tuple數(shù)目相同。Non

Grouping:無分組，這種分組和Shuffle

grouping是一樣的效果，多線程下不平均分配。Fields

Grouping：按Field分組，比如按word來分組，具有同樣word的tuple會(huì)被分到相同的Bolts，而不同的word則會(huì)被分配到不同的Bolts。作用：1、過濾，從源端（Spout或上一級(jí)Bolt）多輸出Fields中選擇某些Field2、相同的tuple會(huì)分發(fā)給同一個(gè)Executer或task處理典型場(chǎng)景：去重操作、JoinStream

grouping

策略All

Grouping：廣播發(fā)送，對(duì)于每一個(gè)tuple，所有的Bolts都會(huì)收到。Global

Grouping:

全局分組，這個(gè)tuple被分配到storm中的一個(gè)bolt的其中一個(gè)task。再具體一點(diǎn)就是分配給id值最低的那個(gè)task。適合場(chǎng)景：想象不到。Direct

Grouping:

直接分組，這是一種比較特別的分組方法，用這種分組意味著消息的發(fā)送者決定由消息接收者的哪個(gè)task處理這個(gè)消息。只有被聲明為DirectStream的消息流可以聲明這種分組方法。而且這種消息tuple必須使用emitDirect方法來發(fā)射。消息處理者可以通過TopologyContext來或者處理它的消息的taskid(OutputCollector.emit方法也會(huì)返回taskid)Stream

grouping

策略并發(fā)度場(chǎng)景分析：單線程下：加減乘除，和任何處理類Operate，匯總多線程下：1、局部加減乘除2、做處理類Operate，如split3、持久化，如入DB以WordCountTopology.java

為例講解？并且在高并發(fā)下完成思考題：如何計(jì)算