module14streaming實時計算技術(shù)及應用02安裝部署

修訂記錄建議直接將本膠片另存，然后在此膠片的基礎(chǔ)上進行編輯。本部分包含：培訓目標、目錄、習題、總結(jié)、問題等模板。參考IT解決方案產(chǎn)品培訓課程開發(fā)內(nèi)容要素，按照模塊開發(fā)。課程編碼適用產(chǎn)品產(chǎn)品版本課程版本ISSUEH13-711FusionInsightHDV100R002C60V1.0開發(fā)/優(yōu)化者時間審核人開發(fā)類型（新開發(fā)/優(yōu)化）汝佳

003147352016年6月高冬冬wx321719新開發(fā)本頁不打印Streaming安裝部署學完本課程后，您將能夠:掌握Streaming組件安裝部署掌握Streaming基本配置部署規(guī)劃部署方法組件配置健康檢查關(guān)鍵指標部署規(guī)劃約束項描述OSSUSE11SP3(推薦)/SP1/SP2forAMD64&Intel64RedHat-6.4(推薦)/6.5/6.6-x86_64CentOS-6.4/6.5/6.6瀏覽器建議使用InternetExplorer9標準模式或GoogleChrome21及以上版本。帶寬建議采用10GE網(wǎng)絡。IP規(guī)劃當采用雙平面隔離組網(wǎng)時，集群中每個節(jié)點有兩個IP地址，包括業(yè)務平面IP地址和管理平面IP地址；單平面不區(qū)分管理和業(yè)務平面，使用同一個IP地址。硬盤分區(qū)規(guī)則當集群節(jié)點規(guī)模較小時（如小于30節(jié)點），控制節(jié)點的IO負載一般不高，控制節(jié)點的元數(shù)據(jù)可采用共盤分區(qū)的模式；節(jié)點規(guī)格較大(大于30節(jié)點)建議采用分盤的模式。依賴的服務Zookeeper。最小安裝Streaming實例節(jié)點Nimbus需要有主備2臺節(jié)點。部署原則和約束場景描述：管理節(jié)點&控制節(jié)點&數(shù)據(jù)節(jié)點合一。部署要點：管理節(jié)點&控制節(jié)點&數(shù)據(jù)節(jié)點部署在同一節(jié)點上。適用場景：節(jié)點數(shù)小于30的集群。對應LLD配置規(guī)劃工具的套餐3：在配置規(guī)劃工具中的“基礎(chǔ)配置”TAB頁配置套餐(*)選項選擇“套餐3：OMS&Mgt&Data”套餐描述：管理節(jié)點、控制節(jié)點、數(shù)據(jù)節(jié)點合設(shè)（如果硬盤數(shù)不夠，選擇此套餐進行并區(qū)。）部署原則和約束場景描述：管理節(jié)點&控制節(jié)點合一，數(shù)據(jù)節(jié)點分離。部署要點：管理節(jié)點&控制節(jié)點合一，數(shù)據(jù)節(jié)點分離。適用場景：節(jié)點數(shù)小于200節(jié)點的集群。對應LLD配置規(guī)劃工具的套餐1：在配置規(guī)劃工具中的“基礎(chǔ)配置”TAB頁配置套餐(*)選項選擇“套餐1：OMS&Mgt、Data”。套餐描述：管理節(jié)點和控制節(jié)點合設(shè)，數(shù)據(jù)節(jié)點分設(shè)。部署原則和約束場景描述：管理節(jié)點、控制節(jié)點、數(shù)據(jù)節(jié)點分離。部署要點：管理節(jié)點、控制節(jié)點、數(shù)據(jù)節(jié)點分離部署。適用場景：節(jié)點數(shù)大于200節(jié)點的集群。對應LLD配置規(guī)劃工具的套餐2：在配置規(guī)劃工具中的“基礎(chǔ)配置”TAB頁配置套餐(*)選項選擇“套餐2：OMS、Mgt、Data”。套餐描述：管理節(jié)點、控制節(jié)點、數(shù)據(jù)節(jié)點分設(shè)。磁盤規(guī)劃目錄是否單獨分區(qū)所在節(jié)點用途/{數(shù)據(jù)目錄}/streaming是控制節(jié)點（CN）存放Nimbus的元數(shù)據(jù)/{數(shù)據(jù)目錄}/streaming_data是數(shù)據(jù)節(jié)點（DN）存放Supervisor和Worker的數(shù)據(jù)用戶可自定義集群數(shù)據(jù)目錄部署規(guī)劃部署方法新建部署減容部署擴容部署組件參數(shù)配置健康檢查關(guān)鍵指標新建部署安裝集群時安裝Streaming服務模板自動化安裝集群：可使用LLD工具生成的安裝模板，可以自動填寫安裝時所需的各項參數(shù)，推薦使用。手動安裝集群：在界面上手工填寫各項參數(shù)，不推薦使用。安裝集群后添加Streaming服務集群安裝后，通過添加服務方式，安裝Streaming服務。新建部署-模板自動化安裝集群1、進入安裝頁面，選擇“模板安裝”，導入準備好的安裝模板，點擊“確定”。新建部署-模板自動化安裝集群2、系統(tǒng)自動跳轉(zhuǎn)至確認頁面，該頁面包含安裝模板中填寫的相關(guān)信息。新建部署-模板自動化安裝集群3、如果確認無誤，則點擊“提交”按鍵進行提交；如果發(fā)現(xiàn)配置規(guī)劃數(shù)據(jù)有誤，可點擊“上一步”按鍵回到各配置項檢查或更改參數(shù)值。新建部署-模板自動化安裝集群4、安裝等待：提交集群安裝請求后，界面顯示安裝集群進度，全部步驟完成后點擊“完成”按鍵。新建部署-手動安裝集群1、進入安裝頁面，選擇“手動安裝”，點擊“確定”。新建部署-手動安裝集群2、填寫集群基本信息填寫集群名稱，選擇集群版本和安全模式，點擊“下一步”按鍵進入下一頁面。新建部署-手動安裝集群3、發(fā)現(xiàn)節(jié)點輸入主機信息以及主機root用戶密碼，然后點擊“查找主機”，選擇發(fā)現(xiàn)成功的節(jié)點，點擊“下一步”進入下一頁面。新建部署-手動安裝集群4、選擇安裝節(jié)點與設(shè)置機架根據(jù)需要選擇節(jié)點并為其設(shè)置機架信息，支持單獨設(shè)置和統(tǒng)一設(shè)置。完成設(shè)置后，點擊“下一步”進入服務選擇頁面。新建部署-手動安裝集群5、選擇安裝服務根據(jù)業(yè)務需要選擇待安裝的服務，當選擇Streaming服務時，系統(tǒng)會自動為其選擇依賴的Zookeeper服務。新建部署-手動安裝集群6、拓撲設(shè)置根據(jù)規(guī)劃，將組件部署到指定節(jié)點上。完成設(shè)置后點擊“下一步”進入服務拓撲頁面。新建部署-手動安裝集群7、安裝配置配置必須要設(shè)置的配置項，完成設(shè)置后點擊“下一步”進入服務拓撲頁面。8、提交安裝完成配置操作后，進入確認頁面，確認頁面包含前面步驟的概要信息。確認后點擊“提交”按鍵進行提交。新建部署-手動安裝集群9、安裝等待提交集群安裝請求后，界面顯示安裝集群進度，全部步驟完成后點擊“完成”安裝。新建部署-添加服務1、在安裝好的集群管理界面中，選擇“服務管理”頁簽，點擊“添加服務”。新建部署-添加服務2、選擇“僅添加服務”，表示僅添加新的服務，不涉及增加節(jié)點，完成后點擊“下一步”進入服務選擇頁面。新建部署-添加服務3、選擇Streaming服務，如果沒有安裝依賴的Zookeeper服務，會自動連動選擇Zookeeper服務，點擊“下一步”進入角色分配頁面。新建部署-添加服務4、根據(jù)規(guī)劃，選擇Streaming各角色實例的安裝，完成后點擊“下一步”進行服務配置頁面。5、配置Streaming必須要設(shè)置的配置項，完成設(shè)置后點擊“下一步”進入配置確認頁面。當配置確認無誤后，點擊“提交”按鍵進行提交。6、安裝等待：提交Streaming服務安裝請求后，界面顯示安裝服務進度，全部步驟完成后點擊“完成”安裝。部署規(guī)劃部署方法新建部署減容部署擴容部署組件參數(shù)配置健康檢查關(guān)鍵指標減容部署1、在安裝了Streaming服務的集群管理界面，進入“服務管理”界面，點擊Streaming服務，進入Streaming服務界面。減容部署2、在Streaming服務界面，點擊“實例”頁簽，進入Streaming角色的實例界面。減容部署3、在Streaming實例界面，選擇待減容的實例，點擊“更多操作”中的“刪除實例”操作。減容部署4、在確認管理員權(quán)限，并勾選了解減容相關(guān)影響提示，且勾選刪除與Supervisor相關(guān)聯(lián)的Logviewer實例后，點擊“確定”按鈕，開始進行實例刪除。減容部署5、刪除等待：確認Streaming實例刪除操作請求后，界面顯示刪除實例進度，全部步驟完成后點擊“完成”按鍵。部署規(guī)劃部署方法新建部署減容部署擴容部署組件參數(shù)配置健康檢查關(guān)鍵指標擴容部署當Streaming服務當前計算能力無法滿足業(yè)務需求時，需要對服務進行擴容。擴容方式：如果集群內(nèi)仍有部分節(jié)點未安裝Supervisor，且這些節(jié)點可允許安裝Supervisor實例，可直接在這些節(jié)點上添加Supervisor實例完成擴容。節(jié)點擴容后在新增節(jié)點上添加Supervisor實例。擴容部署1、點擊“服務管理->Streaming->實例”，進入Streaming實例界面，點擊“添加實例”操作。2、根據(jù)擴容規(guī)劃，配置需要擴容服務的參數(shù)。單擊“下一步”。擴容部署3、根據(jù)擴容規(guī)劃，配置需擴容服務的參數(shù)。單擊“下一步”，對照擴容規(guī)劃內(nèi)容，確認信息無誤，單擊“提交”。并等待實例擴容完成。部署規(guī)劃部署方法組件參數(shù)配置常用參數(shù)說明及配置建議監(jiān)控告警配置健康檢查關(guān)鍵指標常用參數(shù)說明及配置建議配置項描述配置建議supervisor.slots.portsSupervisor支持的可運行Worker的slot端口列表。根據(jù)業(yè)務規(guī)劃，總數(shù)不超過節(jié)點核數(shù)。WORKER_GC_OPTSWorker啟動時的JVMGC參數(shù)。根據(jù)業(yè)務對內(nèi)存的要求設(shè)置，避免出現(xiàn)OOM現(xiàn)象。topology.max.spout.pending一個spouttask中處于pending狀態(tài)的最大的tuples數(shù)量.該配置應用于單個task,而不是整個spouts或topology。用于使用ACK機制時進行流控，過大的值導致較多的消息failed。topology.message.timeout.secstopology中spout發(fā)送消息的最大處理超時時間。如果一條消息在該時間窗口內(nèi)未被成功ack,Storm會告知spout這條消息失敗。根據(jù)業(yè)務實測的情況設(shè)置，如果設(shè)置得太小可能會導致tuple反復重新發(fā)送。部署規(guī)劃部署方法組件參數(shù)配置常用參數(shù)說明及配置建議監(jiān)控告警配置健康檢查關(guān)鍵指標監(jiān)控告警配置配置項描述告警說明空閑Slot數(shù)統(tǒng)計周期內(nèi)集群中可用的slot數(shù)目。該數(shù)值為0，則無法給新提交的任務分配worker，產(chǎn)生告警。Slot總數(shù)統(tǒng)計周期內(nèi)集群中所有的slot數(shù)目。Slot使用率統(tǒng)計周期內(nèi)集群中可用的slot使用率。當Slot使用率高于閾值（80%）時產(chǎn)生告警。Supervisor數(shù)統(tǒng)計周期內(nèi)集群中可用的Supervisor數(shù)目。如果該數(shù)值為0，則表示當前沒有可用的工作節(jié)點，產(chǎn)生告警。拓撲數(shù)正在運行的任務數(shù)，該數(shù)量說明Storm集群中用戶提交的任務總數(shù)。NimbusCPU統(tǒng)計Nimbus使用的CPU數(shù)。Nimbus內(nèi)存統(tǒng)計Nimbus使用的內(nèi)存大小。SupervisorCPU統(tǒng)計Supervisor使用的CPU數(shù)。Supervisor內(nèi)存統(tǒng)計Supervisor使用的內(nèi)存大小。部署規(guī)劃部署方法組件參數(shù)配置健康檢查關(guān)鍵指標健康檢查關(guān)鍵指標配置項描述空閑Slot數(shù)空閑Slot數(shù)>1工作節(jié)點數(shù)工作節(jié)點數(shù)>1執(zhí)行stormlist命令stormlist命令執(zhí)行正確本章介紹了Streaming的安裝部署規(guī)則和方法，以及組件關(guān)鍵參數(shù)