HDS統(tǒng)一計(jì)算平臺(tái)的大數(shù)據(jù)解決方案

1、HDS 統(tǒng)一計(jì)算平臺(tái)的大數(shù)據(jù)解決方案HDS channel enablement TeamCicean Wang議程什么是大大數(shù)據(jù)？HDS和大數(shù)據(jù)據(jù)大數(shù)據(jù)應(yīng)用案例例大數(shù)據(jù)成功功案例什么是大大數(shù)據(jù)？它真正的的含義是是什么？大數(shù)據(jù)及大大數(shù)據(jù)時(shí)時(shí)代“數(shù)據(jù)，已經(jīng)滲透到當(dāng)當(dāng)今每一一個(gè)行業(yè)業(yè)和業(yè)務(wù)務(wù)職能領(lǐng)領(lǐng)域，成成為重要要的生產(chǎn)產(chǎn)因素。人們對對于海量量數(shù)據(jù)的的挖掘和和運(yùn)用，預(yù)示著著新一波波生產(chǎn)力增增長和消費(fèi)者者盈余浪浪潮的到到來”麥肯錫您將會(huì)面面對的是是16.4ExabytesIn201035ZxabytesIn2020IDC做出估算算30倍這不是簡單單的數(shù)據(jù)據(jù)增多的的問題而是全新的問問題大數(shù)據(jù)的的定義（

2、4V）海量（Volume）多樣（Variety）快速（Velocity）價(jià)值（Value）3億用戶，每天上上億條微微博中型城市每月月數(shù)十億億智能電電表數(shù)據(jù)據(jù)2015年全球移移動(dòng)終端端產(chǎn)生的的數(shù)據(jù)量量6300PB衛(wèi)星圖像像個(gè)人信息息M2M日志文件件傳感圖像像視頻音頻非結(jié)構(gòu)化化數(shù)據(jù)將將占到75%-85%增長速度度快用戶基數(shù)龐大設(shè)備數(shù)量眾多實(shí)時(shí)海量量數(shù)據(jù)數(shù)據(jù)指數(shù)級別別增長單條數(shù)據(jù)并無無太多價(jià)價(jià)值，但但龐大的的數(shù)據(jù)量量蘊(yùn)含巨巨大財(cái)富富存儲(chǔ)理解控制大數(shù)據(jù)最最終的目目的大數(shù)據(jù)可可以從根根本上提提高洞察察力獲得洞察察力！跨越鴻溝輸入數(shù)據(jù)$提高收益$提高投資回報(bào)率擴(kuò)大客戶數(shù)量大數(shù)據(jù)分分析處理理的最終終目標(biāo)！從

3、復(fù)雜的數(shù)數(shù)據(jù)集合合中發(fā)現(xiàn)現(xiàn)新的關(guān)關(guān)聯(lián)規(guī)則則，繼而進(jìn)行深度度挖掘，得到有有效用的的新信息息大數(shù)據(jù)-第三次浪浪潮的華華彩樂章章2012年3月份美國國奧巴馬馬政府發(fā)發(fā)布了大數(shù)據(jù)研研究和發(fā)發(fā)展倡議議(BigDataResearchandDevelopmentInitiative)，投資2億以上美美元，正正式啟動(dòng)動(dòng)“大數(shù)數(shù)據(jù)發(fā)展展計(jì)劃”。計(jì)劃在科科學(xué)研究究、環(huán)境境、生物物醫(yī)學(xué)等等領(lǐng)域利利用大數(shù)數(shù)據(jù)技術(shù)術(shù)進(jìn)行突突破。奧奧巴馬政政府的這這一計(jì)劃劃被視為為美國政政府繼信信息高速速公路(InformationHighway)計(jì)劃之后后在信息息科學(xué)領(lǐng)領(lǐng)域的又又一重大大舉措。與2013年12月 貫徹徹落實(shí)廣東省信信

4、息化發(fā)發(fā)展規(guī)劃劃綱要（2013-2020年），加快物物聯(lián)網(wǎng)、云計(jì)算算、大數(shù)數(shù)據(jù)等新新一代信信息技術(shù)術(shù)創(chuàng)新應(yīng)應(yīng)用，推推進(jìn)我省省智慧城城市建設(shè)設(shè)，打造造珠三角角世界級級智慧城城市群，全面提提升全省省信息化化發(fā)展水平平。廣東省委委副書記記朱小丹廣東省經(jīng)經(jīng)濟(jì)和信信息化委委員會(huì)副副主任，黨組副副書記鄒鄒生我們?yōu)槭彩裁葱枰髷?shù)據(jù)據(jù)在沒有大大數(shù)據(jù)技技術(shù)之前前，無論論是機(jī)器器，還是是人工方方式，無無法獲得得全量樣樣本。以以人口普普查為例例，如果果挨家挨挨戶調(diào)研研，甚至至隨機(jī)抽抽取做調(diào)調(diào)研，都都非常耗耗時(shí)，費(fèi)費(fèi)力，很很多國家家甚至做做不到每每年發(fā)布布一次在沒有大大數(shù)據(jù)技技術(shù)之前前，大量量海量數(shù)數(shù)據(jù)中非非結(jié)構(gòu)化

5、化數(shù)據(jù)，分析與與計(jì)算，幾乎是是一個(gè)不不可能逾逾越的鴻鴻溝，更更別說挖挖掘價(jià)值值了。在沒有大大數(shù)據(jù)技技術(shù)之前，分分析數(shù)據(jù)據(jù)僅作為為參考目目前現(xiàn)狀狀的理論論依據(jù)，也就是是經(jīng)驗(yàn)說說話，數(shù)數(shù)據(jù)無法法實(shí)時(shí)展展現(xiàn)價(jià)值值。在沒有大數(shù)據(jù)技技術(shù)之前，有有原因所所以有結(jié)結(jié)果，維維度由于于分析能能力有限限，無法法表現(xiàn)其其真正意意義，相相關(guān)而非非因果。價(jià)值變革革經(jīng)濟(jì)變革大數(shù)據(jù)應(yīng)應(yīng)用案例例將大數(shù)據(jù)據(jù)承諾轉(zhuǎn)轉(zhuǎn)化為巨巨大的價(jià)價(jià)值10從“谷歌歌流感趨趨勢”工工具看大大數(shù)據(jù)應(yīng)應(yīng)用跟蹤搜索索詞相關(guān)關(guān)數(shù)據(jù)來來判斷全全美地區(qū)區(qū)的流感感情況這個(gè)工具具工作的的原理大大致是這這樣的：設(shè)計(jì)人人員置入入了一些些關(guān)鍵詞詞（比如如溫度計(jì)計(jì)、流感感

6、癥狀、肌肉疼疼痛、胸胸悶等），只要要用戶輸輸入這些些關(guān)鍵詞詞，系統(tǒng)統(tǒng)就會(huì)展展開跟蹤蹤分析，創(chuàng)建地地區(qū)流感感圖表和和流感地地圖。谷谷歌多次次把測試試結(jié)果（藍(lán)線）與美國國疾病控控制和預(yù)預(yù)防中心心的報(bào)告告（黃線線）做比比對，從從圖可知，兩者結(jié)結(jié)論存在在很大相相關(guān)性。以銀行信信貸審批批決策為為例用戶移動(dòng)動(dòng)軌跡和和精準(zhǔn)用用戶群集集分析應(yīng)應(yīng)用實(shí)時(shí)精準(zhǔn)準(zhǔn)營銷-只給最近近的你HDS統(tǒng)一計(jì)算算平臺(tái)支撐大數(shù)數(shù)據(jù)應(yīng)用用的IT架構(gòu)實(shí)例例新的大數(shù)數(shù)據(jù)技術(shù)術(shù)傳統(tǒng)數(shù)據(jù)據(jù)庫處理理方式池塘捕魚魚新的大數(shù)數(shù)據(jù)處理理方式大海捕魚待處理的的數(shù)據(jù)數(shù)據(jù)規(guī)模數(shù)據(jù)類型模式和數(shù)據(jù)關(guān)系處理對象處理工具數(shù)據(jù)的自自由度和和性能矛矛盾。固定字段段、維

7、度度的表結(jié)結(jié)構(gòu)，限限制了數(shù)數(shù)據(jù)的入入庫和拓拓展。數(shù)據(jù)處理理數(shù)據(jù)庫中間件索引及應(yīng)應(yīng)用開發(fā)發(fā)J2EEStorageFilesytem/LUNDatabaseJ2EEJ2EEWebWebWebWebWeb數(shù)據(jù)索引引方式的的瓶頸，依賴文文件目錄錄結(jié)構(gòu)（NAS）或私有有的位圖圖塊表結(jié)結(jié)構(gòu)（Block）。非結(jié)構(gòu)數(shù)數(shù)據(jù)還需需要上層層數(shù)據(jù)庫庫或文件件系統(tǒng)提提供索引引；面對大數(shù)數(shù)據(jù)傳統(tǒng)統(tǒng)IT的架構(gòu)的的瓶頸存儲(chǔ)成本（TB）20,000 rmb數(shù)據(jù)庫和中間件（TB） 15,000 rmb計(jì)算（TB）30,000 rmb技術(shù)服務(wù)（TB）10,000 rmb應(yīng)用服務(wù) 依賴合作伙伴總體擁有成本（TB） 75,000 rm

8、b數(shù)據(jù)的膨膨脹帶來來更高的的成本，但是已已有的存存儲(chǔ)方式式不支持持線性擴(kuò)擴(kuò)展，還還帶來了了數(shù)據(jù)管管理性能能的低下下問題后期維護(hù)成本低下的數(shù)據(jù)管理性能存儲(chǔ)擴(kuò)容成本面對大數(shù)數(shù)據(jù)傳統(tǒng)統(tǒng)IT的架構(gòu)帶帶來的問問題新的大數(shù)數(shù)據(jù)處理理技術(shù)-Hadoop核心思想想：分布布式+經(jīng)濟(jì)Hadoop:分布式，大數(shù)據(jù)據(jù)集，延延時(shí)，離離線計(jì)算算NoSQL:分布式，小數(shù)據(jù)據(jù)集，靈靈活，實(shí)實(shí)時(shí)，快快速讀寫寫天云&HDS大數(shù)據(jù)混合計(jì)算算一體機(jī)J2EEWeb離散的計(jì)算整合的計(jì)計(jì)算HDS CR 220SHadoopDistributionsStreamingSearchingIndexMemDBBDP(BeagleDataPlat

9、form)Integration/Autumation/Monitoring/Scheduling/MaintainanceData Mgnt: DataViewEasyFailsensedatazip/datalifescycleDR（Optional）BDA(BeagleData Accelerator)機(jī)器學(xué)習(xí)習(xí)組件包包（Optional）BDF(BeagleDataFlow)大數(shù)據(jù)中中間件SaaS/DaaS天云&HDS提供混合合計(jì)算的的能力HDS CR 220SHadoopDistributionsStreamingSearchingIndexMemDBBDP(BeagleDataPl

10、atform)Integration/Autumation/Monitoring/Scheduling/MaintainanceData Mgnt: DataViewEasyFailsensedatazip/datalifescycleDR大數(shù)據(jù)儲(chǔ)存存大數(shù)據(jù)處處理數(shù)據(jù)分享享數(shù)據(jù)檢索索數(shù)據(jù)分析數(shù)據(jù)展現(xiàn)基于事件的可視化管理快速就緒的大數(shù)據(jù)平臺(tái)天云大數(shù)數(shù)據(jù)平臺(tái)臺(tái): BDPHadoop集群部署署與管理理管理控制臺(tái) HA管理 集群性能監(jiān)控 節(jié)點(diǎn)性能監(jiān)控 集群磁盤監(jiān)控告警類型可視化的的運(yùn)維管管理天云大數(shù)數(shù)據(jù)平臺(tái)臺(tái): BDP天云&HDS解決方案案產(chǎn)品配配置規(guī)格格型號(hào)大數(shù)據(jù)一體機(jī) 滿配大數(shù)據(jù)一體機(jī) 半配管理服

11、務(wù)器2臺(tái)CR220S服務(wù)器，每服務(wù)器配置：2* Intel Xeon E5-247064G內(nèi)存2*300 GB硬盤，12*3.5寸3T硬盤1個(gè)4端口高性能千兆以太網(wǎng)卡2臺(tái)CR220S服務(wù)器，每服務(wù)器配置：2* Intel Xeon E5-247064G內(nèi)存2*300 GB硬盤，12*3.5寸3T硬盤1個(gè)4端口高性能千兆以太網(wǎng)卡數(shù)據(jù)服務(wù)器14臺(tái)CR220S服務(wù)器，每節(jié)點(diǎn)配置：2* Intel Xeon E5-247064G內(nèi)存2*300 GB硬盤，12*3.5寸3T硬盤2個(gè)高性能千兆以太網(wǎng)卡6臺(tái)CR220S服務(wù)器，每節(jié)點(diǎn)配置：2* Intel Xeon E5-247064G內(nèi)存2*300 GB硬

12、盤，12*3.5寸3T硬盤2個(gè)高性能千兆以太網(wǎng)卡網(wǎng)絡(luò)與交換2臺(tái)可管理全千兆以太網(wǎng)交換機(jī)2臺(tái)可管理全千兆以太網(wǎng)交換機(jī)其他選配硬件附加硬件組件：1U機(jī)架式KVM標(biāo)準(zhǔn)42U機(jī)柜外置UPS供電設(shè)施（選配）附加硬件組件：1U機(jī)架式KVM標(biāo)準(zhǔn)42U機(jī)柜外置UPS供電設(shè)施（選配）大數(shù)據(jù)軟件BeagleData Platform V1.516節(jié)點(diǎn)License授權(quán)BeagleData Platform V1.58節(jié)點(diǎn)License授權(quán)升級與擴(kuò)展使用交換機(jī)堆疊方式連接多個(gè)一體機(jī)可升級至大數(shù)據(jù)一體機(jī) 滿配支持服務(wù)提供軟硬一體化整體支持硬件：三年保修服務(wù)軟件：一年維保服務(wù)（可續(xù)訂）提供軟硬一體化整體支持硬件：三年保

13、修服務(wù)軟件：一年維保服務(wù)（可續(xù)訂）天云&HDS大數(shù)據(jù)一一體機(jī)方方案優(yōu)勢總結(jié)備注更低的成成本更高的性性能由全新分分布式架架構(gòu)帶來來混合的架架構(gòu)存儲(chǔ)和計(jì)算的的能力同同時(shí)具備備軟硬件結(jié)合的方方案強(qiáng)大的計(jì)計(jì)算能力力分布式計(jì)計(jì)算NoSQL數(shù)據(jù)管理理應(yīng)用更更加靈活活高可擴(kuò)展展和高可可用線性擴(kuò)展展，性能能線性提提升多節(jié)點(diǎn)多多副本帶帶來高可可用性天云&HDS大數(shù)據(jù)一一體機(jī)賣賣點(diǎn)總結(jié)結(jié)強(qiáng)大數(shù)據(jù)存儲(chǔ)儲(chǔ)能力先進(jìn)的硬硬件架構(gòu)構(gòu)一流的大大數(shù)據(jù)平平臺(tái)軟件件業(yè)界領(lǐng)先先的性能能就緒的軟軟件最佳佳實(shí)踐單機(jī)柜提提供1PB的存儲(chǔ)能能力成功案例例大數(shù)據(jù)落落地的經(jīng)經(jīng)驗(yàn)（天天云科技技）大量用戶戶無法精精準(zhǔn)識(shí)別別重復(fù)電話話銷售產(chǎn)生的抱怨怨

14、對品牌形形象產(chǎn)生生傷害通過統(tǒng)一一用戶視視圖進(jìn)行行理財(cái)產(chǎn)產(chǎn)品推薦薦實(shí)現(xiàn)精準(zhǔn)準(zhǔn)客戶營營銷避免傳統(tǒng)統(tǒng)轟炸式式電話營營銷對品品牌的負(fù)面面影響人數(shù)占比年齡年收入（元）累計(jì)標(biāo)保和繳付保費(fèi)合計(jì)件均標(biāo)保壽險(xiǎn)繳付金額兩全繳付金額年金繳付金額萬能繳付金額意外繳付金額醫(yī)療繳付金額重疾繳付金額投連繳付金額0.60%474820026900804001900050050007670025001002004004001.37%512940015000966001070050090400580011600100800220030000.84%40180600108002130078001100380012400160010030070002.07%472940074007110011000600510015006370010050013005000.68%3382006500307005400200800