大數(shù)據(jù)應(yīng)用項目解決方案

1、 20177年大數(shù)數(shù)據(jù)應(yīng)用用項目解決方案案目 錄TOC o 1-5 h z u HYPERLINK l _Toc378278683 1.大大數(shù)據(jù)概概述 PAGEREF _Toc378278683 h 6 HYPERLINK l _Toc378278684 1.1.概述 PAGEREF _Toc378278684 h 6 HYPERLINK l _Toc378278685 1.2.大數(shù)據(jù)據(jù)定義 PAGEREF _Toc378278685 h 6 HYPERLINK l _Toc378278686 1.3.大數(shù)據(jù)據(jù)技術(shù)發(fā)發(fā)展 PAGEREF _Toc378278686 h 8 HYPERLINK

2、l _Toc378278687 2.大大數(shù)據(jù)應(yīng)應(yīng)用 PAGEREF _Toc378278687 h 11 HYPERLINK l _Toc378278688 2.1.大數(shù)據(jù)據(jù)應(yīng)用闡闡述 PAGEREF _Toc378278688 h 11 HYPERLINK l _Toc378278689 2.2.大數(shù)據(jù)據(jù)應(yīng)用架架構(gòu) PAGEREF _Toc378278689 h 13 HYPERLINK l _Toc378278690 2.3.大數(shù)據(jù)據(jù)行業(yè)應(yīng)應(yīng)用 PAGEREF _Toc378278690 h 13 HYPERLINK l _Toc378278691 2.3.1.醫(yī)療行行業(yè) PAGEREF

3、_Toc378278691 h 13 HYPERLINK l _Toc378278692 2.3.2.能源行行業(yè) PAGEREF _Toc378278692 h 14 HYPERLINK l _Toc378278693 2.3.3.通信行行業(yè) PAGEREF _Toc378278693 h 14 HYPERLINK l _Toc378278694 2.3.4.零售業(yè)業(yè) PAGEREF _Toc378278694 h 15 HYPERLINK l _Toc378278695 3.大大數(shù)據(jù)解解決方案案 PAGEREF _Toc378278695 h 16 HYPERLINK l _Toc37827

4、8699 3.1.大數(shù)據(jù)據(jù)技術(shù)組組成 PAGEREF _Toc378278699 h 16 HYPERLINK l _Toc378278700 3.1.1.分析技技術(shù) PAGEREF _Toc378278700 h 16 HYPERLINK l _Toc378278701 3.1.1.11.可視化化分析 PAGEREF _Toc378278701 h 16 HYPERLINK l _Toc378278702 3.1.1.22.數(shù)據(jù)挖挖掘算法法 PAGEREF _Toc378278702 h 16 HYPERLINK l _Toc378278703 3.1.1.33.預(yù)測分分析能力力 PAGER

5、EF _Toc378278703 h 16 HYPERLINK l _Toc378278704 3.1.1.44.語義引引擎 PAGEREF _Toc378278704 h 16 HYPERLINK l _Toc378278705 3.1.1.55.數(shù)據(jù)質(zhì)質(zhì)量和數(shù)數(shù)據(jù)管理理 PAGEREF _Toc378278705 h 17 HYPERLINK l _Toc378278706 3.1.2.存儲數(shù)數(shù)據(jù)庫 PAGEREF _Toc378278706 h 17 HYPERLINK l _Toc378278707 3.1.3.分布式式計算技技術(shù) PAGEREF _Toc378278707 h 18

6、HYPERLINK l _Toc378278708 3.2.大數(shù)據(jù)據(jù)處理過過程 PAGEREF _Toc378278708 h 20 HYPERLINK l _Toc378278709 3.2.1.采集 PAGEREF _Toc378278709 h 20 HYPERLINK l _Toc378278710 3.2.2.導(dǎo)入/預(yù)處理理 PAGEREF _Toc378278710 h 21 HYPERLINK l _Toc378278711 3.2.3.統(tǒng)計/分析 PAGEREF _Toc378278711 h 21 HYPERLINK l _Toc378278712 3.2.4.挖掘 PAGE

7、REF _Toc378278712 h 21 HYPERLINK l _Toc378278713 3.3.大數(shù)據(jù)據(jù)處理的的核心技技術(shù)-HHadooop PAGEREF _Toc378278713 h 21 HYPERLINK l _Toc378278714 3.3.1.Haddoopp的組成成 PAGEREF _Toc378278714 h 22 HYPERLINK l _Toc378278715 3.3.2.Haddoopp的優(yōu)點點： PAGEREF _Toc378278715 h 25 HYPERLINK l _Toc378278720 3.3.2.11.高可靠靠性。 PAGEREF _T

8、oc378278720 h 25 HYPERLINK l _Toc378278721 3.3.2.22.高擴(kuò)展展性。 PAGEREF _Toc378278721 h 25 HYPERLINK l _Toc378278722 3.3.2.33.高效性性。 PAGEREF _Toc378278722 h 25 HYPERLINK l _Toc378278723 3.3.2.44.高容錯錯性。 PAGEREF _Toc378278723 h 25 HYPERLINK l _Toc378278724 3.3.3.Haddoopp的不足足 PAGEREF _Toc378278724 h 25 HYPER

9、LINK l _Toc378278725 3.3.4.主要商商業(yè)性“大數(shù)據(jù)據(jù)”處理方方案 PAGEREF _Toc378278725 h 26 HYPERLINK l _Toc378278726 3.3.2.55.IBMM InnfoSSpheere大大數(shù)據(jù)分分析平臺臺 PAGEREF _Toc378278726 h 26 HYPERLINK l _Toc378278727 3.3.2.66.Ora cc l e BBi gg Daa t aApppliiancc PAGEREF _Toc378278727 h 27 HYPERLINK l _Toc378278728 3.3.2.77.Mi

10、c rr o s oo f t SS QLLSerrverr PAGEREF _Toc378278728 h 27 HYPERLINK l _Toc378278729 3.3.2.88.Sybbasee IQQ PAGEREF _Toc378278729 h 28 HYPERLINK l _Toc378278730 3.3.5.其他“大數(shù)據(jù)據(jù)”解決方方案 PAGEREF _Toc378278730 h 28 HYPERLINK l _Toc378278731 3.3.2.99.EMCC PAGEREF _Toc378278731 h 28 HYPERLINK l _Toc378278732 3

11、.3.2.110.BiggQueery PAGEREF _Toc378278732 h 29 HYPERLINK l _Toc378278733 3.3.6.大數(shù)據(jù)據(jù)”與科技技文獻(xiàn)信信息處理理 PAGEREF _Toc378278733 h 29 HYPERLINK l _Toc378278734 3.4.大數(shù)據(jù)據(jù)處理技技術(shù)發(fā)展展前景 PAGEREF _Toc378278734 h 29 HYPERLINK l _Toc378278735 3.4.1.大數(shù)據(jù)據(jù)復(fù)雜度度降低 PAGEREF _Toc378278735 h 29 HYPERLINK l _Toc378278736 3.4.2.大數(shù)

12、據(jù)據(jù)細(xì)分市市場 PAGEREF _Toc378278736 h 30 HYPERLINK l _Toc378278737 3.4.3.大數(shù)據(jù)據(jù)開源 PAGEREF _Toc378278737 h 30 HYPERLINK l _Toc378278738 3.4.4.Haddoopp將加速速發(fā)展 PAGEREF _Toc378278738 h 30 HYPERLINK l _Toc378278739 3.4.5.打包的的大數(shù)據(jù)據(jù)行業(yè)分分析應(yīng)用用 PAGEREF _Toc378278739 h 30 HYPERLINK l _Toc378278740 3.4.6.大數(shù)據(jù)據(jù)分析的的革命性性方法出出現(xiàn)

13、 PAGEREF _Toc378278740 h 31 HYPERLINK l _Toc378278741 3.4.7.大數(shù)據(jù)據(jù)與云計計算:深深度融合合 PAGEREF _Toc378278741 h 31 HYPERLINK l _Toc378278742 3.4.8.大數(shù)據(jù)據(jù)一體機(jī)機(jī)陸續(xù)發(fā)發(fā)布 PAGEREF _Toc378278742 h 31 HYPERLINK l _Toc378278743 4.基基于基站站大數(shù)據(jù)據(jù)應(yīng)用及及案例 PAGEREF _Toc378278743 h 32 HYPERLINK l _Toc378278744 4.1.氣象災(zāi)災(zāi)害應(yīng)急急短信發(fā)發(fā)布平臺臺 PAGE

14、REF _Toc378278744 h 32 HYPERLINK l _Toc378278745 4.1.1.概述 PAGEREF _Toc378278745 h 32 HYPERLINK l _Toc378278746 4.1.1.11.項目背背景 PAGEREF _Toc378278746 h 32 HYPERLINK l _Toc378278747 4.1.1.22.平臺概概述 PAGEREF _Toc378278747 h 32 HYPERLINK l _Toc378278748 4.1.2.平臺建建設(shè)特點點與原則則 PAGEREF _Toc378278748 h 32 HYPERLI

15、NK l _Toc378278749 4.1.2.11.建設(shè)特特點 PAGEREF _Toc378278749 h 32 HYPERLINK l _Toc378278750 4.1.2.22.建設(shè)原原則 PAGEREF _Toc378278750 h 32 HYPERLINK l _Toc378278751 4.1.2.33.大數(shù)據(jù)據(jù)管理平平臺特點點 PAGEREF _Toc378278751 h 33 HYPERLINK l _Toc378278752 4.1.3.平臺整整體架構(gòu)構(gòu) PAGEREF _Toc378278752 h 33 HYPERLINK l _Toc378278753 4.

16、1.3.11.建設(shè)原原理 PAGEREF _Toc378278753 h 33 HYPERLINK l _Toc378278754 4.1.3.22.平臺總總體設(shè)計計 PAGEREF _Toc378278754 h 35 HYPERLINK l _Toc378278755 1.平平臺總體體結(jié)構(gòu) PAGEREF _Toc378278755 h 35 HYPERLINK l _Toc378278756 2.平平臺技術(shù)術(shù)架構(gòu) PAGEREF _Toc378278756 h 36 HYPERLINK l _Toc378278757 4.1.3.33.平臺技技術(shù)思路路 PAGEREF _Toc37827

17、8757 h 37 HYPERLINK l _Toc378278758 4.1.3.44.平臺技技術(shù)路線線 PAGEREF _Toc378278758 h 38 HYPERLINK l _Toc378278759 1.內(nèi)內(nèi)存數(shù)據(jù)據(jù)庫 PAGEREF _Toc378278759 h 38 HYPERLINK l _Toc378278760 2.短短信發(fā)送送多鏈路路配置 PAGEREF _Toc378278760 h 38 HYPERLINK l _Toc378278761 3.隊隊列緩存存 PAGEREF _Toc378278761 h 38 HYPERLINK l _Toc378278762

18、4.參參數(shù)可配配置 PAGEREF _Toc378278762 h 38 HYPERLINK l _Toc378278763 4.1.3.55.平臺性性能要求求 PAGEREF _Toc378278763 h 38 HYPERLINK l _Toc378278764 4.1.4.平臺網(wǎng)網(wǎng)絡(luò)拓?fù)鋼?PAGEREF _Toc378278764 h 38 HYPERLINK l _Toc378278765 4.1.5.平臺關(guān)關(guān)鍵流程程 PAGEREF _Toc378278765 h 39 HYPERLINK l _Toc378278766 4.1.5.11.平臺數(shù)數(shù)據(jù)流程程 PAGEREF _Toc

19、378278766 h 39 HYPERLINK l _Toc378278767 4.1.5.22.平臺業(yè)業(yè)務(wù)主流流程 PAGEREF _Toc378278767 h 40 HYPERLINK l _Toc378278768 4.1.5.33.短信下下發(fā)審批批流程 PAGEREF _Toc378278768 h 41 HYPERLINK l _Toc378278769 4.1.5.44.信令分分析處理理流程 PAGEREF _Toc378278769 h 42 HYPERLINK l _Toc378278770 4.1.5.55.短信發(fā)發(fā)送流程程 PAGEREF _Toc378278770 h

20、 43 HYPERLINK l _Toc378278771 4.1.6.平臺功功能模塊塊 PAGEREF _Toc378278771 h 43 HYPERLINK l _Toc378278772 4.1.6.11.信令分分析子系系統(tǒng) PAGEREF _Toc378278772 h 43 HYPERLINK l _Toc378278773 4.1.6.22.短信發(fā)發(fā)送子系系統(tǒng) PAGEREF _Toc378278773 h 44 HYPERLINK l _Toc378278774 1.短短信發(fā)送送功能 PAGEREF _Toc378278774 h 44 HYPERLINK l _Toc3782

21、78775 2.短短信回執(zhí)執(zhí)接收功功能 PAGEREF _Toc378278775 h 44 HYPERLINK l _Toc378278776 3.短短信批量量發(fā)送管管理功能能 PAGEREF _Toc378278776 h 45 HYPERLINK l _Toc378278777 4.統(tǒng)統(tǒng)計報表表 PAGEREF _Toc378278777 h 45 HYPERLINK l _Toc378278778 4.1.6.33.管理子子系統(tǒng) PAGEREF _Toc378278778 h 45 HYPERLINK l _Toc378278779 1.用用戶管理理 PAGEREF _Toc37827

22、8779 h 45 HYPERLINK l _Toc378278780 2.權(quán)權(quán)限管理理 PAGEREF _Toc378278780 h 46 HYPERLINK l _Toc378278781 3.實實時監(jiān)控控 PAGEREF _Toc378278781 h 46 HYPERLINK l _Toc378278782 4.日日志管理理 PAGEREF _Toc378278782 h 46 HYPERLINK l _Toc378278783 5.基基站位置置信息管管理 PAGEREF _Toc378278783 h 46 HYPERLINK l _Toc378278784 6.系系統(tǒng)參數(shù)數(shù)配置管

23、管理 PAGEREF _Toc378278784 h 46 HYPERLINK l _Toc378278785 4.1.6.44.內(nèi)容數(shù)數(shù)據(jù)庫子子系統(tǒng) PAGEREF _Toc378278785 h 46 HYPERLINK l _Toc378278786 4.1.7.平臺外外部接口口 PAGEREF _Toc378278786 h 47 HYPERLINK l _Toc378278787 4.1.7.11.信令采采集接口口 PAGEREF _Toc378278787 h 47 HYPERLINK l _Toc378278788 1.接接口說明明 PAGEREF _Toc378278788 h

24、 47 HYPERLINK l _Toc378278789 2.數(shù)數(shù)據(jù)采集集模式 PAGEREF _Toc378278789 h 47 HYPERLINK l _Toc378278790 4.1.7.22.短信發(fā)發(fā)送接口口 PAGEREF _Toc378278790 h 47 HYPERLINK l _Toc378278791 1.短短信發(fā)送送通知接接口 PAGEREF _Toc378278791 h 47 HYPERLINK l _Toc378278792 2.短短信發(fā)送送狀態(tài)查查詢接口口 PAGEREF _Toc378278792 h 47 HYPERLINK l _Toc37827879

25、3 3.短短信發(fā)送送接口 PAGEREF _Toc378278793 h 47 HYPERLINK l _Toc378278794 4.1.7.33.基站位位置信息息接口 PAGEREF _Toc378278794 h 48 HYPERLINK l _Toc378278795 1.數(shù)數(shù)據(jù)同步步模式 PAGEREF _Toc378278795 h 48 HYPERLINK l _Toc378278796 2.基基站位置置信息全全量同步步接口 PAGEREF _Toc378278796 h 48 HYPERLINK l _Toc378278797 3.基基站位置置信息增增量同步步接口 PAGERE

26、F _Toc378278797 h 48 HYPERLINK l _Toc378278798 4.2.旅游客客源分析析 PAGEREF _Toc378278798 h 48 HYPERLINK l _Toc378278799 4.2.1.建設(shè)目目標(biāo) PAGEREF _Toc378278799 h 48 HYPERLINK l _Toc378278800 4.2.2.整體方方案 PAGEREF _Toc378278800 h 49 HYPERLINK l _Toc378278801 4.2.2.11.方案思思路 PAGEREF _Toc378278801 h 49 HYPERLINK l _To

27、c378278802 4.2.2.22.分析范范圍 PAGEREF _Toc378278802 h 49 HYPERLINK l _Toc378278803 4.2.2.33.方案特特點 PAGEREF _Toc378278803 h 50 HYPERLINK l _Toc378278804 4.2.3.方案設(shè)設(shè)計 PAGEREF _Toc378278804 h 51 HYPERLINK l _Toc378278805 4.2.3.11.系統(tǒng)關(guān)關(guān)系 PAGEREF _Toc378278805 h 51 HYPERLINK l _Toc378278806 4.2.3.22.系統(tǒng)架架構(gòu) PAGER

28、EF _Toc378278806 h 51 HYPERLINK l _Toc378278807 1.數(shù)數(shù)據(jù)分析析后臺能能力 PAGEREF _Toc378278807 h 52 HYPERLINK l _Toc378278808 2.WWeb前前臺能力力 PAGEREF _Toc378278808 h 52 HYPERLINK l _Toc378278809 4.2.3.33.數(shù)據(jù)采采集 PAGEREF _Toc378278809 h 53 HYPERLINK l _Toc378278810 4.2.3.44.業(yè)務(wù)分分析 PAGEREF _Toc378278810 h 53 HYPERLINK

29、 l _Toc378278811 1.總總體分析析流程 PAGEREF _Toc378278811 h 53 HYPERLINK l _Toc378278812 2.景景區(qū)綜合合流量統(tǒng)統(tǒng)計分析析 PAGEREF _Toc378278812 h 54 HYPERLINK l _Toc378278813 3.景景區(qū)游客客來源地地構(gòu)成分分析 PAGEREF _Toc378278813 h 55 HYPERLINK l _Toc378278814 4.景景區(qū)全網(wǎng)網(wǎng)總游客客實時估估算 PAGEREF _Toc378278814 h 57 HYPERLINK l _Toc378278815 5.景景區(qū)流量

30、量預(yù)判模模型分析析 PAGEREF _Toc378278815 h 58 HYPERLINK l _Toc378278816 6.景景區(qū)流量量上限告告警 PAGEREF _Toc378278816 h 59 HYPERLINK l _Toc378278817 7.旅旅游景點點熱度排排名分析析 PAGEREF _Toc378278817 h 59 HYPERLINK l _Toc378278818 8.旅旅游線路路歸類統(tǒng)統(tǒng)計 PAGEREF _Toc378278818 h 60 HYPERLINK l _Toc378278819 9.景景區(qū)與相相關(guān)場所所關(guān)聯(lián)分分析 PAGEREF _Toc378

31、278819 h 61 HYPERLINK l _Toc378278820 4.2.3.55.界面功功能介紹紹 PAGEREF _Toc378278820 h 61 HYPERLINK l _Toc378278821 1.菜菜單功能能列表 PAGEREF _Toc378278821 h 62 HYPERLINK l _Toc378278822 2.界界面輔助助功能介介紹 PAGEREF _Toc378278822 h 63 HYPERLINK l _Toc378278823 3.運(yùn)運(yùn)營部門門應(yīng)用PPorttal PAGEREF _Toc378278823 h 64 HYPERLINK l _T

32、oc378278824 4.用用戶權(quán)限限 PAGEREF _Toc378278824 h 64大數(shù)據(jù)概概述概述大數(shù)據(jù)，IT行行業(yè)的又又一次技技術(shù)變革革，大數(shù)數(shù)據(jù)的浪浪潮洶涌涌而至，對國家家治理、企業(yè)決決策和個個人生活活都在產(chǎn)產(chǎn)生深遠(yuǎn)遠(yuǎn)的影響響，并將將成為云云計算、物聯(lián)網(wǎng)網(wǎng)之后信信息技術(shù)術(shù)產(chǎn)業(yè)領(lǐng)領(lǐng)域又一一重大創(chuàng)創(chuàng)新變革革。未來來的十年年將是一一個“大數(shù)據(jù)據(jù)”引領(lǐng)的的智慧科科技的時時代、隨隨著社交交網(wǎng)絡(luò)的的逐漸成成熟，移移動帶寬寬迅速提提升、云云計算、物聯(lián)網(wǎng)網(wǎng)應(yīng)用更更加豐富富、更多多的傳感感設(shè)備、移動終終端接入入到網(wǎng)絡(luò)絡(luò)，由此此而產(chǎn)生生的數(shù)據(jù)據(jù)及增長長速度將將比歷史史上的任任何時期期都要多多、都要

33、要快。數(shù)據(jù)技術(shù)術(shù)發(fā)展歷歷史如圖圖一所示示：圖一大數(shù)據(jù)定定義“大數(shù)據(jù)據(jù)”是一個個涵蓋多多種技術(shù)術(shù)的概念念，簡單單地說，是指無無法在一一定時間間內(nèi)用常常規(guī)軟件件工具對對其內(nèi)容容進(jìn)行抓抓取、管管理和處處理的數(shù)數(shù)據(jù)集合合。IBBM將“大數(shù)據(jù)據(jù)”理念定定義為44個V，即大量量化(VVoluume)、多樣樣化(VVariietyy)、快快速化(Vellociity)及由此此產(chǎn)生的的價值(Vallue)。如圖圖二;圖二要理解大大數(shù)據(jù)這這一概念念，首先先要從大入入手，大是是指數(shù)據(jù)據(jù)規(guī)模，大數(shù)據(jù)據(jù)一般指指在100TB(1TBB=10024GGB)規(guī)規(guī)模以上上的數(shù)據(jù)據(jù)量。大大數(shù)據(jù)同同過去的的海量數(shù)數(shù)據(jù)有所所區(qū)別，

34、其基本本特征可可以用44個V來來總結(jié)(Voll-umme、VVariietyy、Vaaluee和Veelocc-itty)，即體量量大、多多樣性、價值密密度低、速度快快。數(shù)據(jù)體量量巨大。從TBB級別，躍升到到PB級級別。數(shù)據(jù)類型型繁多，如前文文提到的的網(wǎng)絡(luò)日日志、視視頻、圖圖片、地地理位置置信息，等等。價值密度度低。以以視頻為為例，連連續(xù)不間間斷監(jiān)控控過程中中，可能能有用的的數(shù)據(jù)僅僅僅有一一兩秒。處理速度度快。11秒定律律。最后后這一點點也是和和傳統(tǒng)的的數(shù)據(jù)挖挖掘技術(shù)術(shù)有著本本質(zhì)的不不同。物物聯(lián)網(wǎng)、云計算算、移動動互聯(lián)網(wǎng)網(wǎng)、車聯(lián)聯(lián)網(wǎng)、手手機(jī)、平平板電腦腦、PCC以及遍遍布地球球各個角角落的各各

35、種各樣樣的傳感感器，無無一不是是數(shù)據(jù)來來源或者者承載的的方式。大數(shù)據(jù)技技術(shù)是指指從各種種各樣類類型的巨巨量數(shù)據(jù)據(jù)中，快快速獲得得有價值值信息的的技術(shù)。解決大大數(shù)據(jù)問問題的核核心是大大數(shù)據(jù)技技術(shù)。目目前所說說的大大數(shù)據(jù)不僅指指數(shù)據(jù)本本身的規(guī)規(guī)模，也也包括采采集數(shù)據(jù)據(jù)的工具具、平臺臺和數(shù)據(jù)據(jù)分析系系統(tǒng)。大大數(shù)據(jù)研研發(fā)目的的是發(fā)展展大數(shù)據(jù)據(jù)技術(shù)并并將其應(yīng)應(yīng)用到相相關(guān)領(lǐng)域域，通過過解決巨巨量數(shù)據(jù)據(jù)處理問問題促進(jìn)進(jìn)其突破破性發(fā)展展。因此此，大數(shù)數(shù)據(jù)時代代帶來的的挑戰(zhàn)不不僅體現(xiàn)現(xiàn)在如何何處理巨巨量數(shù)據(jù)據(jù)從中獲獲取有價價值的信信息，也也體現(xiàn)在在如何加加強(qiáng)大數(shù)數(shù)據(jù)技術(shù)術(shù)研發(fā)，搶占時時代發(fā)展展的前沿沿。大數(shù)據(jù)技

36、技術(shù)發(fā)展展大數(shù)據(jù)技技術(shù)描述述了一種種新一代代技術(shù)和和構(gòu)架，用于以以很經(jīng)濟(jì)濟(jì)的方式式、以高高速的捕捕獲、發(fā)發(fā)現(xiàn)和分分析技術(shù)術(shù)，從各各種超大大規(guī)模的的數(shù)據(jù)中中提取價價值，而而且未來來急劇增增長的數(shù)數(shù)據(jù)迫切切需要尋尋求新的的處理技技術(shù)手段段。如圖圖三所示示：圖三在“大數(shù)數(shù)據(jù)”(Biig ddataa)時代代，通過過互聯(lián)網(wǎng)網(wǎng)、社交交網(wǎng)絡(luò)、物聯(lián)網(wǎng)網(wǎng)，人們們能夠及及時全面面地獲得得大信息息。同時時，信息息自身存存在形式式的變化化與演進(jìn)進(jìn)，也使使得作為為信息載載體的數(shù)數(shù)據(jù)以遠(yuǎn)遠(yuǎn)超人們們想象的的速度迅迅速膨脹脹。云時代的的到來使使得數(shù)據(jù)據(jù)創(chuàng)造的的主體由由企業(yè)逐逐漸轉(zhuǎn)向向個體，而個體體所產(chǎn)生生的絕大大部分?jǐn)?shù)數(shù)據(jù)

37、為圖圖片、文文檔、視視頻等非非結(jié)構(gòu)化化數(shù)據(jù)。信息化化技術(shù)的的普及使使得企業(yè)業(yè)更多的的辦公流流程通過過網(wǎng)絡(luò)得得以實現(xiàn)現(xiàn)，由此此產(chǎn)生的的數(shù)據(jù)也也以非結(jié)結(jié)構(gòu)化數(shù)數(shù)據(jù)為主主。預(yù)計計到20012年年，非結(jié)結(jié)構(gòu)化數(shù)數(shù)據(jù)將達(dá)達(dá)到互聯(lián)聯(lián)網(wǎng)整個個數(shù)據(jù)量量的755%以上上。用于于提取智智慧的“大數(shù)據(jù)據(jù)”，往往往是這些些非結(jié)構(gòu)構(gòu)化數(shù)據(jù)據(jù)。傳統(tǒng)統(tǒng)的數(shù)據(jù)據(jù)倉庫系系統(tǒng)、BBI、鏈鏈路挖掘掘等應(yīng)用用對數(shù)據(jù)據(jù)處理的的時間要要求往往往以小時時或天為為單位。但“大數(shù)據(jù)據(jù)”應(yīng)用突突出強(qiáng)調(diào)調(diào)數(shù)據(jù)處處理的實實時性。在線個個性化推推薦、股股票交易易處理、實時路路況信息息等數(shù)據(jù)據(jù)處理時時間要求求在分鐘鐘甚至秒秒級。全球技術(shù)術(shù)研究和和咨詢公

38、公司Gaartnner將將“大數(shù)據(jù)據(jù)”技術(shù)列列入20012年年對眾多多公司和和組織機(jī)機(jī)構(gòu)具有有戰(zhàn)略意意義的十十大技術(shù)術(shù)與趨勢勢之一，而其他他領(lǐng)域的的研究，如云計計算、下下一代分分析、內(nèi)內(nèi)存計算算等也都都與“大數(shù)據(jù)據(jù)”的研究究相輔相相成。GGarttnerr在其新新興技術(shù)術(shù)成熟度度曲線中中將“大數(shù)據(jù)據(jù)”技術(shù)視視為轉(zhuǎn)型型技術(shù)，這意味味著“大數(shù)據(jù)據(jù)”技術(shù)將將在未來來35年內(nèi)內(nèi)進(jìn)入主主流。而 “大大數(shù)據(jù)”的多樣樣性決定定了數(shù)據(jù)據(jù)采集來來源的復(fù)復(fù)雜性，從智能能傳感器器到社交交網(wǎng)絡(luò)數(shù)數(shù)據(jù)，從從聲音圖圖片到在在線交易易數(shù)據(jù)，可能性性是無窮窮無盡的的。選擇擇正確的的數(shù)據(jù)來來源并進(jìn)進(jìn)行交叉叉分析可可以為企企業(yè)創(chuàng)

39、造造最顯著著的利益益。隨著著數(shù)據(jù)源源的爆發(fā)發(fā)式增長長，數(shù)據(jù)據(jù)的多樣樣性成為為“大數(shù)據(jù)據(jù)”應(yīng)用亟亟待解決決的問題題。例如如如何實實時地及及通過各各種數(shù)據(jù)據(jù)庫管理理系統(tǒng)來來安全地地訪問數(shù)數(shù)據(jù)，如如何通過過優(yōu)化存存儲策略略，評估估當(dāng)前的的數(shù)據(jù)存存儲技術(shù)術(shù)并改進(jìn)進(jìn)、加強(qiáng)強(qiáng)數(shù)據(jù)存存儲能力力，最大大限度地地利用現(xiàn)現(xiàn)有的存存儲投資資。從某某種意義義上說，數(shù)據(jù)將將成為企企業(yè)的核核心資產(chǎn)產(chǎn)?！按髷?shù)據(jù)據(jù)”不僅是是一場技技術(shù)變革革，更是是一場商商業(yè)模式式變革。在“大數(shù)據(jù)據(jù)”概念提提出之前前，盡管管互聯(lián)網(wǎng)網(wǎng)為傳統(tǒng)統(tǒng)企業(yè)提提供了一一個新的的銷售渠渠道，但但總體來來看，二二者平行行發(fā)展，鮮有交交集。我我們可以以看到，無論

40、是是Goooglee通過分分析用戶戶個人信信息，根根據(jù)用戶戶偏好提提供精準(zhǔn)準(zhǔn)廣告，還是FFaceeboook將用用戶的線線下社會會關(guān)系遷遷移在線線上，構(gòu)構(gòu)造一個個半真實實的實名名帝國，但這些些商業(yè)和和消費(fèi)模模式仍不不能脫離離互聯(lián)網(wǎng)網(wǎng)，傳統(tǒng)統(tǒng)企業(yè)仍仍無法嫁嫁接到互互聯(lián)網(wǎng)中中。同時時，傳統(tǒng)統(tǒng)企業(yè)通通過傳統(tǒng)統(tǒng)的用戶戶分析工工具卻很很難獲得得大范圍圍用戶的的真實需需求。企業(yè)從大大規(guī)模制制造過渡渡到大規(guī)規(guī)模定制制，必須須掌握用用戶的需需求特點點。在互互聯(lián)網(wǎng)時時代，這這些需求求特征往往往是在在用戶不不經(jīng)意的的行為中中透露出出來的。通過對對信息進(jìn)進(jìn)行關(guān)聯(lián)聯(lián)、參照照、聚類類、分類類等方法法分析，才能得得到答案

41、案?！按髷?shù)據(jù)據(jù)”在互聯(lián)聯(lián)網(wǎng)與傳傳統(tǒng)企業(yè)業(yè)間建立立一個交交集。它它推動互互聯(lián)網(wǎng)企企業(yè)融合合進(jìn)傳統(tǒng)統(tǒng)企業(yè)的的供應(yīng)鏈鏈，并在在傳統(tǒng)企企業(yè)種下下互聯(lián)網(wǎng)網(wǎng)基因。傳統(tǒng)企企業(yè)與互互聯(lián)網(wǎng)企企業(yè)的結(jié)結(jié)合，網(wǎng)網(wǎng)民和消消費(fèi)者的的融合，必將引引發(fā)消費(fèi)費(fèi)模式、制造模模式、管管理模式式的巨大大變革。大數(shù)據(jù)正正成為IIT行業(yè)業(yè)全新的的制高點點，各企企業(yè)和組組織紛紛紛助推大大數(shù)據(jù)的的發(fā)展，相關(guān)技技術(shù)呈現(xiàn)現(xiàn)百花齊齊放局面面，并在在互聯(lián)網(wǎng)網(wǎng)應(yīng)用領(lǐng)領(lǐng)域嶄露露頭角，具體情情況如下下圖四所所示：圖四大數(shù)據(jù)將將帶來巨巨大的技技術(shù)和商商業(yè)機(jī)遇遇，大數(shù)數(shù)據(jù)分析析挖掘和和利用將將為企業(yè)業(yè)帶來巨巨大的商商業(yè)價值值，而隨隨著應(yīng)用用數(shù)據(jù)規(guī)規(guī)模急劇劇

42、增加，傳統(tǒng)計計算面臨臨嚴(yán)重挑挑戰(zhàn)，大大規(guī)模數(shù)數(shù)據(jù)處理理和行業(yè)業(yè)應(yīng)用需需求日益益增加和和迫切出出現(xiàn)越來來越多的的大規(guī)模模數(shù)據(jù)處處理應(yīng)用用需求，傳統(tǒng)系系統(tǒng)難以以提供足足夠的存存儲和計計算資源源進(jìn)行處處理，云云計算技技術(shù)是最最理想的的解決方方案。調(diào)調(diào)查顯示示：目前前，ITT專業(yè)人人員對云云計算中中諸多關(guān)關(guān)鍵技術(shù)術(shù)最為關(guān)關(guān)心的是是大規(guī)模模數(shù)據(jù)并并行處理理技術(shù)大大數(shù)據(jù)并并行處理理沒有通通用和現(xiàn)現(xiàn)成的解解決方案案對于應(yīng)應(yīng)用行業(yè)業(yè)來說，云計算算平臺軟軟件、虛虛擬化軟軟件都不不需要自自己開發(fā)發(fā)，但行行業(yè)的大大規(guī)模數(shù)數(shù)據(jù)處理理應(yīng)用沒沒有現(xiàn)成成和通用用的軟件件，需要要針對特特定的應(yīng)應(yīng)用需求求專門開開發(fā)，涉涉及到諸

43、諸多并行行化算法法、索引引查詢優(yōu)優(yōu)化技術(shù)術(shù)研究、以及系系統(tǒng)的設(shè)設(shè)計實現(xiàn)現(xiàn)，這些些都為大大數(shù)據(jù)處處理技術(shù)術(shù)的發(fā)展展提供了了巨大的的驅(qū)動力力，大數(shù)據(jù)應(yīng)應(yīng)用大數(shù)據(jù)應(yīng)應(yīng)用闡述述大數(shù)據(jù)能能做什么么？我們們那么多多地方探探討大數(shù)數(shù)據(jù)，無無非總結(jié)結(jié)下來就就做三件件事：第一，對對信息的的理解。你發(fā)的的每一張張圖片、每一個個新聞、每一個個廣告，這些都都是信息息，你對對這個信信息的理理解是大大數(shù)據(jù)重重要的領(lǐng)領(lǐng)域。第二，用用戶的理理解，每每個人的的基本特特征，你你的潛在在的特征征，每個個用戶上上網(wǎng)的習(xí)習(xí)慣等等等，這些些都是對對用戶的的理解。第三，關(guān)關(guān)系。關(guān)關(guān)系才是是我們的的核心，信息與與信息之之間的關(guān)關(guān)系，一一條微

44、博博和另外外一條微微博之間間的關(guān)系系，一個個廣告和和另外一一個廣告告的關(guān)系系。一條條微博和和一個視視頻之間間的關(guān)系系，這些些在我們們?nèi)庋廴トタ吹臅r時候是相相對簡單單的。比如有條條微博說說這兩天天朝鮮綁綁架我們們船的事事，那條條微博也也大概是是談這件件事的。人眼一一眼就能能看出來來。但是是用機(jī)器器怎么能能看出來來這是一一件事，以及他他們之間間的因果果關(guān) 系系，這是是很有難難度的。然后就就是用戶戶與用戶戶之間的的關(guān)系。哪些人人你愿意意收聽，是你的的朋友，哪些是是你感興興趣的領(lǐng)領(lǐng)域，你你是一個個音樂達(dá)達(dá)人，你你是一個個吃貨，那個用用戶也 是一個個吃貨，你愿意意收聽他他。這就就是用戶戶與用戶戶之間的的

45、關(guān)系理理解。還還有用戶戶與信息息之間的的理解，就是你你對哪一一類型的的微博感感興趣，你對哪哪一類型型的信息息感興趣趣，如果果 牽扯扯到商業(yè)業(yè)化，你你對哪一一類的廣廣告或者者商品感感興趣。其實就就是用戶戶與信息息之間的的關(guān)系，他無非非是做這這件事。大數(shù)據(jù)說說的那么么懸，其其實主要要是做三三件事：對用戶戶的理解解、對信信息的理理解、對對關(guān)系的的理解。如果我我們在這這三件事事之間還還要提一一件事的的話，一一個叫趨趨勢。 他也是是關(guān)系的的一種變變種，只只是關(guān)系系稍微遠(yuǎn)遠(yuǎn)一點，情感之之間的分分析，還還有我們們政府部部門做的的輿情監(jiān)監(jiān)控。他他可以監(jiān)監(jiān)控大規(guī)規(guī)模的數(shù)數(shù)據(jù)，可可以分析析出人的的動向。在美國國的

46、好萊萊 塢，這兩年年也是基基于FAACEBBOOKK和TIIWTTTER的的數(shù)據(jù)來來預(yù)測即即將上映映的電影影的票房房。他也也是一個個趨勢的的分析，只是我我們把這這個趨勢勢提前來來。核心心就是這這三件事事。大數(shù)據(jù)應(yīng)應(yīng)用架構(gòu)構(gòu)大數(shù)據(jù)行行業(yè)應(yīng)用用醫(yī)療行業(yè)業(yè)Setoon HHeallthccaree是采用用IBMM最新沃沃森技術(shù)術(shù)醫(yī)療保保健內(nèi)容容分析預(yù)預(yù)測的首首個客戶戶。該技技術(shù)允許許企業(yè)找找到大量量病人相相關(guān)的臨臨床醫(yī)療療信息，通過大大數(shù)據(jù)處處理，更更好地分分析病人人的信息息。在加拿大大多倫多多的一家家醫(yī)院，針對早早產(chǎn)嬰兒兒，每秒秒鐘有超超過30000次次的數(shù)據(jù)據(jù)讀取。通過這這些數(shù)據(jù)據(jù)分析，醫(yī)院能能

47、夠提前前知道哪哪些早產(chǎn)產(chǎn)兒出現(xiàn)現(xiàn)問題并并且有針針對性地地采取措措施，避避免早產(chǎn)產(chǎn)嬰兒夭夭折。它讓更多多的創(chuàng)業(yè)業(yè)者更方方便地開開發(fā)產(chǎn)品品，比如如通過社社交網(wǎng)絡(luò)絡(luò)來收集集數(shù)據(jù)的的健康類類Appp。也許許未來數(shù)數(shù)年后，它們搜搜集的數(shù)數(shù)據(jù)能讓讓醫(yī)生給給你的診診斷變得得更為精精確，比比方說不不是通用用的成人人每日三三次一次次一片，而是檢檢測到你你的血液液中藥劑劑已經(jīng)代代謝完成成會自動動提醒你你再次服服藥。能源行業(yè)業(yè)智能電網(wǎng)網(wǎng)現(xiàn)在歐歐洲已經(jīng)經(jīng)做到了了終端，也就是是所謂的的智能電電表。在在德國，為了鼓鼓勵利用用太陽能能，會在在家庭安安裝太陽陽能，除除了賣電電給你，當(dāng)你的的太陽能能有多余余電的時時候還可可以買

48、回回來。通通過電網(wǎng)網(wǎng)收集每每隔五分分鐘或十十分鐘收收集一次次數(shù)據(jù)，收集來來的這些些數(shù)據(jù)可可以用來來預(yù)測客客戶的用用電習(xí)慣慣等，從從而推斷斷出在未未來23個月月時間里里，整個個電網(wǎng)大大概需要要多少電電。有了了這個預(yù)預(yù)測后，就可以以向發(fā)電電或者供供電企業(yè)業(yè)購買一一定數(shù)量量的電。因為電電有點像像期貨一一樣，如如果提前前買就會會比較便便宜，買買現(xiàn)貨就就比較貴貴。通過過這個預(yù)預(yù)測后，可以降降低采購購成本。維斯塔斯斯風(fēng)力系系統(tǒng)，依依靠的是是BiggInssighhts軟軟件和IIBM超超級計算算機(jī)，然然后對氣氣象數(shù)據(jù)據(jù)進(jìn)行分分析，找找出安裝裝風(fēng)力渦渦輪機(jī)和和整個風(fēng)風(fēng)電場最最佳的地地點。利利用大數(shù)數(shù)據(jù)，以以

49、往需要要數(shù)周的的分析工工作，現(xiàn)現(xiàn)在僅需需要不足足1小時時便可完完成。通信行業(yè)業(yè)XO CCommmuniicattionns通過過使用IIBM SPSSS預(yù)測測分析軟軟件，減減少了將將近一半半的客戶戶流失率率。XOO現(xiàn)在可可以預(yù)測測客戶的的行為，發(fā)現(xiàn)行行為趨勢勢，并找找出存在在缺陷的的環(huán)節(jié)，從而幫幫助公司司及時采采取措施施，保留留客戶。此外，IBMM新的NNeteezzaa網(wǎng)絡(luò)分分析加速速器，將將通過提提供單個個端到端端網(wǎng)絡(luò)、服務(wù)、客戶分分析視圖圖的可擴(kuò)擴(kuò)展平臺臺，幫助助通信企企業(yè)制定定更科學(xué)學(xué)、合理理決策。電信業(yè)者者透過數(shù)數(shù)以千萬萬計的客客戶資料料，能分分析出多多種使用用者行為為和趨勢勢，賣給

50、給需要的的企業(yè)，這是全全新的資資料經(jīng)濟(jì)濟(jì)。中國移動動通過大大數(shù)據(jù)分分析，對對企業(yè)運(yùn)運(yùn)營的全全業(yè)務(wù)進(jìn)進(jìn)行針對對性的監(jiān)監(jiān)控、預(yù)預(yù)警、跟跟蹤。系系統(tǒng)在第第一時間間自動捕捕捉市場場變化，再以最最快捷的的方式推推送給指指定負(fù)責(zé)責(zé)人，使使他在最最短時間間內(nèi)獲知知市場行行情。NTT doccomoo把手機(jī)機(jī)位置信信息和互互聯(lián)網(wǎng)上上的信息息結(jié)合起起來，為為顧客提提供附近近的餐飲飲店信息息，接近近末班車車時間時時，提供供末班車車信息服服務(wù)。零售業(yè)我們的的某個客客戶，是是一家領(lǐng)領(lǐng)先的專專業(yè)時裝裝零售商商，通過過當(dāng)?shù)氐牡陌儇浬躺痰?、網(wǎng)網(wǎng)絡(luò)及其其郵購目目錄業(yè)務(wù)務(wù)為客戶戶提供服服務(wù)。公公司希望望向客戶戶提供差差異化服服

51、務(wù)，如如何定位位公司的的差異化化，他們們通過從從 Twwittter 和 FFaceeboook 上上收集社社交信息息，更深深入的理理解化妝妝品的營營銷模式式，隨后后他們認(rèn)認(rèn)識到必必須保留留兩類有有價值的的客戶：高消費(fèi)費(fèi)者和高高影響者者。希望望通過接接受免費(fèi)費(fèi)化妝服服務(wù)，讓讓用戶進(jìn)進(jìn)行口碑碑宣傳，這是交交易數(shù)據(jù)據(jù)與交互互數(shù)據(jù)的的完美結(jié)結(jié)合，為為業(yè)務(wù)挑挑戰(zhàn)提供供了解決決方案。Innforrmatticaa的技術(shù)術(shù)幫助這這家零售售商用社社交平臺臺上的數(shù)數(shù)據(jù)充實實了客戶戶主數(shù)據(jù)據(jù)，使他他的業(yè)務(wù)務(wù)服務(wù)更更具有目目標(biāo)性。零售企業(yè)業(yè)也監(jiān)控控客戶的的店內(nèi)走走動情況況以及與與商品的的互動。它們將將這些數(shù)數(shù)據(jù)與

52、交交易記錄錄相結(jié)合合來展開開分析，從而在在銷售哪哪些商品品、如何何擺放貨貨品以及及何時調(diào)調(diào)整售價價上給出出意見，此類方方法已經(jīng)經(jīng)幫助某某領(lǐng)先零零售企業(yè)業(yè)減少了了17%的存貨貨，同時時在保持持市場份份額的前前提下，增加了了高利潤潤率自有有品牌商商品的比比例。大數(shù)據(jù)解解決方案案大數(shù)據(jù)技技術(shù)組成成大數(shù)據(jù)技技術(shù)由四四種技術(shù)術(shù)構(gòu)成，它們包包括：分析技術(shù)術(shù)分析技術(shù)術(shù)意味著著對海量量數(shù)據(jù)進(jìn)進(jìn)行分析析以實時時得出答答案，由由于大數(shù)數(shù)據(jù)的特特殊性，大數(shù)據(jù)據(jù)分析技技術(shù)還處處于發(fā)展展階段，老技術(shù)術(shù)會日趨趨完善，新技術(shù)術(shù)會更多多出現(xiàn)。大數(shù)據(jù)據(jù)分析技技術(shù)涵蓋蓋了以下下的的五五個方面面可視化分分析數(shù)據(jù)可視視化無論論對于普

53、普通用戶戶或是數(shù)數(shù)據(jù)分析析專家，都是最最基本的的功能。數(shù)據(jù)圖圖像化可可以讓數(shù)數(shù)據(jù)自己己說話，讓用戶戶直觀的的感受到到結(jié)果。數(shù)據(jù)挖掘掘算法圖像化化是將機(jī)機(jī)器語言言翻譯給給人看，而數(shù)據(jù)據(jù)挖掘就就是機(jī)器器的母語語。分割割、集群群、孤立立點分析析還有各各種各樣樣五花八八門的算算法讓我我們精煉煉數(shù)據(jù)，挖掘價價值。這這些算法法一定要要能夠應(yīng)應(yīng)付大數(shù)數(shù)據(jù)的量量，同時時還具有有很高的的處理速速度。預(yù)測分析析能力數(shù)據(jù)挖掘掘可以讓讓分析師師對數(shù)據(jù)據(jù)承載信信息更快快更好地地消化理理解，進(jìn)進(jìn)而提升升判斷的的準(zhǔn)確性性，而預(yù)預(yù)測性分分析可以以讓分析析師根據(jù)據(jù)圖像化化分析和和數(shù)據(jù)挖挖掘的結(jié)結(jié)果做出出一些前前瞻性判判斷。語義

54、引擎擎非結(jié)構(gòu)化化數(shù)據(jù)的的多元化化給數(shù)據(jù)據(jù)分析帶帶來新的的挑戰(zhàn)，我們需需要一套套工具系系統(tǒng)的去去分析，提煉數(shù)數(shù)據(jù)。語語義引擎擎需要設(shè)設(shè)計到有有足夠的的人工智智能以足足以從數(shù)數(shù)據(jù)中主主動地提提取信息息。數(shù)據(jù)質(zhì)量量和數(shù)據(jù)據(jù)管理數(shù)據(jù)質(zhì)量量與管理理是管理理的最佳佳實踐，透過標(biāo)標(biāo)準(zhǔn)化流流程和機(jī)機(jī)器對數(shù)數(shù)據(jù)進(jìn)行行處理可可以確保保獲得一一個預(yù)設(shè)設(shè)質(zhì)量的的分析結(jié)結(jié)果。我們知道道大數(shù)據(jù)據(jù)分析技技術(shù)最初初起源于于互聯(lián)網(wǎng)網(wǎng)行業(yè)。網(wǎng)頁存存檔、用用戶點擊擊、商品品信息、用戶關(guān)關(guān)系等數(shù)數(shù)據(jù)形成成了持續(xù)續(xù)增長的的海量數(shù)數(shù)據(jù)集。這些大大數(shù)據(jù)中中蘊(yùn)藏著著大量可可以用于于增強(qiáng)用用戶體驗驗、提高高服務(wù)質(zhì)質(zhì)量和開開發(fā)新型型應(yīng)用的的知識

55、，而如何何高效和和準(zhǔn)確的的發(fā)現(xiàn)這這些知識識就基本本決定了了各大互互聯(lián)網(wǎng)公公司在激激烈競爭爭環(huán)境中中的位置置。首先先，以GGooggle為為首的技技術(shù)型互互聯(lián)網(wǎng)公公司提出出了MaapReeducce的技技術(shù)框架架，利用用廉價的的PC服服務(wù)器集集群，大大規(guī)模并并發(fā)處理理批量事事務(wù)。利用文件件系統(tǒng)存存放非結(jié)結(jié)構(gòu)化數(shù)數(shù)據(jù)，加加上完善善的備份份和容災(zāi)災(zāi)策略，這套經(jīng)經(jīng)濟(jì)實惠惠的大數(shù)數(shù)據(jù)解決決方案與與之前昂昂貴的企企業(yè)小型型機(jī)集群群+商業(yè)業(yè)數(shù)據(jù)庫庫方案相相比，不不僅沒有有丟失性性能，而而且還贏贏在了可可擴(kuò)展性性上。之之前，我我們在設(shè)設(shè)計一個個數(shù)據(jù)中中心解決決方案的的前期，就要考考慮到方方案實施施后的可可擴(kuò)展

56、性性。通常常的方法法是預(yù)估估今后一一段時期期內(nèi)的業(yè)業(yè)務(wù)量和和數(shù)據(jù)量量，加入入多余的的計算單單元（CCPU）和存儲儲，以備備不時只只需。這樣的方方式直接接導(dǎo)致了了前期一一次性投投資的巨巨大，并并且即使使這樣也也依然無無法保證證計算需需求和存存儲超出出設(shè)計量量時的系系統(tǒng)性能能。而一一旦需要要擴(kuò)容，問題就就會接踵踵而來。首先是是商業(yè)并并行數(shù)據(jù)據(jù)庫通常常需要各各節(jié)點物物理同構(gòu)構(gòu)，也就就是具有有近似的的計算和和存儲能能力。而而隨著硬硬件的更更新，我我們通常常加入的的新硬件件都會強(qiáng)強(qiáng)于已有有的硬件件。這樣樣，舊硬硬件就成成為了系系統(tǒng)的瓶瓶頸。為為了保證證系統(tǒng)性性能，我我們不得得不把舊舊硬件逐逐步替換換掉，

57、經(jīng)經(jīng)濟(jì)成本本損失巨巨大。其其次，即即使是當(dāng)當(dāng)前最強(qiáng)強(qiáng)的商業(yè)業(yè)并行數(shù)數(shù)據(jù)庫，其所能能管理的的數(shù)據(jù)節(jié)節(jié)點也只只是在幾幾十或上上百這個個數(shù)量級級，這主主要是由由于架構(gòu)構(gòu)上的設(shè)設(shè)計問題題，所以以其可擴(kuò)擴(kuò)展性必必然有限限。而MMapRReduuce+GFSS框架，不受上上述問題題的困擾擾。需要要擴(kuò)容了了，只需需增加個個機(jī)柜，加入適適當(dāng)?shù)挠嬘嬎銌卧痛鎯?，集群群系統(tǒng)會會自動分分配和調(diào)調(diào)度這些些資源，絲毫不不影響現(xiàn)現(xiàn)有系統(tǒng)統(tǒng)的運(yùn)行行存儲數(shù)據(jù)據(jù)庫存儲數(shù)據(jù)據(jù)庫(IIn-MMemoory Dattabaasess)讓信信息快速速流通，大數(shù)據(jù)據(jù)分析經(jīng)經(jīng)常會用用到存儲儲數(shù)據(jù)庫庫來快速速處理大大量記錄錄的數(shù)據(jù)據(jù)流通

58、。比方說說，它可可以對某某個全國國性的連連鎖店某某天的銷銷售記錄錄進(jìn)行分分析，得得出某些些特征進(jìn)進(jìn)而根據(jù)據(jù)某種規(guī)規(guī)則及時時為消費(fèi)費(fèi)者提供供獎勵回回饋。但傳統(tǒng)的的關(guān)系型型數(shù)據(jù)庫庫嚴(yán)格的的設(shè)計定定式、為為保證強(qiáng)強(qiáng)一致性性而放棄棄性能、可擴(kuò)展展性差等等問題在在大數(shù)據(jù)據(jù)分析中中被逐漸漸暴露。隨之而而來，NNoSQQL數(shù)據(jù)據(jù)存儲模模型開始始風(fēng)行。NoSSQL，也有人人理解為為Nott Onnly SQLL，并不不是一種種特定的的數(shù)據(jù)存存儲模型型，它是是一類非非關(guān)系型型數(shù)據(jù)庫庫的統(tǒng)稱稱。其特特點是：沒有固固定的數(shù)數(shù)據(jù)表模模式、可可以分布布式和水水平擴(kuò)展展。NooSQLL并不是是單純的的反對關(guān)關(guān)系型數(shù)數(shù)據(jù)庫

59、，而是針針對其缺缺點的一一種補(bǔ)充充和擴(kuò)展展。典型型的NooSQLL數(shù)據(jù)存存儲模型型有文檔檔存儲、鍵-值值存儲、圖存儲儲、對象象數(shù)據(jù)庫庫、列存存儲等NoSSQL數(shù)數(shù)據(jù)庫是是一種建建立在云云平臺的的新型數(shù)數(shù)據(jù)處理理模式，NoSSQL在在很多情情況下又又叫做云云數(shù)據(jù)庫庫。由于于其處理理數(shù)據(jù)的的模式完完全是分分布于各各種低成成本服務(wù)務(wù)器和存存儲磁盤盤，因此此它可以以幫助網(wǎng)網(wǎng)頁和各各種交互互性應(yīng)用用快速處處理過程程中的海海量數(shù)據(jù)據(jù)。它為為Zynnga、AOLL、Ciiscoo以及其其它一些些企業(yè)提提供網(wǎng)頁頁應(yīng)用支支持。正正常的數(shù)數(shù)據(jù)庫需需要將數(shù)數(shù)據(jù)進(jìn)行行歸類組組織，類類似于姓姓名和帳帳號這些些數(shù)據(jù)需需要

60、進(jìn)行行結(jié)構(gòu)化化和標(biāo)簽簽化。但但是NooSQLL數(shù)據(jù)庫庫則完全全不關(guān)心心這些，它能處處理各種種類型的的文檔。在處理海海量數(shù)據(jù)據(jù)同時請請求時，它也不不會有任任何問題題。比方方說，如如果有110000萬人同同時登錄錄某個ZZyngga游戲戲，它會會將這些些數(shù)據(jù)分分布于全全世界的的服務(wù)器器并通過過它們來來進(jìn)行數(shù)數(shù)據(jù)處理理，結(jié)果果與1萬萬人同時時在線沒沒什么兩兩樣?，F(xiàn)現(xiàn)今有多多種不同同類型的的NoSSQL模模式。商商業(yè)化的的模式如如Couuchbbasee、100genn的moongooDB以以及Orraclle的NNoSQQL;開開源免費(fèi)費(fèi)的模式式如CoouchhDB和和Casssanndraa;還有