大數據時代深度解析

1、大數據時代深度解析大數據時代認識大數據大數據帶來的變革大數據背景下的企業(yè)管理大數據的商業(yè)價值大數據的風險大數據何為大？數據度量1Byte = 8 Bit1KB = 1,024 Bytes1MB = 1,024 KB = 1,048,576 Bytes1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes1EB = 1,024

2、 PB = 1,152,921,504,606,846,976 Bytes1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes大數據紅樓夢含標點87萬字（不含標點853509字）每個漢字占兩個字節(jié)：1漢字=16bit = 2*8位=2bytes1GB 約等于671部紅樓夢1TB 約等于631,903 部1PB 約等于647,068,911部美國國會圖書館藏書（151,785,778冊）（2011年4月：收錄數據235TB ）1EB

3、= 4000倍美國國會圖書館存儲的信息量facebook社交網絡淘寶、ebuy電子商務微博、Apps移動互聯(lián) 21世紀是數據信息大發(fā)展的時代，移動互聯(lián)、社交網絡、電子商務等極大拓展了互聯(lián)網的邊界和應用范圍，各種數據正在迅速膨脹并變大。 互聯(lián)網（社交、搜索、電商）、移動互聯(lián)網（微博）、物聯(lián)網（傳感器，智慧地球）、車聯(lián)網、GPS、醫(yī)學影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產生著數據?！按髷祿钡恼Q生： 半個世紀以來，隨著計算機技術全面融入社會生活，信息爆炸已經積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學科如天

4、文學和基因學，創(chuàng)造出了“大數據”這個概念*。如今，這個概念幾乎應用到了所有人類智力與發(fā)展的領域中。大數據時代的背景迎接大數據時代的到來硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發(fā)展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯(lián)網迎接大數據時代的到來硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發(fā)展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯(lián)網迎接大數據時代的到來硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發(fā)展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯(lián)網迎接大數據時代的到來硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發(fā)展智能終端的

5、普及電子商務、社交網絡、電子地圖等的全面應用物聯(lián)網迎接大數據時代的到來硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發(fā)展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯(lián)網迎接大數據時代的到來硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發(fā)展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯(lián)網迎接大數據時代的到來硬件成本的降低網絡帶寬的提升云計算的興起網絡技術的發(fā)展智能終端的普及電子商務、社交網絡、電子地圖等的全面應用物聯(lián)網迎接大數據時代的到來大數據處理技術讓大數據能夠為我所用，大數據時代終于開啟了。一天之間，互聯(lián)網上要發(fā)生多少事每天有2940億封電子郵件發(fā)出，如果這些

6、是紙質信件，在美國需要花費兩年時間處理；每天有200萬篇博客在網上發(fā)布，這些文章相當于時代雜志刊發(fā)770年的總量；每天有2.5億張照片上傳至社交網站Facebook，如果都打印出來，摞在一起能有80個埃菲爾鐵塔那么高；每天有86.4萬小時視頻被上傳至視頻網站Youtube，相當于不間斷播放視頻98年；每天有1.87億個小時的音樂會在流媒體音樂網站Pandora上播放，如果一臺電腦從公元元年就開始播放這些音樂會，到現(xiàn)在還沒完沒了地接著放；谷歌翻譯每天處理的文字數量,每天翻譯次數達十億次，相當于一百萬冊圖書，超過了全世界的專業(yè)翻譯人員一年能夠翻譯的文字規(guī)模；百度每天的關鍵詞搜索量50億，谷歌33.

7、3億；淘寶天貓雙11那一天營業(yè)額達191億人民幣。中國小商品城全年成交額才580.03億元人民幣；累積起來，互聯(lián)網一天之內產生的信息總量，可以裝滿1.68億張DVD光盤。未來：物聯(lián)網每天產生的數據將會是海量的。GBTBPBEBZB想駕馭這龐大的數據，我們必須了解大數據的特征。地球上至今總共的數據量：在2006 年，個人用戶才剛剛邁進TB時代，全球一共新產生了約180EB的數據；在2011 年，這個數字達到了1.8ZB。而有市場研究機構預測：到2020 年，整個世界的數據總量將會增長44 倍，達到35.2ZB（1ZB=10 億TB）！1PB = 250字節(jié)1EB = 260字節(jié)1ZB = 270

8、字節(jié)大數據時代的爆炸增長大數據 = 海量數據 + 復雜類型的數據大數據包括：交易數據和交互數據集在內的所有數據集大數據的構成海量交易數據：企業(yè)內部的經營交易信息主要包括聯(lián)機交易數據和聯(lián)機分析數據，是結構化的、通過關系數據庫進行管理和訪問的靜態(tài)、歷史數據。通過這些數據，我們能了解過去發(fā)生了什么。海量交互數據：源于Facebook、Twitter、LinkedIn及其他來源的社交媒體數據構成。它包括了呼叫詳細記錄CDR、設備和傳感器信息、GPS和地理定位映射數據、通過管理文件傳輸Manage File Transfer協(xié)議傳送的海量圖像文件、Web文本和點擊流數據、科學信息、電子郵件等等。可以告訴

9、我們未來會發(fā)生什么。海量數據處理：大數據的涌現(xiàn)已經催生出了設計用于數據密集型處理的架構。例如具有開放源碼、在商品硬件群中運行的Apache Hadoop。1. Volume2. Variety3. value4. Velocity結構化數據、半結構化數據和非結構化數據如今的數據類型早已不是單一的文本形式，訂單、日志、音頻，對處理能力提出了更高的要求沙里淘金，價值密度低以視頻為例，一部一小時的視頻，在連續(xù)不間斷監(jiān)控過程中，可能有用的數據僅僅只有一兩秒。如何通過強大的機器算法更迅速地完成數據的價值“提純”是目前大數據洶涌背景下亟待解決的難題實時獲取需要的信息大數據區(qū)分于傳統(tǒng)數據最顯著的特征。如今已

10、是ZB時代，在如此海量的數據面前，處理數據的效率就是企業(yè)的生命大數據是指無法在一定時間內用傳統(tǒng)數據庫軟件工具對其內容進行抓取、管理和處理的數據集合什么是Big Data數據量巨大全球在2010 年正式進入ZB 時代，IDC預計到2020 年，全球將總共擁有35ZB 的數據量“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價值密度低（Value）”就是“大數據”的顯著特征，或者說，只有具備這些特點的數據，才是大數據。VolumeVelocityValueVariety大數據的4V特征大數據能給我們帶來什么？大數據時代認識大數據大數據帶來的變革大數據背景下的企業(yè)管理

11、大數據的商業(yè)價值大數據的風險大數據時代全新的生活方式大數據時代的物聯(lián)網，帶給我們智能家居。大數據時代全新的生活方式購物：不受時空限制，隨時隨地購物。在看不到商品的情況下，口碑就是質量。大數據時代全新的生活方式旅行：足不出戶，安排好一切。大數據時代全新的生活方式信息：人人都是傳媒。大數據時代全新的生活方式社交：你所有的朋友都能在網絡上找到。大數據時代全新的思維方式分析事物時，依賴該事物的所有數據，不再是進行樣本分析。在大數據時代，允許不精確。更注重相關關系，而不是因果關系。大數據時代全新的商業(yè)模式紙牌屋。Netflix并不是任何一個電視臺，而是電視臺和電影院的平臺，是北美最大的付費訂閱視頻網站。

12、基于其3000萬北美用戶觀看視頻時留下的行為數據，預測出凱文史派西、大衛(wèi)芬奇和“BBC出品”三種元素結合在一起的電視劇產品將會大火特火 。此外，Netflix還通過“大數據”觀測到另一流行趨勢：越來越多的人不再像30年前那樣，在固定晚上的固定時刻守在電視機前，等著收看電視劇的最新劇集，而是“攢”起來，直到整季劇情全部播放完畢之后，才選一個自己方便的時間段和地點，在方便的設備（多數是網絡設備，如電腦、iPad）上一次性觀看。大數據時代全新的管理模式除了上帝，任何人都必須用數據來說話。案例：google的設計師卓越的管理者必須要利用數據進行決策。案例：克強指數 卓越的管理者利用數據進行決策克強指數

13、：工業(yè)用電量、中長期信貸余額和鐵路貨運量 。大數據時代認識大數據大數據帶來的變革大數據背景下的企業(yè)管理大數據時代的商業(yè)價值大數據的風險大數據時代的企業(yè)管理數據從哪里來？數據怎么用？除了上帝，任何人都必須用數據來說話。數據來源于業(yè)務。量化一切，數據化的核心。案例：對酒店門童服務的量化。1、企業(yè)信息化建設，收集數據。企業(yè)信息化把數據數字化，實現(xiàn)數據管理。大數據時代的企業(yè)信息化企業(yè)信息化管理的是大數據中的結構化數據的那部分，因此精確度可以達到100%。前提是數據錄入100%的準確。管理設計合理 + 業(yè)務操作正確 = 正確的數據企業(yè)管理的數據數據是企業(yè)最寶貴的財富。 1）產品數據：計算、設計、仿真、工

14、藝、加工、試驗、維護數據、產品結構、配置關系、變更記錄等。隨著三維造型技術、真三維渲染、虛擬現(xiàn)實技術的廣泛應用，產品模型的數據量也迅速增大；而對產品進行多學科仿真分析，更是需要高性能計算環(huán)境來處理海量的數據。計算能力的迅速提升，使得工程師在產品性能仿真時，可以設定更細的有限元網格和更多的自由度，從而進行更加準確的仿真。這加速了產品數據量的“擴容”。 2）運營數據：組織結構、管理制度、人力資源、薪酬、福利、設備、營銷、財務、質量、生產、采購、庫存、標準/行業(yè)法規(guī)、知識產權、工作計劃、市場推廣、辦公文檔、媒體傳播、電子商務等。例如，在市場推廣方面，涉及到越來越多的多媒體數據，例如視頻。 3）價值鏈

15、數據：客戶、供應商、合作伙伴、聯(lián)系人、聯(lián)絡記錄、合同、回款、客戶滿意度等。例如，在客戶服務過程中，涉及到很多服務原始記錄的保存。 4）外部數據：經濟數據、政策信息、行業(yè)數據、競爭對手數據等。2、基于業(yè)務數據的BI，分析數據挖掘數據寶藏，為決策提供數據依據。-數據的價值在于應用！3、大數據在企業(yè)管理中的應用1）預測 預測對企業(yè)的各項職能活動包括采購原材料、擴充機器設備、補充人員等需要依據市場進行調整的活動有重要意義。預測是整個企業(yè)系統(tǒng)的重要輸入和依據，具體地將，其重要性可以從以下幾個方面來考慮：（1）對于戰(zhàn)略部門而言，預測可以提供決策的依據；（2）對于銷售部門而言，為補充銷售人員提供依據；（3）

16、對于成本會計而言，預測可以為預算和成本控制提供依據；（4）對于采購部門而言，便于采購部門制定制定準確的采購計劃，以降低總的生產成本；（5）對于生產計劃和控制部門而言，預測是企業(yè)編制生產計劃的基礎，是生產計劃編制的主要輸入；（6）對于研發(fā)部門而言，新產品的預測可以為設計提供參考，根據對市場的預測進行產品的開發(fā)，這樣的產品才會有市場，才會有競爭力；3、大數據在企業(yè)管理中的應用2）更有效地組織企業(yè)以節(jié)省資金 把ERP作為整個企業(yè)的通訊系統(tǒng)，使得企業(yè)整體合作的意識和作用加強。通過準確和及時的信息傳遞，把大家的精力集中在同一個方向上，以工作流程的觀點和方式來運營和管理企業(yè)，而不是把企業(yè)看作是一個個部門的

17、組合。在這種情況下，特別是在市場銷售和生產制造部門之間可以形成從未有過的、深刻的合作，共同努力滿足客戶需求，贏得市場。案例：使用新的大數據源，可以使供應鏈中的物流業(yè)可以變得更高效。送貨的卡車內的電子車載定位功能可以告訴我們他們在哪里、通過結合道路狀況、交通信息和天氣條件以及客戶的位置等數據，驅動送貨的卡車進行最優(yōu)路徑的運送，可以大大節(jié)省您的時間和金錢。ERP是對企業(yè)物流與資金流進行一體化管理和集成化運行的計算機管理軟件系統(tǒng)，它的應用涉及企業(yè)財務管理部門、業(yè)務管理部門、銷售部門、生產部門以及人力資源管理部門等，它強調系統(tǒng)運行的整體集成性、數據共享與數據一致性控制機制。 在大數據時代的ERP有了更

18、多的功能，可以與大數據集成，更有效地組織企業(yè)以節(jié)省資金。3、大數據在企業(yè)管理中的應用3）真正實時的了解客戶案例：亞馬遜已然將這一點做到了極致，他們?yōu)榭蛻敉扑]的產品絕不是一個巧合。亞馬遜的推薦引擎完全是基于客戶在過去一段時間的購買行為所做的：客戶的購物車中所收藏的商品、客戶喜歡的商品、其它用戶瀏覽或購買的商品。亞馬遜使用的該算法，為每位客戶定制了專屬的個人主頁。利用該策略是：該公司在其第三財政季度期間銷售增長27%，達到了131.8億美元，而去年同期的銷售額則為96億美元。 在過去，企業(yè)普遍通過采用小組和調查問卷的方式找出我們的客戶在哪里。而當調查結果總結出來時，結果往往已經是過時的了。而利用大

19、數據，這種狀況將不再發(fā)生。使用互連的社交媒體數據、移動數據、網絡分析和其他數據分析，企業(yè)可以充分了解每一位客戶，實時的知道他們想要什么，以及何時想要。真正了解客戶，意味著可以結合客戶的個性化特點，給出有針對性的建議或顯示廣告。3、大數據在企業(yè)管理中的應用4）企業(yè)共同創(chuàng)建、實時改進和創(chuàng)新產品大數據分析可以幫助企業(yè)更好地了解客戶所想要的產品。通過從社會媒體和博客上收集人們如何評價某款產品，能夠為企業(yè)提供比傳統(tǒng)的問卷調查更多的信息。特別是當這些信息是實時收集到的，企業(yè)可以立即有針對性的對可能存在的問題做出改進。這樣不僅可以很好的評估您的產品，同時還能夠收集到不同人口群體或不同的地方的人對于某款產品的

20、評價。案例：福特公司便在硅谷開設了一件實驗室進行汽車產品的改進研發(fā)。為了提高汽車的質量、減少燃油消耗、提升安全性能、減少排放，福特公司收集了超過400萬輛汽車的數據，包括汽車傳感器和遠程應用程序管理軟件。所有的數據都是實時的，允許工程師實時分析問題，了解并掌握汽車在不同的道路和天氣狀況、以及任何其他因素影響下的行駛狀況。3、大數據在企業(yè)管理中的應用5）利用大數據找到新的商業(yè)機會 企業(yè)可以使用大數據發(fā)現(xiàn)顧客尚未提出的需求。大數據也可以幫助企業(yè)發(fā)現(xiàn)在哪個市場推出首款產品，或哪里放置產品。案例：丹麥的一家能源公司維斯塔斯風力系統(tǒng)使用大數據和分析，找到了世界上最好的使用風力渦輪機的地方。大數據時代認識

21、大數據大數據帶來的變革大數據背景下的企業(yè)管理大數據的商業(yè)價值大數據的風險大數據的商業(yè)價值大數據的市場空間及對社會的貢獻數據的再利用： 由于在信息價值鏈中的特殊位置，有些公司可能會收集到大量的數據，但他們并不急需使用也不擅長再次利用這些數據。例如，移動電話運營商手機用戶的位置信息來傳輸電話信號，這對以他們來說，數據只有狹窄的技術用途。但當它被一些發(fā)布個性化位置廣告服務和促銷活動的公司再次利用時，則變得更有價值。大數據價值鏈的3大構成：數據本身、技能與思維 其中三者兼具的有谷歌公司，谷歌在剛開始收集數據的時候就已經有多次使用數據的想法。比方說，它的街景采集車手機全球定位系統(tǒng)數據不光是為了創(chuàng)建谷歌地

22、圖，也是為了制成全自動汽車以及谷歌眼鏡等與實景交匯的產品。未來，企業(yè)會依靠洞悉數據中的信息更加了解自己，也更加了解客戶。大數據時代傳統(tǒng)行業(yè)最終都會轉變?yōu)榇髷祿袠I(yè)，無論是金融服務也、醫(yī)藥還是制造業(yè)。大數據的應用互聯(lián)網公司受益于大數據中國工程院院士鄔賀銓說道，“智慧城市是使用智能計算技術使得城市的關鍵基礎設施的組成和服務更智能、互聯(lián)和有效，隨著智慧城市的建設，社會將步入“大數據”時代?！敝腔壅罩腔劢煌ㄖ腔垭娋W智慧教育智慧醫(yī)療公共管理部門受益于大數據根據國家信息中心信息化研究部統(tǒng)計，目前我國提出智慧城市建設的城市總數已達到154個，預計投資規(guī)模超過1.5萬億元。 智慧城市必將產生大數據，利用大數據的思維來改變公共管理部門的形象。醫(yī)療可利用多種大數據手段臨床操作 1、療效比較研究 2、臨床決策支持系統(tǒng) 3、醫(yī)療數據透明度 4、遠程醫(yī)療監(jiān)護 5、針對患者情況的先進分析付款/定價 1、自動化系統(tǒng)