大數(shù)據(jù)分析與決策(2016-1)

大數(shù)據(jù)分析與決策

姜昱汐

(大連交通大學經(jīng)濟管理學院經(jīng)濟學教研室)一、大數(shù)據(jù)的相關概念二、大數(shù)據(jù)分析三、大數(shù)據(jù)應用的典型案例四、大數(shù)據(jù)的可靠性五、大數(shù)據(jù)與貝葉斯方法報告內容2023/10/182數(shù)據(jù)管理技術發(fā)展歷史數(shù)據(jù)管理技術歷經(jīng)人工管理、文件管理、數(shù)據(jù)庫管理等時代，大數(shù)據(jù)技術的出現(xiàn)使該領域進入了一個新的發(fā)展階段-3-194619511956196119701974197919912001200320082011第一臺計算機ENIAC面世磁帶+卡片人工管理磁盤被發(fā)明，進入文件管理時代網(wǎng)絡型SQLE-RGE公司發(fā)明第一個網(wǎng)絡模型數(shù)據(jù)庫，但僅限于GE自己的主機1960年代，IT系統(tǒng)規(guī)模和復雜度變大，數(shù)據(jù)與應用分離的需求開始產(chǎn)生，數(shù)據(jù)庫技術開始萌芽并蓬勃發(fā)展，并在1990年后逐步統(tǒng)一到以關系型數(shù)據(jù)庫為主導IBME.F.Dodd提出關系模型SQL語言被發(fā)明關系型數(shù)據(jù)庫ORACLE發(fā)布第一個商用SQL關系數(shù)據(jù)庫，后續(xù)快速發(fā)展數(shù)據(jù)倉庫數(shù)據(jù)倉庫開始涌現(xiàn)，關系數(shù)據(jù)庫開始全面普及且平臺無關，進入成熟期2001年后，互聯(lián)網(wǎng)迅速發(fā)展，數(shù)據(jù)量成倍遞增，量變引起質變，開始對數(shù)據(jù)管理技術提出全新的要求1946年，電腦誕生，數(shù)據(jù)與應用緊密捆綁在文件中，彼此不分Hadoop成為Apache頂級項目，重點支持海量數(shù)據(jù)分布式管理和分布式計算GFS谷歌發(fā)表論文介紹分布式計算大數(shù)據(jù)發(fā)展背景全球信息化發(fā)展已步入大數(shù)據(jù)時代150億個設備連接到互聯(lián)網(wǎng)全球每秒鐘發(fā)送290萬封電子郵件每天有2.88萬小時視頻上傳到YoutubeFacebook每日評論達32億條，每天上傳照片近3億張，每月處理數(shù)據(jù)總量約130萬TB2011年全球產(chǎn)生數(shù)據(jù)量1.8ZB，預計2020年將增長到35ZB大數(shù)據(jù)正迅速成為最值得關注的IT領域之一2011年5月，EMCWorld2011大會主題“云計算相遇大數(shù)據(jù)”，EMC除了一直倡導的云計算外，還拋出"大數(shù)據(jù)"（BigData）概念2011年6月底，IBM、麥肯錫等眾多國外機構發(fā)布"大數(shù)據(jù)"相關研究報告，予以積極跟進2011年10月，Gartner認為2012年十大戰(zhàn)略技術將包括"大數(shù)據(jù)"2011年11月底，IDC（互聯(lián)網(wǎng)數(shù)據(jù)中心）

將"大數(shù)據(jù)"放入2012年信息通信產(chǎn)業(yè)十大預測之一-4-IDC全球數(shù)據(jù)量預測（1ZB

=1百萬PB=10億TB）Google網(wǎng)站Bigdata關鍵詞搜索及新聞引用量什么是大數(shù)據(jù)123大數(shù)據(jù)的定義理解大數(shù)據(jù)的“4V”特征大數(shù)據(jù)的產(chǎn)生、增長2023/10/185“大數(shù)據(jù)”是如何產(chǎn)生的？21世紀是數(shù)據(jù)信息大發(fā)展的時代，移動互聯(lián)、社交網(wǎng)絡、電子商務等極大拓展了互聯(lián)網(wǎng)的邊界和應用范圍，各種數(shù)據(jù)正在迅速膨脹并變大?；ヂ?lián)網(wǎng)（社交、搜索、電商）、移動互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。

半個世紀以來，隨著計算機技術全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學科如天文學和基因學，創(chuàng)造出了“大數(shù)據(jù)”這個概念*。如今，這個概念幾乎應用到了所有人類智力與發(fā)展的領域中。2023/10/186大數(shù)據(jù)時代的爆炸增長想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。地球上至今總共的數(shù)據(jù)量：在2006年，個人用戶才剛剛邁進TB時代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個數(shù)字達到了1.8ZB。而有市場研究機構預測：到2020年，整個世界的數(shù)據(jù)總量將會增長44倍，達到35.2ZB（1ZB=10億TB）！1GB

=2^30字節(jié)1TB=2^40字節(jié)1PB

=2^50字節(jié)1EB

=2^60字節(jié)1ZB=2^70字節(jié)2023/10/187大數(shù)據(jù)的4V特征“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點的數(shù)據(jù)，才是大數(shù)據(jù)。VolumeVelocityValueVariety2023/10/188數(shù)據(jù)體量巨大（Volume）：百度資料表明，其新首頁導航每天需要提供的數(shù)據(jù)超過1.5PB(1PB=1024TB)，這些數(shù)據(jù)如果打印出來將超過5千億張A4紙。有資料證明，到目前為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)僅為200PB（不能在單個計算機上集中存儲，一般需要用到分布式/云計算模式等）。數(shù)據(jù)類型多樣化：現(xiàn)在的數(shù)據(jù)不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多種類型的數(shù)據(jù)，個性化、非結構化數(shù)據(jù)占據(jù)較大比例。大數(shù)據(jù)的4V特征處理速度快數(shù)據(jù)處理遵循“1秒定律”，可從各種類型的數(shù)據(jù)中快速獲取高價值的信息價值密度低：以視頻為例，幾小時的視頻，在不間斷的監(jiān)控過程中，有用的數(shù)據(jù)可能僅僅幾秒。單個數(shù)據(jù)可能價值不大，但是數(shù)據(jù)整體還是有高價值的（比如一個班級大家發(fā)的微博可能沒有特別大的意義，但是全國高校大學生發(fā)的微博就可以反映當代大學生思想理念）2023/10/189大數(shù)據(jù)的構成大數(shù)據(jù)=海量數(shù)據(jù)+復雜類型的數(shù)據(jù)海量交易數(shù)據(jù)：企業(yè)內部的經(jīng)營交易信息主要包括聯(lián)機交易數(shù)據(jù)和聯(lián)機分析數(shù)據(jù)，是結構化的、通過關系數(shù)據(jù)庫進行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。通過這些數(shù)據(jù)，我們能了解過去發(fā)生了什么。大數(shù)據(jù)包括：交易數(shù)據(jù)和交互數(shù)據(jù)集在內的所有數(shù)據(jù)集海量交互數(shù)據(jù)：源于Facebook、Twitter、微博、微信及其他來源的社交媒體數(shù)據(jù)構成。它包括了呼叫詳細記錄、設備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸協(xié)議傳送的海量圖像文件、Web文本和點擊流數(shù)據(jù)、科學信息、電子郵件等等?？梢愿嬖V我們未來會發(fā)生什么。海量數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設計用于數(shù)據(jù)密集型處理的架構。例如具有開放源碼、在商品硬件群中運行的ApacheHadoop。2023/10/18102023/10/1811大數(shù)據(jù)的市場潛力利用GPS數(shù)據(jù)了解交通狀況2012年3月29日奧巴馬政府公布了”大數(shù)據(jù)研發(fā)計劃”。該計劃的目標是改進現(xiàn)有人們從海量和復雜的數(shù)據(jù)中獲取知識的能力，從而加速美國在科學與工程領域發(fā)明的步伐，增強國家安全，轉變現(xiàn)有的教學和學習方式?！按髷?shù)據(jù)戰(zhàn)略”上升為美國最高國策對數(shù)據(jù)占有和控制，做為在陸權、海權、空權之外的另一種國家核心能力。大數(shù)據(jù)的浪潮大數(shù)據(jù)與喬布斯的癌癥治療沃爾瑪?shù)钠【婆c紙尿布沃爾瑪?shù)皳榕c颶風用品的關系谷歌流感預測中國大數(shù)據(jù)市場分析1312011年-2016年中國大數(shù)據(jù)市場規(guī)模22012年各行業(yè)大數(shù)據(jù)市場規(guī)模計世資訊預測，2012年政府、互聯(lián)網(wǎng)、電信、金融的大數(shù)據(jù)市場規(guī)模較大，四個行業(yè)將占據(jù)一半市場份額。由于各個行業(yè)都存在大數(shù)據(jù)應用需求，潛在市場空間非?？捎^。計世資訊認為，2011年是中國大數(shù)據(jù)市場元年，一些大數(shù)據(jù)產(chǎn)品已經(jīng)推出，部分行業(yè)也有大數(shù)據(jù)應用案例的產(chǎn)生。2012年-2016年，將迎來大數(shù)據(jù)市場的飛速發(fā)展。計世資訊預測，2012年中國大數(shù)據(jù)市場規(guī)模將達到4.7億元，2013年大數(shù)據(jù)市場將迎來增速為138.3%的飛躍，到2016年，整個市場規(guī)模逼近百億。大數(shù)據(jù)的商業(yè)價值行業(yè)數(shù)據(jù)處理方式價值銀行/金融貸款、保險、發(fā)卡等多業(yè)務數(shù)據(jù)集成分析，市場評估新產(chǎn)品風險評估股票等投資組合趨勢分析增加市場份額提升客戶忠誠度提高整體收入降低金融風險醫(yī)療共享電子病歷及醫(yī)療記錄，幫助快速診斷穿戴式設備遠程醫(yī)療改善診療質量加快診療速度互聯(lián)網(wǎng)在線廣告投放商品評分、排名社交網(wǎng)絡自動匹配搜索結果優(yōu)化提升網(wǎng)絡用戶忠誠度改善社交網(wǎng)絡體驗向目標用戶提供有針對性的商品與服務政府/公共事業(yè)智能城市信息網(wǎng)絡集成天氣、地理、水電煤氣等公共數(shù)據(jù)收集、研究公共安全信息集中處理、智能分析更好地對外提供公共服務輿情分析準確預判安全威脅媒體/娛樂收視率統(tǒng)計熱點信息統(tǒng)計、分析創(chuàng)造更多聯(lián)合、交叉銷售商機準確評估廣告效用零售基于用戶位置信息的準確促銷社交網(wǎng)絡購買行為分析促進客戶購買熱情順應客戶購買行為習慣一、大數(shù)據(jù)的相關概念二、大數(shù)據(jù)分析三、大數(shù)據(jù)應用的典型案例三、大數(shù)據(jù)的可靠性四、大數(shù)據(jù)與貝葉斯方法報告內容2023/10/1815分析技術：數(shù)據(jù)處理：自然語言處理技術統(tǒng)計和分析：A/Btest;topN排行榜；地域占比；文本情感分析數(shù)據(jù)挖掘：關聯(lián)規(guī)則分析；分類；聚類模型預測：預測模型；機器學習；建模仿真大數(shù)據(jù)技術：數(shù)據(jù)采集：ETL工具數(shù)據(jù)存?。宏P系數(shù)據(jù)庫；NoSQL；SQL等基礎架構支持：云存儲；分布式文件系統(tǒng)等計算結果展現(xiàn)：云計算；標簽云；關系圖等相關技術存儲結構化數(shù)據(jù)海量數(shù)據(jù)的查詢、統(tǒng)計、更新等操作效率低非結構化數(shù)據(jù)圖片、視頻、word、pdf、ppt等文件存儲不利于檢索、查詢和存儲半結構化數(shù)據(jù)轉換為結構化存儲按照非結構化存儲解決方案：Hadoop（MapReduce技術）流計算（twitter的storm和yahoo！的S4）2023/10/1816二、大數(shù)據(jù)分析二、大數(shù)據(jù)分析

AnalyticVisualizations（可視化分析）

DataMiningAlgorithms（數(shù)據(jù)挖掘算法）

PredictiveAnalyticCapabilities（預測性分析能力）

SemanticEngines（語義引擎）

DataQualityandMasterDataManagement（數(shù)據(jù)質量和數(shù)據(jù)管理）

二、大數(shù)據(jù)分析-可視化分析

AnalyticVisualizations（可視化分析）

不管是對數(shù)據(jù)分析專家還是普通用戶，數(shù)據(jù)可視化是數(shù)據(jù)分析工具最基本的要求?？梢暬梢灾庇^的展示數(shù)據(jù)，讓數(shù)據(jù)自己說話，讓觀眾聽到結果。二、大數(shù)據(jù)分析-數(shù)據(jù)挖掘算法

DataMiningAlgorithms（數(shù)據(jù)挖掘算法）

可視化是給人看的，數(shù)據(jù)挖掘就是給機器看的。集群、分割、孤立點分析還有其他的算法讓我們深入數(shù)據(jù)內部，挖掘價值。這些算法不僅要處理大數(shù)據(jù)的量，也要處理大數(shù)據(jù)的速度。

二、大數(shù)據(jù)分析-預測性分析能力

PredictiveAnalyticCapabilities（預測性分析能力）

數(shù)據(jù)挖掘可以讓分析員更好的理解數(shù)據(jù)，而預測性分析可以讓分析員根據(jù)可視化分析和數(shù)據(jù)挖掘的結果做出一些預測性的判斷。二、大數(shù)據(jù)分析-語義引擎

SemanticEngines（語義引擎）

我們知道由于非結構化數(shù)據(jù)的多樣性帶來了數(shù)據(jù)分析的新的挑戰(zhàn)，我們需要一系列的工具去解析，提取，分析數(shù)據(jù)。語義引擎需要被設計成能夠從“文檔”中智能提取信息。二、大數(shù)據(jù)分析-數(shù)據(jù)質量和數(shù)據(jù)管理

DataQualityandMasterDataManagement（數(shù)據(jù)質量和數(shù)據(jù)管理）數(shù)據(jù)質量和數(shù)據(jù)管理是一些管理方面的最佳實踐。通過標準化的流程和工具對數(shù)據(jù)進行處理可以保證一個預先定義好的高質量的分析結果。一、大數(shù)據(jù)的相關概念二、大數(shù)據(jù)分析三、大數(shù)據(jù)應用的典型案例三、大數(shù)據(jù)的可靠性四、大數(shù)據(jù)與貝葉斯方法報告內容2023/10/1823三、大數(shù)據(jù)應用的典型案例-流感預測2023/10/1824全球每年約10%~15%的人群會患上流感，受感染人群約5000萬人，死亡人數(shù)約50萬。這可不是個小數(shù)字。如果我們能夠盡早提前預測到流感即將爆發(fā)，無疑將使全球公眾都將受益：政府和醫(yī)療機構提前拿出應對措施，就能挽救大量生命。2008年，谷歌推出了其著名的流感趨勢網(wǎng)站（/flutrends）。該網(wǎng)站假定的前提是：如果用戶患上了流感，則他們會搜索更多同流感相關的信息。如此一來，如果對任何一個國家或地區(qū)有關流感的搜索量進行統(tǒng)計，就能較好推斷出某個國家或地區(qū)是否正爆發(fā)流感。2009年，谷歌在甲型H1N1流感爆發(fā)之前，用“谷歌流感趨勢”(GFT)模型成功預測了流感在美國境內的傳播。谷歌的相應數(shù)據(jù)，同美國疾病控制與預防中心(CDC)等政府機構所統(tǒng)計的數(shù)據(jù)非常接近（97%）。在某些情況下，谷歌甚至能夠比CDC提前一周預測出哪些地區(qū)將爆發(fā)流感。2023/10/1825全球每星期會有數(shù)以百萬計的用戶在網(wǎng)上搜索健康信息。正如您所預料的那樣，在流感季節(jié)，與流感有關的搜索會明顯增多；到了過敏季節(jié)，與過敏有關的搜索會顯著上升；而到了夏季，與曬傷有關的搜索又會大幅增加。某些搜索字詞非常有助于了解流感疫情。Google流感趨勢會根據(jù)匯總的Google搜索數(shù)據(jù)，近乎實時地對全球當前的流感疫情進行估測。搜索流感相關主題的人數(shù)與實際患有流感癥狀的人數(shù)之間存在著密切的關系。當然，并非每個搜索“流感”的人都真的患有流感，但將與流感有關的搜索查詢匯總到一起時，便可以找到一種模式。將統(tǒng)計的查詢數(shù)量與傳統(tǒng)流感監(jiān)測系統(tǒng)的數(shù)據(jù)進行了對比，結果發(fā)現(xiàn)許多搜索查詢在流感季節(jié)確實會明顯增多。通過對這些搜索查詢的出現(xiàn)次數(shù)進行統(tǒng)計，便可以估測出世界上不同國家和地區(qū)的流感傳播情況。Detectinginfluenzaepidemicsusingsearchenginequerydata,Nature

457,1012-1014(19February2009)三、大數(shù)據(jù)應用的典型案例-流感預測2023/10/1826卡耐基梅隆大學的JiweiLi和康乃爾大學的ClaireCardie，成功利用Twitter預測了早期流感爆發(fā)。他們的方式與Google類似。首先，從Twitter數(shù)據(jù)流中過濾包含與“流感”相關，并帶有位置標簽的tweet；然后，在地圖上標注這些tweet的位置分布，以及隨時間產(chǎn)生的變化。同時，還制作了流感的動態(tài)變化模型。新模型中，流感包括4個階段：無傳染階段、爆發(fā)階段、穩(wěn)定階段以及衰退階段。此外，采用了全新的算法，試圖盡可能快得發(fā)現(xiàn)不同時期的轉換節(jié)點。實際上，Li和Cardie在2008年6月至2010年6月間，已經(jīng)利用100萬美國人的360萬條tweet，驗證了該方法的有效性。為了檢驗他們的預測是否成真，Li和Cardie將他們的分析與CDC進行對比。他們說，“我們確信，流感相關tweet與CDC提供的流感疾病案例數(shù)目，呈顯著相關?！比?、大數(shù)據(jù)應用的典型案例-流感預測2023/10/1827日本國內有一個網(wǎng)站，你只要打開這個網(wǎng)站用自己的Twitter賬號登錄，就可以在短時間內通過數(shù)萬條Twitter找出可能感冒的人，并通過過去的感冒情況和今日的感冒情況進行分析（以及統(tǒng)計目前發(fā)燒以及嗓子痛的患者數(shù)量），另外該程序還會結合氣溫和濕度的變化來預測將來感冒的流行情況，并制作一個“易感冒日歷”。目前，此類服務正在日本陸續(xù)展開。通過這個服務器的分析，大家就能夠知道在自己身邊到底有多少人有感冒的癥狀，并提前做好預防準備。日本國立感染癥研究所將會把全國約

5000個醫(yī)療診所的流感患者進行統(tǒng)計并發(fā)布數(shù)據(jù)。經(jīng)過對比，研究所得出的實際統(tǒng)計數(shù)字和網(wǎng)站上預測的結果基本是一致的，那么為什么大數(shù)據(jù)的結果會很準呢？首先是因為通過網(wǎng)絡信息分析的技術有所進步，已經(jīng)可以通過各種各樣的留言自動搜索到相關的數(shù)據(jù)，并自動分類。就像Google現(xiàn)在所使用的技術，就是利用服務器分析與流感關系十分密切的十幾個單詞進行統(tǒng)計。另一個就是大數(shù)據(jù)所特有的功能。在流感最嚴重的時候，每天會有成千上萬條Tweets發(fā)布，即便有一些誤差，但通過數(shù)據(jù)分析也能分析出數(shù)據(jù)的精準度。以往，公共機構在發(fā)布流感情報的時候至少要延遲一周，在有些偏遠地區(qū)的立桿信息也并不確切，而現(xiàn)在，通過網(wǎng)絡能夠有效彌補這些缺憾。三、大數(shù)據(jù)應用的典型案例-流感預測2023/10/1828亞馬遜“預測式發(fā)貨”的新專利，可以通過對用戶數(shù)據(jù)的分析，在他們還沒有下單前，提前發(fā)出包裹。這項技術可以縮短發(fā)貨時間，從而降低消費者前往實體店的沖動。（因為在下單到收獲之間的時間延遲可能會降低人們的購物意愿，導致他們放棄網(wǎng)上購物)亞馬遜根據(jù)之前的訂單和其他因素，預測用戶的購物習慣，從而在他們實際下單前就將包裹發(fā)出。根據(jù)該專利文件，雖然包裹會提前從亞馬遜發(fā)出，但在用戶正式下單前，這些包裹會暫存在快遞公司的轉運中心或者卡車里。亞馬遜為了決定要運送那些貨物，可能會參考以前的訂單、商品搜索記錄、愿望清單、購物車、甚至包括用戶的鼠標在某件商品上停留的時間。三、大數(shù)據(jù)應用的典型案例-亞馬遜“預測式發(fā)貨”2023/10/18292012年11月奧巴馬大選連任成功的勝利果實也被歸功于大數(shù)據(jù)，因為他的競選團隊對選民的行為、支持偏向進行了數(shù)據(jù)搜集，并進行了大規(guī)模與深入的數(shù)據(jù)挖掘。在這次大選中，奧巴馬競選陣營的高級助理們決定將參考得到的數(shù)據(jù)分析結果來制定下一步的競選方案，從而獲得選民的支持。三、大數(shù)據(jù)應用的典型案例-奧巴馬選舉三、大數(shù)據(jù)應用的典型案例-“老鼠倉”2023/10/1830早在2009年，上交所曾經(jīng)利用“大數(shù)據(jù)”設置“捕鼠器”的設想，設定一定的指標預警，當相關指標達到某個預警點時，監(jiān)控系統(tǒng)會自動報警。深交所“大數(shù)據(jù)”監(jiān)控系統(tǒng)，設置200多個指標用于監(jiān)控估計，一旦出現(xiàn)股價偏離大盤的走勢，將利用大數(shù)據(jù)查探異動背后的機構或投資人。馬樂案，監(jiān)管系統(tǒng)發(fā)現(xiàn)有三個賬戶的交易特點和當時的博時精選基金高度重合，從交易記錄上可以看到，持股時間最長不過一兩個月，大多是三四天、四五天。三、大數(shù)據(jù)應用的典型案例-阿里“水文模型”2023/10/1831阿里“水文模型”是按照小微企業(yè)類型、級別等分別統(tǒng)計一個阿里系客戶的相關“水文數(shù)據(jù)”庫。如過往每到一個時點，該店鋪銷售會進入旺季，銷售額就會增長，同時沒到這個時段，該客戶對外投放的額度就會上升，結合這些水文數(shù)據(jù)，系統(tǒng)可以判斷出該店鋪的融資需求；結合該店鋪以往資金支出數(shù)據(jù)及同類店鋪資金支用數(shù)據(jù)，可以判斷出該店鋪的資金需求額度。三、大數(shù)據(jù)應用的典型案例-