一鳴驚人-大數(shù)據(jù)的誕生

教師：謝莎莎財務大數(shù)據(jù)分析基礎(chǔ)一鳴驚人——大數(shù)據(jù)的誕生案例：美國Target(塔吉特)百貨公司如何收集大數(shù)據(jù)？美國Target(塔吉特)公司什么是大數(shù)據(jù)？塔吉特（Target）的大數(shù)據(jù)系統(tǒng)會給每一個顧客編一個ID號在塔吉特（Target）顧客數(shù)據(jù)分析部的手里，記錄著消費者行為的海量數(shù)據(jù)。大數(shù)據(jù)是基于海量數(shù)據(jù)的積累一、大數(shù)據(jù)的定義定義：是指其大小超出了典型數(shù)據(jù)庫軟件的采集、存儲、管理和分析能力的數(shù)據(jù)集。2011年發(fā)布報告：《大數(shù)據(jù)，下一個創(chuàng)新、競爭和生產(chǎn)力的前沿》大數(shù)據(jù)對象：可能是實際的、有限的數(shù)據(jù)集合，如：某個政府部門或企業(yè)掌握的數(shù)據(jù)庫，可能是虛擬的、無限的數(shù)據(jù)集合，如：微博、微信、社交網(wǎng)絡(luò)上的全部信息。全球知名咨詢公司麥肯錫一、大數(shù)據(jù)的定義定義：大數(shù)據(jù)是需要新處理模式才能具有更強的決策力，洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。定義：大數(shù)據(jù)技術(shù)描述了新一代的技術(shù)和架構(gòu)體系，通過高速采集、發(fā)現(xiàn)或分析、提取各種各樣的大量數(shù)據(jù)的經(jīng)濟價值。二、大數(shù)據(jù)的特征大數(shù)據(jù)的起始計量單位至少是PB、往上為EB、ZB1PB也就是1024個TB1個PB相當于50%的全美學術(shù)研究圖書館藏書信息內(nèi)容；5EB相當于至今全世界人類所講過的話語；1ZB如同全世界海灘上的沙子數(shù)量總和。1、數(shù)據(jù)量大二、大數(shù)據(jù)的特征海量數(shù)據(jù)是如何產(chǎn)生的呢？可以刻滿6.4億張DVD24PB的數(shù)據(jù)234億分鐘，被移動互聯(lián)網(wǎng)使用者發(fā)送和接收的數(shù)據(jù)高達44PB290萬封電子郵件，晝夜不停的讀5.5年2.88萬個小時的視頻上傳到Y(jié)ouTube，晝夜不停的觀看3.3年。到2020年止，全球總共擁有35ZB的數(shù)據(jù)量二、大數(shù)據(jù)的特征大數(shù)據(jù)來源與涉及的領(lǐng)域越來越廣：（一）有來自大部分人群的互聯(lián)網(wǎng)數(shù)據(jù)，如：智能終端拍照，拍視頻所產(chǎn)生的照片和視頻，比如：聊天工具微信、微博發(fā)出的信息；用戶在淘寶等電子商務網(wǎng)站上購物所產(chǎn)生的瀏覽信息、交易記錄、訂單信息等等；（二）有來自工廠領(lǐng)域大量傳感器的機器數(shù)據(jù)。如：工控設(shè)備的監(jiān)控數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)等，（三）有來自科學研究及行業(yè)的多結(jié)構(gòu)專業(yè)數(shù)據(jù)，如：指紋、醫(yī)療CT圖像、道路交通監(jiān)控等。二、大數(shù)據(jù)的特征金融電信能源零售餐飲政務醫(yī)療體育娛樂汽車“一天等于兩千年”，說的就是今天一天的數(shù)據(jù)相當于過去兩千年產(chǎn)生的數(shù)據(jù)流量總和。二、大數(shù)據(jù)的特征2、數(shù)據(jù)類型多結(jié)構(gòu)化數(shù)據(jù)按照其結(jié)構(gòu)的不同半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)二、大數(shù)據(jù)的特征2、數(shù)據(jù)類型多結(jié)構(gòu)化數(shù)據(jù)：是一類能夠用數(shù)據(jù)或統(tǒng)一的結(jié)構(gòu)加以表示的數(shù)據(jù)，如：數(shù)字符號。我們通常接觸的包括生產(chǎn)、業(yè)務、交易、客戶信息等方面的記錄都屬于結(jié)構(gòu)化信息。典型場景比如：企業(yè)ERP、財務系統(tǒng)、醫(yī)療數(shù)據(jù)庫、教育一卡通、其他核心數(shù)據(jù)庫等。非結(jié)構(gòu)化數(shù)據(jù)：是一類無法用數(shù)字或統(tǒng)一的結(jié)構(gòu)表示的數(shù)據(jù)，如：所有格式的辦公文檔、文本、圖片、圖像和音頻、視頻信息等。半結(jié)構(gòu)化數(shù)據(jù)：就是介于完全結(jié)構(gòu)化數(shù)據(jù)和完全無結(jié)構(gòu)的數(shù)據(jù)之間的數(shù)據(jù)。二、大數(shù)據(jù)的特征2、數(shù)據(jù)類型多85%半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)占到了85%以上15%結(jié)構(gòu)化數(shù)據(jù)目前只占總數(shù)的15%數(shù)據(jù)的增長日益趨向非結(jié)構(gòu)化二、大數(shù)據(jù)的特征3、數(shù)據(jù)價值大、數(shù)據(jù)處理速度快大數(shù)據(jù)在不同發(fā)展階段，業(yè)界對大數(shù)據(jù)的特性認知也在逐步完善，涵蓋范圍也更加全面。二、大數(shù)據(jù)的特征舉例說明：小彬去了100次超市（1）傳統(tǒng)數(shù)據(jù)：小彬下次來超市會不會購物，這關(guān)注的是業(yè)績和經(jīng)營指標的問題。（2）大數(shù)據(jù)：小彬下次來會購買什么？需要將什么樣的物品推薦給他。傳統(tǒng)數(shù)據(jù)與大數(shù)據(jù)之間的區(qū)別是什么呢？群體個體既轟轟烈烈，又悄然而至；