大數(shù)據(jù)的介紹PPT課件.ppt

大數(shù)據(jù)介紹 1 2019 11 4 目錄 大數(shù)據(jù)的概念大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別 大數(shù)據(jù)的典型特征 3V 廣義的大數(shù)據(jù)大數(shù)據(jù)應(yīng)用案例 2 2020 1 8 大數(shù)據(jù)的概念 大數(shù)據(jù) BigData 是指無法用現(xiàn)有的軟件工具提取 存儲(chǔ) 搜索 共享 分析和處理的海量的 復(fù)雜的數(shù)據(jù)集合簡(jiǎn)單一點(diǎn)的說 就是用現(xiàn)有一般技術(shù)難以管理的數(shù)據(jù) 3 2020 1 8 大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別 小明去了一百次書店傳統(tǒng)數(shù)據(jù) 要回答的問題是他第一百零一次買不買書 即業(yè)績(jī)和經(jīng)營(yíng)指標(biāo)的問題 大數(shù)據(jù) 要回答的是他第一百零一次買什么書 需要將什么樣的內(nèi)容推薦給他 群體和個(gè)體的區(qū)別傳統(tǒng)定義上 更多關(guān)注的是一類人群 用同一類規(guī)則制訂套餐給他們 互聯(lián)網(wǎng)時(shí)代 要把每個(gè)人都精準(zhǔn)刻畫出來 進(jìn)行精準(zhǔn)匹配 4 2020 1 8 大數(shù)據(jù)的典型特征 3V Volume 容量 現(xiàn)在基本上是指從幾十TB到幾PB這樣的數(shù)量級(jí) 未來 可能只有幾EB數(shù)量級(jí)的數(shù)據(jù)量才能稱得上是大數(shù)據(jù)了 1T 1024G 1P 1024T Variety 多樣性 結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)Velocity 速度 數(shù)據(jù)產(chǎn)生和更新的頻率 5 2020 1 8 廣義的大數(shù)據(jù) 所謂大數(shù)據(jù) 是一個(gè)綜合性概念 它包括 1 因具備3V特征而難以進(jìn)行管理的數(shù)據(jù) 2 對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ) 處理 分析的技術(shù) 3 以及能夠通過分析這些數(shù)據(jù)獲得實(shí)用意義和觀點(diǎn)的人才和組織 6 2020 1 8 大數(shù)據(jù)的應(yīng)用案例 7 2020 1 8 穿孔卡片與美國(guó)人口普查 美國(guó)在1880年進(jìn)行的人口普查 耗時(shí)8年才完成數(shù)據(jù)匯總 因此 他們獲得的很多數(shù)據(jù)都是過時(shí)的 1890年進(jìn)行的人口普查 預(yù)計(jì)要花費(fèi)13年的時(shí)間來匯總數(shù)據(jù) 后來 美國(guó)人口普查局通過用赫爾曼 霍爾瑞斯發(fā)明的穿孔卡片制表機(jī)來進(jìn)行1890年的人口普查 耗時(shí)一年 8 2020 1 8 麻省理工與通貨緊縮預(yù)測(cè)軟件 美國(guó)勞工統(tǒng)計(jì)局的人員每個(gè)月都要公布消費(fèi)物價(jià)指數(shù) CPI 這是用來測(cè)試通貨膨脹率的 政府通過人工采集價(jià)格信息數(shù)據(jù)每年大概需要花費(fèi)兩億五千萬美元 這些數(shù)據(jù)是精確的也是有序的 但是數(shù)據(jù)往往會(huì)有幾周的滯后 麻省理工學(xué)院 MIT 的兩位經(jīng)濟(jì)學(xué)家 通過一個(gè)軟件在互聯(lián)網(wǎng)上每天可以收集到50萬種商品的價(jià)格 他們能比官方數(shù)據(jù)提前發(fā)現(xiàn)通貨緊縮趨勢(shì) 9 2020 1 8 沃爾瑪 請(qǐng)把蛋撻與颶風(fēng)用品擺在一起 通過對(duì)歷史交易記錄這個(gè)龐大數(shù)據(jù)庫(kù)進(jìn)行觀察 沃爾瑪注意到 每當(dāng)季節(jié)性颶風(fēng)來臨之前 不僅手電筒銷量增加 而且美式早餐含糖零食蛋撻銷量也增加了 因此每當(dāng)季節(jié)性颶風(fēng)來臨時(shí) 沃爾瑪就會(huì)把蛋撻與颶風(fēng)用品擺放在一起 從而增加銷量 10 2020 1 8 沃爾瑪 東海岸 中海岸 西海岸 在美國(guó) 東海岸 中海岸 西海岸之間有兩小時(shí)時(shí)差 東海岸的沃爾瑪營(yíng)業(yè)兩小時(shí)后之后 中海岸才開始營(yíng)業(yè) 沃爾瑪就會(huì)把東海岸當(dāng)天這兩小時(shí)的營(yíng)業(yè)情況 相關(guān)數(shù)據(jù)傳給中海岸 中海岸就會(huì)根據(jù)這個(gè)數(shù)據(jù)知道了這天人們的購(gòu)物喜好 決定貨品怎么擺放 哪些貨物擺放在一起會(huì)比較好 這種方式給沃爾瑪帶來了很大的利潤(rùn) 11 2020 1 8 美國(guó)折扣零售商塔吉特與懷孕預(yù)測(cè) 塔吉特公司能在不被清楚告知的情況下預(yù)測(cè)出一個(gè)女性的懷孕情況該公司找出了大概20多種與懷孕的關(guān)聯(lián)物 給顧客進(jìn)行 懷孕趨勢(shì) 評(píng)分這些數(shù)據(jù)甚至使得零售商能夠比較準(zhǔn)確地預(yù)測(cè)預(yù)產(chǎn)期 這樣就能夠在孕期的每個(gè)階段給客戶寄送相應(yīng)的優(yōu)惠券 12 2020 1 8 Hitwise 通過流量判斷消費(fèi)者喜好 數(shù)據(jù)創(chuàng)新再利用的一個(gè)典型例子是搜索關(guān)鍵詞 消費(fèi)者和搜索引擎之間的瞬時(shí)交互形成了一個(gè)網(wǎng)站和廣告的列表 實(shí)現(xiàn)了那一刻的特定功能 這些信息除了實(shí)現(xiàn)基本用途之外 它還可以變得非常有價(jià)值 如數(shù)據(jù)代理益百利旗下的網(wǎng)頁(yè)流量測(cè)量公司Hitwise 讓客戶采集搜索流量來揭示消費(fèi)者的喜好 13 2020 1 8 物聯(lián)網(wǎng) 物聯(lián)網(wǎng) InternetofThings 縮寫IOT 是一個(gè)基于互聯(lián)網(wǎng) 傳統(tǒng)電信網(wǎng)等信息承載體 讓所有能夠被獨(dú)立尋址的普通物理對(duì)象實(shí)現(xiàn)互聯(lián)互通的網(wǎng)絡(luò) 在物聯(lián)網(wǎng)上 每個(gè)人都可以應(yīng)用電子標(biāo)簽將真實(shí)的物體上網(wǎng)聯(lián)結(jié) 在物聯(lián)網(wǎng)上都可以查找出它們的具體位置 通過物聯(lián)網(wǎng)可以用中心計(jì)算機(jī)對(duì)機(jī)器 設(shè)備 人員進(jìn)行集中管理 控制 也可以對(duì)家庭設(shè)備 汽車進(jìn)行遙控 以及搜尋位置 防止物品被盜等各種應(yīng)用 14 2020 1 8 RFID技術(shù) RFID是RadioFrequencyIdentification的縮寫 即射頻識(shí)別 俗稱電子標(biāo)簽 RFID是一種簡(jiǎn)單的無線系統(tǒng) 由一個(gè)詢問器 或閱讀器 和很多應(yīng)答器 或標(biāo)簽 組成 該系統(tǒng)用于控制 檢測(cè)和跟蹤物體 RFID技術(shù)在超市和圖書館中的應(yīng)用 15 2020 1 8 車聯(lián)網(wǎng) 未來車聯(lián)網(wǎng)技術(shù)將重新定義汽車DNA 借助無線通訊 城市內(nèi)車與車之間 車與建筑之間 車與人之間都將建立更加智能緊密的互聯(lián) 通過裝載在車輛上的電子標(biāo)簽利用無線射頻等識(shí)別技術(shù) 實(shí)現(xiàn)在信息網(wǎng)絡(luò)平臺(tái)上對(duì)所有車輛的屬性信息和靜 動(dòng)態(tài)信息進(jìn)行提取和有效利用 并根據(jù)不同的功能需求對(duì)所有車輛的運(yùn)行狀態(tài)進(jìn)行有效的監(jiān)管和提供綜合服務(wù) 16 2020 1 8 無人駕駛 無人駕駛被人認(rèn)為是車聯(lián)網(wǎng)的終極目標(biāo)無人駕駛車依賴的技術(shù)很多 比如導(dǎo)航 雷達(dá) 龐大數(shù)據(jù)計(jì)算等 要實(shí)現(xiàn)這些技術(shù)需要和物聯(lián)網(wǎng)緊密結(jié)合起來 無人駕駛是通過車載傳感系統(tǒng)感知道路環(huán)境 自動(dòng)規(guī)劃行車路線并控制車輛到達(dá)預(yù)定目標(biāo)的智能汽車 17 2020 1 8 自動(dòng)泊車系統(tǒng) 自動(dòng)泊車系統(tǒng) 顧名思義駕駛者雙手可以離開方向盤 在車輛停好之前要做的只是等待 自動(dòng)泊車系統(tǒng)主要由兩部分組成 控制單元和位于前后保險(xiǎn)杠以及兩側(cè)的超聲波雷達(dá)探頭 按動(dòng)自動(dòng)泊車輔助系統(tǒng)激活按鈕之后 雷達(dá)探頭可在車輛行駛時(shí)對(duì)車輛兩側(cè)進(jìn)行掃描 控制單元對(duì)雷達(dá)反饋的信息進(jìn)行分析 從而估算出車位是否足以容納車輛停放 自動(dòng)泊車系統(tǒng)隨后將通過助力轉(zhuǎn)向系統(tǒng)對(duì)車輛行駛方向進(jìn)行干預(yù) 并以控制單元規(guī)劃好的路徑將車輛停入車位 18 2020 1 8 日本先進(jìn)工業(yè)技術(shù)研究院的坐姿研究與汽車防盜系統(tǒng) 該研究所教授把每個(gè)駕車者的坐姿量化為精確的數(shù)據(jù) 使其對(duì)司機(jī)識(shí)別的正確率高達(dá)98 這項(xiàng)技術(shù)作為汽車防盜系統(tǒng) 一旦識(shí)別駕車者不是車主 就會(huì)自動(dòng)熄火 這一技術(shù)還可匯集事故發(fā)生前駕車者的姿勢(shì)變化數(shù)據(jù) 分析坐姿與行駛安全的關(guān)系 在司機(jī)疲勞駕駛時(shí)發(fā)出警示或自動(dòng)剎車 19 2020 1 8 UPS快遞 大數(shù)據(jù)技術(shù)下的最佳行車路徑 UPS快遞多效地利用了地理定位數(shù)據(jù) 為了使總部能在車輛出現(xiàn)晚點(diǎn)的時(shí)候跟蹤到車輛的位置和預(yù)防引擎故障 它的貨車上裝有傳感器 無線適配器和GPS 同時(shí) 這些設(shè)備也方便了公司監(jiān)督管理員工并優(yōu)化行車線路 UPS為貨車定制的最佳行車路徑是根據(jù)過去的行車經(jīng)驗(yàn)總結(jié)而來的 2011年 UPS的駕駛員少跑了近4828萬公里的路程 節(jié)省了300萬加侖的燃料并且減少了3萬公噸的二氧化碳排放量 20 2020 1 8 UPS與汽車修理預(yù)測(cè) UPS國(guó)際快遞公司從2000年就開始使用預(yù)測(cè)性分析來監(jiān)測(cè)自己全美60000輛車規(guī)模的車隊(duì) 這樣就能及時(shí)地進(jìn)行防御性的修理 通過監(jiān)測(cè)車輛的各個(gè)部位 UPS只需要更換需要更換的零件 從而節(jié)省了好幾百萬美元 21 2020 1 8 谷歌與甲型H1N1流感 2009年出現(xiàn)的甲型H1N1流感 當(dāng)時(shí)還沒有研發(fā)出對(duì)抗這種新型流感病毒的疫苗 公共衛(wèi)生專家能做的只是減慢它傳播的速度 但要做到這一點(diǎn) 他們必須先知道這種流感出現(xiàn)在哪里 疾控中心得到流感方面的信息往往會(huì)有一兩周的滯后 這種滯后導(dǎo)致公共衛(wèi)生機(jī)構(gòu)在疫情爆發(fā)的關(guān)鍵時(shí)期反而無所適從 谷歌通過觀察人們?cè)诰W(wǎng)上的搜索記錄來預(yù)測(cè)流感的傳播 得到的信息是非常準(zhǔn)確和及時(shí)的 22 2020 1 8 量化自我 通過一種非干預(yù)的手段 把一些所謂的醫(yī)療傳感器放到我們的身邊 比如我們戴一個(gè)腕表 一枚戒指 一個(gè)耳塞 一副眼鏡等 通過這些設(shè)備我們可以了解自己的心跳 血壓情況 甚至包括我們體表的健康狀況 從而對(duì)一些大病 如癲癇等 進(jìn)行早期預(yù)測(cè) 美國(guó)Fitbit公司近期就推出了一款免費(fèi)的蘋果手機(jī)應(yīng)用 用戶可用于記錄食物和液體攝入量 從而跟蹤其活動(dòng)水平和營(yíng)養(yǎng)攝入情況 通過分析這些數(shù)據(jù)可以很好的控制體重 23 2020 1 8 小兒床墊 通過床墊上的壓力與濕度傳感器分析 來判斷小孩子有沒有比較嚴(yán)重的打鼾或者睡姿不正確等問題 24 2020 1 8 在線教育 如著名的在線教育公司Coursera 已經(jīng)和普林斯頓 伯克利 賓夕法尼亞大學(xué)等30多所大學(xué)合作 在互聯(lián)網(wǎng)上免費(fèi)開放大學(xué)課程分布在世界各地的學(xué)習(xí)者不僅可以在同一時(shí)間實(shí)時(shí)聽取同一位老師的授課 還和在校生一樣 做同樣的作業(yè) 接受同樣的評(píng)分和考試 在線教育是一個(gè) 行為評(píng)價(jià)和誘導(dǎo) 的智能平臺(tái) 25 2020 1 8 在線教育服務(wù)Knewton 在線教育服務(wù)Knewton是大數(shù)據(jù)應(yīng)用于教育行業(yè)的典型 通過數(shù)據(jù)分析區(qū)分出每個(gè)學(xué)生的優(yōu)缺點(diǎn) 從而給學(xué)生有效的指導(dǎo) 美國(guó)最大的公立大學(xué)亞利桑那州公立大學(xué)曾運(yùn)用這一系統(tǒng)來提高學(xué)生的數(shù)學(xué)水平 全校2000名學(xué)生使用該系統(tǒng)兩學(xué)期之后 該大學(xué)的輟學(xué)率下降了56 畢業(yè)率從64 升高到75 26 2020 1 8 購(gòu)買飛機(jī)票 同一架飛機(jī)上的座位 票價(jià)卻千差萬別 個(gè)中原因 只有航空公司知道 奧倫 埃齊奧尼開發(fā)了一個(gè)系統(tǒng) 用來推測(cè)當(dāng)前網(wǎng)頁(yè)上的機(jī)票價(jià)格是否合理 預(yù)測(cè)當(dāng)前的機(jī)票價(jià)格在未來一段時(shí)間內(nèi)會(huì)上漲還是下降 從而幫助乘客明智購(gòu)票 這個(gè)預(yù)測(cè)系統(tǒng)建立在41天內(nèi)價(jià)格波動(dòng)產(chǎn)生的12000個(gè)價(jià)格樣本基礎(chǔ)之上 27 2020 1 8 航班延誤之候機(jī)經(jīng)濟(jì)學(xué) 美國(guó)建立了一個(gè)統(tǒng)一的數(shù)據(jù)開放門戶網(wǎng)站 Data Gov Data Gov上線以后 美國(guó)交通部開放了全美航班起飛 到達(dá) 延誤的數(shù)據(jù) 航班延誤時(shí)間的分析系統(tǒng) Flyontime us 幫助消費(fèi)者找到表現(xiàn)最佳 最符合自己需要的航班 該系統(tǒng)向全社會(huì)免費(fèi)開放 任何人都可以通過它查詢分析全國(guó)各次航班的延誤率及機(jī)場(chǎng)等候時(shí)間 28 2020 1 8 The N與電影票房預(yù)測(cè) The N在好萊塢電影上映之前 就能利用海量數(shù)據(jù)和特定算法預(yù)測(cè)出一部電影的票房 該公司擁有一個(gè)包括了過去幾十年美國(guó)所有商業(yè)電影大約3000萬條記錄的數(shù)據(jù)庫(kù) 數(shù)據(jù)庫(kù)里有所有關(guān)于預(yù)算 電影流派 拍攝 陣容 獲得獎(jiǎng)項(xiàng)和收入等數(shù)據(jù) 29 2020 1 8 VISA MasterCard與商戶推薦 像VISA和MasterCard這樣的信用卡發(fā)行商 它們能夠從自己的服務(wù)網(wǎng)獲取更多的交易信息和顧客的消費(fèi)信息它們的商業(yè)模式從單純的處理支付行為轉(zhuǎn)變成了收集數(shù)據(jù)一個(gè)稱為MasterCardAdvisors的部門收集和分析了來自210個(gè)國(guó)家的15億信用卡用戶的650億條交易記錄 用來預(yù)測(cè)商業(yè)發(fā)展和客戶的消費(fèi)趨勢(shì) 然后 它把這些分析結(jié)果賣給其他公司 30 2020 1 8 FICO 我們知道你明天會(huì)做什么 2011年 FICO提出了 遵從醫(yī)囑評(píng)分 它分析一系列的變量來確定這個(gè)人是否會(huì)按時(shí)吃藥 包括一些看起來有點(diǎn)怪異的變量 比方說 一個(gè)人在某地居住了多久 這個(gè)人結(jié)婚了沒有 他多久換一個(gè)工作以及他是否有私家車 這個(gè)評(píng)分會(huì)幫助醫(yī)療機(jī)構(gòu)節(jié)省開支 因?yàn)樗鼈儠?huì)知道哪些人需要得到它們的用藥提醒 有私家車和使用抗生素并沒有因果關(guān)系 這只是一種相關(guān)關(guān)系 31 2020 1 8 中英人壽保險(xiǎn)有限公司 Aviva 中英人壽保險(xiǎn)有限公司 Aviva 是一家大型保險(xiǎn)公司 他們想利用信用報(bào)告和顧客市場(chǎng)分析數(shù)據(jù)來作為部分申請(qǐng)人的血液和尿液分析的關(guān)聯(lián)物 這些分析結(jié)果被用來找出更有可能患高血壓 糖尿病和抑郁癥的人 其中用來分析的數(shù)據(jù)包括好幾百種生活方式的數(shù)據(jù) 比如愛好 常瀏覽的網(wǎng)站 ?？吹墓?jié)目 收入估計(jì)等 通過利用相關(guān)關(guān)系 保險(xiǎn)公司可以在每人身上節(jié)省125美元 然而這個(gè)純數(shù)據(jù)分析法只需要花費(fèi)5美元 32 2020 1 8 Xoom與跨境匯款異常交易報(bào)警 Xoom是一個(gè)專門從事跨境匯款業(yè)務(wù)的公司 它會(huì)分析一筆交易的所有相關(guān)數(shù)據(jù) 一旦發(fā)現(xiàn)用 發(fā)現(xiàn)卡 從新澤西州匯款的交易比平常多的話 系統(tǒng)就會(huì)報(bào)警 33 2020 1 8 無所不包的谷歌翻譯系統(tǒng) 2006年 谷歌公司開始涉足機(jī)器翻譯 這被當(dāng)作實(shí)現(xiàn) 收集全世界的數(shù)據(jù)資源 并讓人人都可享受這些資源 這個(gè)目標(biāo)的一個(gè)步驟 谷歌翻譯利用一個(gè)更大更繁雜的數(shù)據(jù)庫(kù) 也就是全球的互聯(lián)網(wǎng) 谷歌翻譯系統(tǒng)為了訓(xùn)練計(jì)算機(jī) 會(huì)吸收它能找到的所有翻譯 它增加了很多各種各樣的數(shù)據(jù) 還接受了有錯(cuò)誤的數(shù)據(jù) 谷歌語料庫(kù)的內(nèi)容來自于未經(jīng)過濾的網(wǎng)頁(yè)內(nèi)容 所以會(huì)包含各種錯(cuò)誤 但谷歌語料庫(kù)是其他語料庫(kù)的好幾百萬倍大 這樣的優(yōu)勢(shì)完全壓倒了缺點(diǎn) 34 2020 1 8 谷歌 從大的 噪音 數(shù)據(jù)中受益 谷歌知道人們?cè)谒阉鲿r(shí)點(diǎn)擊的是第1頁(yè)的第8個(gè)鏈接還是第8頁(yè)的第1個(gè)鏈接 或者是干脆