大數(shù)據(jù)技術(shù)及應(yīng)用案例

大數(shù)據(jù)12:03PAGEDIRECTORY目錄大數(shù)據(jù)的產(chǎn)生01大數(shù)據(jù)技術(shù)及分析02企業(yè)大數(shù)據(jù)03大數(shù)據(jù)應(yīng)用案例04講述內(nèi)容12:03個(gè)人的看法04childjumphip01第一部份大數(shù)據(jù)的產(chǎn)生★大數(shù)據(jù)的產(chǎn)生緣由★大數(shù)據(jù)的特征★大數(shù)據(jù)產(chǎn)業(yè)（鏈）CauseofBigData12:03大數(shù)據(jù)的產(chǎn)生——大數(shù)據(jù)的產(chǎn)生緣由各行各業(yè)大數(shù)據(jù)每天都在產(chǎn)生…我國網(wǎng)民數(shù)量(6.88億)居世界之首，每天產(chǎn)生的數(shù)據(jù)量位居世界前列某寶網(wǎng)站-單日數(shù)據(jù)產(chǎn)生量超5萬GB-存儲量4000萬GB-目前數(shù)據(jù)總量10億GB-存儲網(wǎng)頁1萬億頁-每天約60億次搜索請求百度公司城市監(jiān)控醫(yī)院-每小時(shí)能產(chǎn)生3.6GB的數(shù)據(jù)-每月產(chǎn)生數(shù)據(jù)上千萬GB-每個(gè)病人的CT影像達(dá)幾十GB-全國每年保存的數(shù)據(jù)達(dá)上百億GB新的數(shù)據(jù)來源/新的數(shù)據(jù)采集方法-互聯(lián)網(wǎng)（社交網(wǎng)絡(luò)、電子商務(wù)等）-物聯(lián)網(wǎng)（傳感器、二維碼、RFID、無線射頻識別、位置信息等）全時(shí)空數(shù)據(jù)的可采集性智能算法的使能非結(jié)構(gòu)的數(shù)據(jù)形態(tài)-圖片、視頻、音樂-商務(wù)智能（BI）-人工智能（AI）而數(shù)據(jù)獲取成本、存儲成本和處理成本的下降，也推動了數(shù)據(jù)量的膨脹。1實(shí)時(shí)分析：流信息、即時(shí)需求Velocity（速度）2海量數(shù)據(jù)：超規(guī)模、數(shù)字化生活、數(shù)據(jù)商務(wù)。Volume（大量）3低價(jià)值密度：大量的不相關(guān)信息、需深度分析Value（價(jià)值）4多源異構(gòu)性：不同形式（文本、圖形、視頻數(shù)據(jù)）、無模式或者模式不明顯、不連貫語法和句義。Variety（多樣）大數(shù)據(jù)的產(chǎn)生——大數(shù)據(jù)的特征大數(shù)據(jù)的產(chǎn)生——大數(shù)據(jù)產(chǎn)業(yè)（鏈）大數(shù)據(jù)的產(chǎn)業(yè)是哪些？如交易數(shù)據(jù)、交互數(shù)據(jù)、傳感數(shù)據(jù)。

當(dāng)前我國大數(shù)據(jù)處于起步發(fā)展階段，各地積極性高，市場增速明顯。2014年，我國大數(shù)據(jù)市場規(guī)模為759.4億元，存在結(jié)構(gòu)發(fā)展不均衡等特點(diǎn)。大數(shù)據(jù)產(chǎn)業(yè)鏈主要包括以下4個(gè)環(huán)節(jié)：大數(shù)據(jù)生產(chǎn)與集聚大數(shù)據(jù)組織與管理大數(shù)據(jù)分析與發(fā)現(xiàn)大數(shù)據(jù)應(yīng)用服務(wù)如開展分布式文件系統(tǒng)、分布式計(jì)算系統(tǒng)、數(shù)據(jù)庫、數(shù)據(jù)倉儲、MOLAP、HOLAP、數(shù)據(jù)轉(zhuǎn)換工具、數(shù)據(jù)安全等。如數(shù)據(jù)挖掘、數(shù)據(jù)統(tǒng)計(jì)、基于大數(shù)據(jù)的業(yè)務(wù)分析與預(yù)測、基于大數(shù)據(jù)的決策、商業(yè)智能、人工智能、數(shù)據(jù)可視化等。如數(shù)據(jù)運(yùn)營、大數(shù)據(jù)交易、分析與預(yù)測服務(wù)、決策支持服務(wù)、數(shù)據(jù)分享平臺、數(shù)據(jù)分析平臺等。大數(shù)據(jù)IT基礎(chǔ)設(shè)施：存儲設(shè)備、運(yùn)算設(shè)備、一體機(jī)、操作系統(tǒng)、基礎(chǔ)軟件、IT支撐等。childjumphip02第二部份大數(shù)據(jù)技術(shù)及分析BigDataTechnology★大數(shù)據(jù)的技術(shù)（例）★大數(shù)據(jù)的分析方法（例）12:03大數(shù)據(jù)技術(shù)及分析——大數(shù)據(jù)的技術(shù)（例）基于Cookie信息的互聯(lián)網(wǎng)精準(zhǔn)廣告定向技術(shù)Cookies是一種能夠讓網(wǎng)站服務(wù)器把少量數(shù)據(jù)儲存到客戶端的硬盤或內(nèi)存，或是從客戶端的硬盤讀取數(shù)據(jù)的一種技術(shù)。Cookies是當(dāng)你瀏覽某網(wǎng)站時(shí)，由Web服務(wù)器置于你硬盤上的一個(gè)非常小的文本文件，它可以記錄你的用戶ID、密碼、瀏覽過的網(wǎng)頁、停留的時(shí)間等信息。定向技術(shù)指的是依托于搜索引擎龐大的網(wǎng)民行為數(shù)據(jù)庫，對網(wǎng)民幾乎所有上網(wǎng)行為進(jìn)行個(gè)性化的深度分析，按廣告主需求鎖定目標(biāo)受眾，進(jìn)行一對一傳播，提供多通道投放，按照效果付費(fèi)。而用戶追蹤技術(shù)的基礎(chǔ)就是Cookie。這只是大數(shù)據(jù)獲取及應(yīng)用的一小技術(shù)，大數(shù)據(jù)運(yùn)用到的技術(shù)還有很多，包括有大數(shù)據(jù)采集—大數(shù)據(jù)預(yù)處理—大數(shù)據(jù)存儲及管理—大數(shù)據(jù)分析及挖掘—大數(shù)據(jù)展現(xiàn)和應(yīng)用（檢索、可視化、安全等）各環(huán)節(jié)下的技術(shù)。大數(shù)據(jù)技術(shù)及分析——大數(shù)據(jù)的分析方法（例）大數(shù)據(jù)分析方法：回歸分析、聚類分析、網(wǎng)絡(luò)分析、關(guān)聯(lián)分析….關(guān)聯(lián)分析確定型關(guān)系。撲克牌表演，表面看似隨機(jī)實(shí)際只需記憶不動點(diǎn)即可。

啤酒與尿布溺水事件與雪糕銷量非因果關(guān)系隱藏共因不確定關(guān)系。雙色球，不確定型推理做不出精準(zhǔn)，非必然的、隨機(jī)的

“王”“寶”“強(qiáng)”，餐飲促銷。childjumphip03第三部份企業(yè)大數(shù)據(jù)EnterpriseData★企業(yè)大數(shù)據(jù)有哪些★大數(shù)據(jù)對企業(yè)的作用★企業(yè)產(chǎn)品規(guī)劃12:03企業(yè)大數(shù)據(jù)——企業(yè)大數(shù)據(jù)有哪些大數(shù)據(jù)是企業(yè)的感知載體、感知要素。企業(yè)通過各種的“感知器官”收集信息并以數(shù)據(jù)形式展示，數(shù)據(jù)的指標(biāo)能監(jiān)測和反映企業(yè)運(yùn)行狀態(tài)。-管理數(shù)據(jù)，反映企業(yè)的管理狀況。-運(yùn)營數(shù)據(jù)，反映企業(yè)的經(jīng)營狀況。-產(chǎn)品數(shù)據(jù)，反映產(chǎn)品銷售情況，市場占有率。-生產(chǎn)數(shù)據(jù)，反映企業(yè)生產(chǎn)效率。-用戶數(shù)據(jù)，反映用戶活躍度，用戶畫像。企業(yè)大數(shù)據(jù)——大數(shù)據(jù)對企業(yè)的作用在技術(shù)上，大數(shù)據(jù)推動企業(yè)數(shù)據(jù)分析技術(shù)革新。大數(shù)據(jù)推進(jìn)企業(yè)轉(zhuǎn)型作用在管理上，大數(shù)據(jù)優(yōu)化企業(yè)管理流程，促進(jìn)管理效率提升在運(yùn)營上，大數(shù)據(jù)改變了以往營銷策略，提供個(gè)性化的產(chǎn)品和服務(wù)。在思維上，改變以技術(shù)或產(chǎn)品為導(dǎo)向的企業(yè)思維，要以用戶需求為核心的大數(shù)據(jù)思維，通過大數(shù)據(jù)挖掘消費(fèi)者用戶的需求。企業(yè)大數(shù)據(jù)——企業(yè)產(chǎn)品規(guī)劃匯聚企業(yè)相關(guān)數(shù)據(jù)，規(guī)劃設(shè)計(jì)基于特定功能的數(shù)據(jù)產(chǎn)品，針對某一特定用戶需求推出的數(shù)據(jù)解決方案。用戶畫像建模標(biāo)簽化·上網(wǎng)特征·興趣偏好·購物偏好·人口屬性·其他標(biāo)簽用戶基本信息用戶行為信息用戶社交數(shù)據(jù)其他數(shù)據(jù)用戶畫像個(gè)性化推薦用戶洞察產(chǎn)品偏好精準(zhǔn)營銷……childjumphip04第四部份大數(shù)據(jù)應(yīng)用案例Case★互聯(lián)網(wǎng)公司布局★某威客網(wǎng)12:03大數(shù)據(jù)應(yīng)用案例——互聯(lián)網(wǎng)公司布局瀏覽器輸入法消費(fèi)行為統(tǒng)計(jì)分析網(wǎng)絡(luò)入口用戶粘性用戶數(shù)據(jù)……銀行卡消費(fèi)→→個(gè)人消費(fèi)情況分析←←銀行←←支付寶、微信消費(fèi)數(shù)據(jù)大數(shù)據(jù)應(yīng)用案例——某豬威客網(wǎng)(一)某豬威客網(wǎng)——服務(wù)眾包平臺在最初的幾年里，某豬網(wǎng)可以看作是一個(gè)服務(wù)業(yè)的“某寶”，將服務(wù)需求者與提供者鏈接起來，并從中收取傭金提成?，F(xiàn)有的交易有賴于雙方溝通，但是只要一溝通就會翻墻跑單。因?yàn)榉?wù)商想逃避傭金，買家也愿意逃傭金，平臺不應(yīng)該拿錢?！蚪灰桩a(chǎn)品非標(biāo)準(zhǔn)化◎復(fù)雜的個(gè)性化定制交易◎復(fù)雜購買◎交易非常低頻◎購買決策非常理性存在的問題企業(yè)增長緩慢（朱明躍）大數(shù)據(jù)應(yīng)用案例——某豬威客網(wǎng)(二)基于大數(shù)據(jù)的平臺增值服務(wù)模式商業(yè)模式的創(chuàng)新第一，近500萬的中小微企業(yè)用戶。且每天新增將近5000戶并在平臺至少有一次交易。第二，服務(wù)商。某豬網(wǎng)8、9年做下來后平臺上有一千萬名家各界的專業(yè)人才，有設(shè)計(jì)師、工程師等等。第三，海量的作品數(shù)據(jù)。累積的作品數(shù)據(jù)有10個(gè)T以上，有些事垃圾，但也有一些有用的東西。第四，交易行為數(shù)據(jù)。各種服務(wù)日志、交易日志，都是海量的數(shù)據(jù)。用戶數(shù)據(jù)“富含寶藏的海洋”深入挖掘分析小微企業(yè)的實(shí)際需求找切入點(diǎn)如果不收傭金，能為用戶提供什么延伸服務(wù)？大數(shù)據(jù)應(yīng)用案例——某豬威客網(wǎng)(三)基于大數(shù)據(jù)的平臺增值服務(wù)模式“鉆井模式”某豬網(wǎng)找到了切入點(diǎn)，在自己搭建的“鉆井平臺”上獲得了“石油”?！虻谝豢诰ㄟ^對客戶數(shù)據(jù)的研究后，發(fā)現(xiàn)客戶設(shè)計(jì)完標(biāo)志以后，大部分還需要做知識產(chǎn)權(quán)保護(hù)，其中最核心的是商標(biāo)注冊代理和版權(quán)登記?！蚪酉聛沓闪⒌摹柏i標(biāo)局”，只用了半年時(shí)間就成為了中國最大的商標(biāo)公司?！蚝鸵牢募瘓F(tuán)合作成立“xx寶”。因?yàn)槟池i網(wǎng)有很多VI作品交易，VI很大一部分是LOGO，如果這些企業(yè)想做職業(yè)裝，就直接對接過去?！蚱髽I(yè)孵化，某豬網(wǎng)的創(chuàng)意服務(wù)者中，不乏有收入和等級高的成立工作室，隨后產(chǎn)生注冊公司的需要。某豬展開合作，在各城市建創(chuàng)新型產(chǎn)業(yè)園。一年少收了傭金六千萬，但僅憑商標(biāo)業(yè)務(wù)就賺了三個(gè)億。childjumphip05第五部份個(gè)人的看法MyPoint★我對大數(shù)據(jù)的一些理解★大數(shù)據(jù)對我司的意義12:03個(gè)人的看法——我對大數(shù)據(jù)的一些理解對大數(shù)據(jù)的認(rèn)識，我（jiao）的（liu）理（yi）解（xia）統(tǒng)計(jì)學(xué)信息技術(shù)匯集不同數(shù)據(jù)源像一門現(xiàn)代的“易經(jīng)”做預(yù)測做決策的依據(jù)做精準(zhǔn)營銷資源優(yōu)化配置從龐雜的數(shù)據(jù)背后挖掘、分析用戶的行為習(xí)慣和喜好，找出更符合用戶“口味”的產(chǎn)品和服務(wù)，并結(jié)合用戶需求有針對性地調(diào)整和優(yōu)化自身。一條信息可以很貴擁有稀缺數(shù)據(jù)資源的企業(yè)很熱效益高甲級導(dǎo)航測繪-稀缺阿里11億收購高德騰訊11億入股四維百度競購Here我司在大數(shù)據(jù)上的應(yīng)用—估價(jià)寶評估參考價(jià)值提高評估業(yè)務(wù)效率

定義用途價(jià)值個(gè)人的看法——大數(shù)據(jù)對我司的意義(一)

大數(shù)據(jù)就是將海量碎片化的信息數(shù)據(jù)能夠及時(shí)地進(jìn)行篩選、分析，并最終歸納、整理出企業(yè)需要的資訊?？焖俚匕l(fā)現(xiàn)消費(fèi)者的需求變化和市場發(fā)展趨勢，從而幫助企業(yè)及時(shí)做出正確的決策。例，推廣估價(jià)寶，通過對用戶操作日志統(tǒng)計(jì)，獲知地區(qū)下市民關(guān)注的地塊情況。幫助了解客戶和市場企業(yè)對各項(xiàng)運(yùn)營數(shù)據(jù)，形成基于企業(yè)的資源分布可視圖，讓企業(yè)的管理者可以更直觀地面對自己的企業(yè)，更好地利用各種已有和潛在資源。通過大數(shù)據(jù)的相關(guān)性分析，根據(jù)不同市場數(shù)據(jù)之間的交叉、重合，企業(yè)的運(yùn)營方向?qū)兊弥庇^而且容易識別，在品牌推廣、戰(zhàn)略規(guī)劃方面將做到更有把握地面對。

例，通過統(tǒng)計(jì)各業(yè)務(wù)盈利的比例、各業(yè)務(wù)投入資源的配置情況分析后，發(fā)現(xiàn)盈利快。通過行業(yè)數(shù)據(jù)做關(guān)聯(lián)分析，發(fā)現(xiàn)技術(shù)應(yīng)用于比重上升

幫助做好規(guī)劃和運(yùn)營純屬個(gè)人觀點(diǎn)——微聊大數(shù)據(jù)對我們公司的意義

我司作為...數(shù)據(jù)供應(yīng)商，可以定位為大數(shù)據(jù)產(chǎn)業(yè)鏈中的上游企業(yè)，做數(shù)據(jù)采集、生產(chǎn)，并打包出售，同時(shí)也是大數(shù)據(jù)的應(yīng)用單位。但我覺得，我司現(xiàn)在并沒有將形成一套有效的數(shù)據(jù)管理、存儲、出售的機(jī)制。我們每年都有大量的...成果，那么，我們能否將這成果形成數(shù)據(jù)資源做二次的利用和挖掘呢？融入大數(shù)據(jù)產(chǎn)業(yè)的契機(jī)我對大數(shù)據(jù)的看法——大數(shù)據(jù)對我司的意義(二)

大數(shù)據(jù)的發(fā)展得益于技術(shù)的革新。其中，各種前沿的采集或獲取技術(shù)（如：無人機(jī)航拍技術(shù)、激光掃描技術(shù)、網(wǎng)絡(luò)爬蟲技術(shù)、圖像識