大數(shù)據(jù)技術(shù)及應(yīng)用案例

大數(shù)據(jù)12:03PAGEDIRECTORY目錄大數(shù)據(jù)的產(chǎn)生01大數(shù)據(jù)技術(shù)及分析02企業(yè)大數(shù)據(jù)03大數(shù)據(jù)應(yīng)用案例04講述內(nèi)容12:03個(gè)人的看法04childjumphip01第一部份大數(shù)據(jù)的產(chǎn)生★大數(shù)據(jù)的產(chǎn)生緣由★大數(shù)據(jù)的特征★大數(shù)據(jù)產(chǎn)業(yè)（鏈）CauseofBigData12:03大數(shù)據(jù)的產(chǎn)生——大數(shù)據(jù)的產(chǎn)生緣由各行各業(yè)大數(shù)據(jù)每天都在產(chǎn)生…我國(guó)網(wǎng)民數(shù)量(6.88億)居世界之首，每天產(chǎn)生的數(shù)據(jù)量位居世界前列某寶網(wǎng)站-單日數(shù)據(jù)產(chǎn)生量超5萬(wàn)GB-存儲(chǔ)量4000萬(wàn)GB-目前數(shù)據(jù)總量10億GB-存儲(chǔ)網(wǎng)頁(yè)1萬(wàn)億頁(yè)-每天約60億次搜索請(qǐng)求百度公司城市監(jiān)控醫(yī)院-每小時(shí)能產(chǎn)生3.6GB的數(shù)據(jù)-每月產(chǎn)生數(shù)據(jù)上千萬(wàn)GB-每個(gè)病人的CT影像達(dá)幾十GB-全國(guó)每年保存的數(shù)據(jù)達(dá)上百億GB新的數(shù)據(jù)來(lái)源/新的數(shù)據(jù)采集方法-互聯(lián)網(wǎng)（社交網(wǎng)絡(luò)、電子商務(wù)等）-物聯(lián)網(wǎng)（傳感器、二維碼、RFID、無(wú)線射頻識(shí)別、位置信息等）全時(shí)空數(shù)據(jù)的可采集性智能算法的使能非結(jié)構(gòu)的數(shù)據(jù)形態(tài)-圖片、視頻、音樂(lè)-商務(wù)智能（BI）-人工智能（AI）而數(shù)據(jù)獲取成本、存儲(chǔ)成本和處理成本的下降，也推動(dòng)了數(shù)據(jù)量的膨脹。1實(shí)時(shí)分析：流信息、即時(shí)需求Velocity（速度）2海量數(shù)據(jù)：超規(guī)模、數(shù)字化生活、數(shù)據(jù)商務(wù)。Volume（大量）3低價(jià)值密度：大量的不相關(guān)信息、需深度分析Value（價(jià)值）4多源異構(gòu)性：不同形式（文本、圖形、視頻數(shù)據(jù)）、無(wú)模式或者模式不明顯、不連貫語(yǔ)法和句義。Variety（多樣）大數(shù)據(jù)的產(chǎn)生——大數(shù)據(jù)的特征大數(shù)據(jù)的產(chǎn)生——大數(shù)據(jù)產(chǎn)業(yè)（鏈）大數(shù)據(jù)的產(chǎn)業(yè)是哪些？如交易數(shù)據(jù)、交互數(shù)據(jù)、傳感數(shù)據(jù)。

當(dāng)前我國(guó)大數(shù)據(jù)處于起步發(fā)展階段，各地積極性高，市場(chǎng)增速明顯。2014年，我國(guó)大數(shù)據(jù)市場(chǎng)規(guī)模為759.4億元，存在結(jié)構(gòu)發(fā)展不均衡等特點(diǎn)。大數(shù)據(jù)產(chǎn)業(yè)鏈主要包括以下4個(gè)環(huán)節(jié)：大數(shù)據(jù)生產(chǎn)與集聚大數(shù)據(jù)組織與管理大數(shù)據(jù)分析與發(fā)現(xiàn)大數(shù)據(jù)應(yīng)用服務(wù)如開(kāi)展分布式文件系統(tǒng)、分布式計(jì)算系統(tǒng)、數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)儲(chǔ)、MOLAP、HOLAP、數(shù)據(jù)轉(zhuǎn)換工具、數(shù)據(jù)安全等。如數(shù)據(jù)挖掘、數(shù)據(jù)統(tǒng)計(jì)、基于大數(shù)據(jù)的業(yè)務(wù)分析與預(yù)測(cè)、基于大數(shù)據(jù)的決策、商業(yè)智能、人工智能、數(shù)據(jù)可視化等。如數(shù)據(jù)運(yùn)營(yíng)、大數(shù)據(jù)交易、分析與預(yù)測(cè)服務(wù)、決策支持服務(wù)、數(shù)據(jù)分享平臺(tái)、數(shù)據(jù)分析平臺(tái)等。大數(shù)據(jù)IT基礎(chǔ)設(shè)施：存儲(chǔ)設(shè)備、運(yùn)算設(shè)備、一體機(jī)、操作系統(tǒng)、基礎(chǔ)軟件、IT支撐等。childjumphip02第二部份大數(shù)據(jù)技術(shù)及分析BigDataTechnology★大數(shù)據(jù)的技術(shù)（例）★大數(shù)據(jù)的分析方法（例）12:03大數(shù)據(jù)技術(shù)及分析——大數(shù)據(jù)的技術(shù)（例）基于Cookie信息的互聯(lián)網(wǎng)精準(zhǔn)廣告定向技術(shù)Cookies是一種能夠讓網(wǎng)站服務(wù)器把少量數(shù)據(jù)儲(chǔ)存到客戶端的硬盤(pán)或內(nèi)存，或是從客戶端的硬盤(pán)讀取數(shù)據(jù)的一種技術(shù)。Cookies是當(dāng)你瀏覽某網(wǎng)站時(shí)，由Web服務(wù)器置于你硬盤(pán)上的一個(gè)非常小的文本文件，它可以記錄你的用戶ID、密碼、瀏覽過(guò)的網(wǎng)頁(yè)、停留的時(shí)間等信息。定向技術(shù)指的是依托于搜索引擎龐大的網(wǎng)民行為數(shù)據(jù)庫(kù)，對(duì)網(wǎng)民幾乎所有上網(wǎng)行為進(jìn)行個(gè)性化的深度分析，按廣告主需求鎖定目標(biāo)受眾，進(jìn)行一對(duì)一傳播，提供多通道投放，按照效果付費(fèi)。而用戶追蹤技術(shù)的基礎(chǔ)就是Cookie。這只是大數(shù)據(jù)獲取及應(yīng)用的一小技術(shù)，大數(shù)據(jù)運(yùn)用到的技術(shù)還有很多，包括有大數(shù)據(jù)采集—大數(shù)據(jù)預(yù)處理—大數(shù)據(jù)存儲(chǔ)及管理—大數(shù)據(jù)分析及挖掘—大數(shù)據(jù)展現(xiàn)和應(yīng)用（檢索、可視化、安全等）各環(huán)節(jié)下的技術(shù)。大數(shù)據(jù)技術(shù)及分析——大數(shù)據(jù)的分析方法（例）大數(shù)據(jù)分析方法：回歸分析、聚類分析、網(wǎng)絡(luò)分析、關(guān)聯(lián)分析….關(guān)聯(lián)分析確定型關(guān)系。撲克牌表演，表面看似隨機(jī)實(shí)際只需記憶不動(dòng)點(diǎn)即可。

啤酒與尿布溺水事件與雪糕銷量非因果關(guān)系隱藏共因不確定關(guān)系。雙色球，不確定型推理做不出精準(zhǔn)，非必然的、隨機(jī)的

“王”“寶”“強(qiáng)”，餐飲促銷。childjumphip03第三部份企業(yè)大數(shù)據(jù)EnterpriseData★企業(yè)大數(shù)據(jù)有哪些★大數(shù)據(jù)對(duì)企業(yè)的作用★企業(yè)產(chǎn)品規(guī)劃12:03企業(yè)大數(shù)據(jù)——企業(yè)大數(shù)據(jù)有哪些大數(shù)據(jù)是企業(yè)的感知載體、感知要素。企業(yè)通過(guò)各種的“感知器官”收集信息并以數(shù)據(jù)形式展示，數(shù)據(jù)的指標(biāo)能監(jiān)測(cè)和反映企業(yè)運(yùn)行狀態(tài)。-管理數(shù)據(jù)，反映企業(yè)的管理狀況。-運(yùn)營(yíng)數(shù)據(jù)，反映企業(yè)的經(jīng)營(yíng)狀況。-產(chǎn)品數(shù)據(jù)，反映產(chǎn)品銷售情況，市場(chǎng)占有率。-生產(chǎn)數(shù)據(jù)，反映企業(yè)生產(chǎn)效率。-用戶數(shù)據(jù)，反映用戶活躍度，用戶畫(huà)像。企業(yè)大數(shù)據(jù)——大數(shù)據(jù)對(duì)企業(yè)的作用在技術(shù)上，大數(shù)據(jù)推動(dòng)企業(yè)數(shù)據(jù)分析技術(shù)革新。大數(shù)據(jù)推進(jìn)企業(yè)轉(zhuǎn)型作用在管理上，大數(shù)據(jù)優(yōu)化企業(yè)管理流程，促進(jìn)管理效率提升在運(yùn)營(yíng)上，大數(shù)據(jù)改變了以往營(yíng)銷策略，提供個(gè)性化的產(chǎn)品和服務(wù)。在思維上，改變以技術(shù)或產(chǎn)品為導(dǎo)向的企業(yè)思維，要以用戶需求為核心的大數(shù)據(jù)思維，通過(guò)大數(shù)據(jù)挖掘消費(fèi)者用戶的需求。企業(yè)大數(shù)據(jù)——企業(yè)產(chǎn)品規(guī)劃匯聚企業(yè)相關(guān)數(shù)據(jù)，規(guī)劃設(shè)計(jì)基于特定功能的數(shù)據(jù)產(chǎn)品，針對(duì)某一特定用戶需求推出的數(shù)據(jù)解決方案。用戶畫(huà)像建模標(biāo)簽化·上網(wǎng)特征·興趣偏好·購(gòu)物偏好·人口屬性·其他標(biāo)簽用戶基本信息用戶行為信息用戶社交數(shù)據(jù)其他數(shù)據(jù)用戶畫(huà)像個(gè)性化推薦用戶洞察產(chǎn)品偏好精準(zhǔn)營(yíng)銷……childjumphip04第四部份大數(shù)據(jù)應(yīng)用案例Case★互聯(lián)網(wǎng)公司布局★某威客網(wǎng)12:03大數(shù)據(jù)應(yīng)用案例——互聯(lián)網(wǎng)公司布局瀏覽器輸入法消費(fèi)行為統(tǒng)計(jì)分析網(wǎng)絡(luò)入口用戶粘性用戶數(shù)據(jù)……銀行卡消費(fèi)→→個(gè)人消費(fèi)情況分析←←銀行←←支付寶、微信消費(fèi)數(shù)據(jù)大數(shù)據(jù)應(yīng)用案例——某豬威客網(wǎng)(一)某豬威客網(wǎng)——服務(wù)眾包平臺(tái)在最初的幾年里，某豬網(wǎng)可以看作是一個(gè)服務(wù)業(yè)的“某寶”，將服務(wù)需求者與提供者鏈接起來(lái)，并從中收取傭金提成?，F(xiàn)有的交易有賴于雙方溝通，但是只要一溝通就會(huì)翻墻跑單。因?yàn)榉?wù)商想逃避傭金，買(mǎi)家也愿意逃傭金，平臺(tái)不應(yīng)該拿錢(qián)。◎交易產(chǎn)品非標(biāo)準(zhǔn)化◎復(fù)雜的個(gè)性化定制交易◎復(fù)雜購(gòu)買(mǎi)◎交易非常低頻◎購(gòu)買(mǎi)決策非常理性存在的問(wèn)題企業(yè)增長(zhǎng)緩慢（朱明躍）大數(shù)據(jù)應(yīng)用案例——某豬威客網(wǎng)(二)基于大數(shù)據(jù)的平臺(tái)增值服務(wù)模式商業(yè)模式的創(chuàng)新第一，近500萬(wàn)的中小微企業(yè)用戶。且每天新增將近5000戶并在平臺(tái)至少有一次交易。第二，服務(wù)商。某豬網(wǎng)8、9年做下來(lái)后平臺(tái)上有一千萬(wàn)名家各界的專業(yè)人才，有設(shè)計(jì)師、工程師等等。第三，海量的作品數(shù)據(jù)。累積的作品數(shù)據(jù)有10個(gè)T以上，有些事垃圾，但也有一些有用的東西。第四，交易行為數(shù)據(jù)。各種服務(wù)日志、交易日志，都是海量的數(shù)據(jù)。用戶數(shù)據(jù)“富含寶藏的海洋”深入挖掘分析小微企業(yè)的實(shí)際需求找切入點(diǎn)如果不收傭金，能為用戶提供什么延伸服務(wù)？大數(shù)據(jù)應(yīng)用案例——某豬威客網(wǎng)(三)基于大數(shù)據(jù)的平臺(tái)增值服務(wù)模式“鉆井模式”某豬網(wǎng)找到了切入點(diǎn)，在自己搭建的“鉆井平臺(tái)”上獲得了“石油”。◎第一口井——通過(guò)對(duì)客戶數(shù)據(jù)的研究后，發(fā)現(xiàn)客戶設(shè)計(jì)完標(biāo)志以后，大部分還需要做知識(shí)產(chǎn)權(quán)保護(hù)，其中最核心的是商標(biāo)注冊(cè)代理和版權(quán)登記?！蚪酉聛?lái)成立的“豬標(biāo)局”，只用了半年時(shí)間就成為了中國(guó)最大的商標(biāo)公司。◎和依文集團(tuán)合作成立“xx寶”。因?yàn)槟池i網(wǎng)有很多VI作品交易，VI很大一部分是LOGO，如果這些企業(yè)想做職業(yè)裝，就直接對(duì)接過(guò)去。◎企業(yè)孵化，某豬網(wǎng)的創(chuàng)意服務(wù)者中，不乏有收入和等級(jí)高的成立工作室，隨后產(chǎn)生注冊(cè)公司的需要。某豬展開(kāi)合作，在各城市建創(chuàng)新型產(chǎn)業(yè)園。一年少收了傭金六千萬(wàn)，但僅憑商標(biāo)業(yè)務(wù)就賺了三個(gè)億。childjumphip05第五部份個(gè)人的看法MyPoint★我對(duì)大數(shù)據(jù)的一些理解★大數(shù)據(jù)對(duì)我司的意義12:03個(gè)人的看法——我對(duì)大數(shù)據(jù)的一些理解對(duì)大數(shù)據(jù)的認(rèn)識(shí)，我（jiao）的（liu）理（yi）解（xia）統(tǒng)計(jì)學(xué)信息技術(shù)匯集不同數(shù)據(jù)源像一門(mén)現(xiàn)代的“易經(jīng)”做預(yù)測(cè)做決策的依據(jù)做精準(zhǔn)營(yíng)銷資源優(yōu)化配置從龐雜的數(shù)據(jù)背后挖掘、分析用戶的行為習(xí)慣和喜好，找出更符合用戶“口味”的產(chǎn)品和服務(wù)，并結(jié)合用戶需求有針對(duì)性地調(diào)整和優(yōu)化自身。一條信息可以很貴擁有稀缺數(shù)據(jù)資源的企業(yè)很熱效益高甲級(jí)導(dǎo)航測(cè)繪-稀缺阿里11億收購(gòu)高德騰訊11億入股四維百度競(jìng)購(gòu)Here我司在大數(shù)據(jù)上的應(yīng)用—估價(jià)寶評(píng)估參考價(jià)值提高評(píng)估業(yè)務(wù)效率

定義用途價(jià)值個(gè)人的看法——大數(shù)據(jù)對(duì)我司的意義(一)

大數(shù)據(jù)就是將海量碎片化的信息數(shù)據(jù)能夠及時(shí)地進(jìn)行篩選、分析，并最終歸納、整理出企業(yè)需要的資訊?？焖俚匕l(fā)現(xiàn)消費(fèi)者的需求變化和市場(chǎng)發(fā)展趨勢(shì)，從而幫助企業(yè)及時(shí)做出正確的決策。例，推廣估價(jià)寶，通過(guò)對(duì)用戶操作日志統(tǒng)計(jì)，獲知地區(qū)下市民關(guān)注的地塊情況。幫助了解客戶和市場(chǎng)企業(yè)對(duì)各項(xiàng)運(yùn)營(yíng)數(shù)據(jù)，形成基于企業(yè)的資源分布可視圖，讓企業(yè)的管理者可以更直觀地面對(duì)自己的企業(yè)，更好地利用各種已有和潛在資源。通過(guò)大數(shù)據(jù)的相關(guān)性分析，根據(jù)不同市場(chǎng)數(shù)據(jù)之間的交叉、重合，企業(yè)的運(yùn)營(yíng)方向?qū)?huì)變得直觀而且容易識(shí)別，在品牌推廣、戰(zhàn)略規(guī)劃方面將做到更有把握地面對(duì)。

例，通過(guò)統(tǒng)計(jì)各業(yè)務(wù)盈利的比例、各業(yè)務(wù)投入資源的配置情況分析后，發(fā)現(xiàn)盈利快。通過(guò)行業(yè)數(shù)據(jù)做關(guān)聯(lián)分析，發(fā)現(xiàn)技術(shù)應(yīng)用于比重上升

幫助做好規(guī)劃和運(yùn)營(yíng)純屬個(gè)人觀點(diǎn)——微聊大數(shù)據(jù)對(duì)我們公司的意義

我司作為...數(shù)據(jù)供應(yīng)商，可以定位為大數(shù)據(jù)產(chǎn)業(yè)鏈中的上游企業(yè)，做數(shù)據(jù)采集、生產(chǎn)，并打包出售，同時(shí)也是大數(shù)據(jù)的應(yīng)用單位。但我覺(jué)得，我司現(xiàn)在并沒(méi)有將形成一套有效的數(shù)據(jù)管理、存儲(chǔ)、出售的機(jī)制。我們每年都有大量的...成果，那么，我們能否將這成果形成數(shù)據(jù)資源做二次的利用和挖掘呢？融入大數(shù)據(jù)產(chǎn)業(yè)的契機(jī)我對(duì)大數(shù)據(jù)的看法——大數(shù)據(jù)對(duì)我司的意義(二)

大數(shù)據(jù)的發(fā)展得益于技術(shù)的革新。其中，各種前沿的采集或獲取技術(shù)（如：無(wú)人機(jī)航拍技術(shù)、激光掃描技術(shù)、網(wǎng)絡(luò)爬蟲(chóng)技術(shù)、圖像識(shí)