大數(shù)據(jù)的10個(gè)原理,掘金數(shù)據(jù)時(shí)代

眾賞干貨：大數(shù)據(jù)的10個(gè)原理，掘金數(shù)據(jù)時(shí)代摘要：大數(shù)據(jù)時(shí)代，計(jì)算模式也發(fā)生了轉(zhuǎn)變，從“流程”核心轉(zhuǎn)變?yōu)椤〝?shù)據(jù)”核心。Hadoop體系的分布式計(jì)算框架已經(jīng)是〃數(shù)據(jù)”為核心的范式。非結(jié)構(gòu)化數(shù)據(jù)及分析需求，將改變IT系統(tǒng)的升級(jí)方式：從簡(jiǎn)單增量到架構(gòu)變化。大數(shù)據(jù)下的新思維——計(jì)算模式的轉(zhuǎn)變。據(jù)核心原a從“流程”核心轉(zhuǎn)變?yōu)椤〝?shù)據(jù)”核心大數(shù)據(jù)時(shí)代，計(jì)算模式也發(fā)生了轉(zhuǎn)變，從“流程”核心轉(zhuǎn)變?yōu)椤〝?shù)據(jù)”核心。Hadoop體系的分布式計(jì)算框架已經(jīng)是〃數(shù)據(jù)”為核心的范式。非結(jié)構(gòu)化數(shù)據(jù)及分析需求，將改變IT系統(tǒng)的升級(jí)方式：從簡(jiǎn)單增量到架構(gòu)變化。大數(shù)據(jù)下的新思維——計(jì)算模式的轉(zhuǎn)變。例如：IBM將使用以數(shù)據(jù)為中心的設(shè)計(jì)，目的是降低在超級(jí)計(jì)算機(jī)之間進(jìn)行大量數(shù)據(jù)交換的必要性。大數(shù)據(jù)下，云計(jì)算找到了破繭重生的機(jī)會(huì)，在存儲(chǔ)和計(jì)算上都體現(xiàn)了數(shù)據(jù)為核心的理念。大數(shù)據(jù)和云計(jì)算的關(guān)系：云計(jì)算為大數(shù)據(jù)提供了有力的工具和途徑，大數(shù)據(jù)為云計(jì)算提供了很有價(jià)值的用武之地。而大數(shù)據(jù)比云計(jì)算更為落地，可有效利用已大量建設(shè)的云計(jì)算資源，最后加以利用?？茖W(xué)進(jìn)步越來(lái)越多地由數(shù)據(jù)來(lái)推動(dòng)，海量數(shù)據(jù)給數(shù)據(jù)分析既帶來(lái)了機(jī)遇，也構(gòu)成了新的挑戰(zhàn)。大數(shù)據(jù)往往是利用眾多技術(shù)和方法，綜合源自多個(gè)渠道、不同時(shí)間的信息而獲得的。為了應(yīng)對(duì)大數(shù)據(jù)帶來(lái)的挑戰(zhàn)，我們需要新的統(tǒng)計(jì)思路和計(jì)算方法。說(shuō)明：用數(shù)據(jù)核心思維方式思考問(wèn)題，解決問(wèn)題。以數(shù)據(jù)為核心，反映了當(dāng)下IT產(chǎn)業(yè)的變革，數(shù)據(jù)成為人工智能的基礎(chǔ)，也成為智能化的基礎(chǔ)，數(shù)據(jù)比流程更重要，數(shù)據(jù)庫(kù)、記錄數(shù)據(jù)庫(kù)，都可開(kāi)發(fā)出深層次信息。云計(jì)算機(jī)可以從數(shù)據(jù)庫(kù)、記錄數(shù)據(jù)庫(kù)中搜索出你是誰(shuí)，你需要什么，從而推薦給你需要的信息。二、數(shù)據(jù)價(jià)值原理由功能是價(jià)值轉(zhuǎn)變?yōu)閿?shù)據(jù)是價(jià)值大數(shù)據(jù)真正有意思的是數(shù)據(jù)變得在線了，這個(gè)恰恰是互聯(lián)網(wǎng)的特點(diǎn)。非互聯(lián)網(wǎng)時(shí)期的產(chǎn)品功能一定是它的價(jià)值，今天互聯(lián)網(wǎng)的產(chǎn)品，數(shù)據(jù)一定是它的價(jià)值。例如：大數(shù)據(jù)的真正價(jià)值在于創(chuàng)造，在于填補(bǔ)無(wú)數(shù)個(gè)還未實(shí)現(xiàn)過(guò)的空白。有人把數(shù)據(jù)比喻為蘊(yùn)藏能量的煤礦，煤炭按照性質(zhì)有焦煤、無(wú)煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似大數(shù)據(jù)并不在〃大”，而在于“有用”，價(jià)值含量、挖掘成本比數(shù)量更為重要。不管大數(shù)據(jù)的核心價(jià)值是不是預(yù)測(cè)，但是基于大數(shù)據(jù)形成決策的模式已經(jīng)為不少的企業(yè)帶來(lái)了盈利和聲譽(yù)。數(shù)據(jù)能告訴我們，每一個(gè)客戶的消賽傾向，他們想要什么，喜歡什么，每個(gè)人的需求有哪些區(qū)別，哪些又可以被集合到一起來(lái)進(jìn)行分類。大數(shù)據(jù)是數(shù)據(jù)數(shù)量上的增加，以至于我們能夠?qū)崿F(xiàn)從量變到質(zhì)變的過(guò)程。舉例來(lái)說(shuō)，這里有一張照片，照片里的人在騎馬，這張照片每一分鐘，每一秒都要拍一張，但隨著處理速度越來(lái)越快，從1分鐘一張到1秒鐘1張，突然到1秒鐘10張后，就產(chǎn)生了電影。當(dāng)數(shù)量的增長(zhǎng)實(shí)現(xiàn)質(zhì)變時(shí)，就從照片變成了一部電影。美國(guó)有一家創(chuàng)新企業(yè)D，它可以幫助人們做購(gòu)買決策，告訴消賽者什么時(shí)候買什么產(chǎn)品，什么時(shí)候買最便宜，預(yù)測(cè)產(chǎn)品的價(jià)格趨勢(shì)，這家公司背后的驅(qū)動(dòng)力就是大數(shù)據(jù)。他們?cè)谌蚋鞔缶W(wǎng)站上搜集數(shù)以十億計(jì)的數(shù)據(jù)，然后幫助數(shù)以十萬(wàn)計(jì)的用戶省錢，為他們的采購(gòu)找到最好的時(shí)間，降低交易成本，為終端的消賽者帶去更多價(jià)值。在這類模式下，盡管一些零售商的利潤(rùn)會(huì)進(jìn)一步受擠壓，但從商業(yè)本質(zhì)上來(lái)講，可以把錢更多地放回到消賽者的口袋里，讓購(gòu)物變得更理性，這是依靠大數(shù)據(jù)催生出的一項(xiàng)全新產(chǎn)業(yè)。這家為數(shù)以十萬(wàn)計(jì)的客戶省錢的公司，在幾個(gè)星期前，被eBay以高價(jià)收購(gòu)。再舉一個(gè)例子，SWIFT是全球最大的支付平臺(tái)，在該平臺(tái)上的每一筆交易都可以進(jìn)行大數(shù)據(jù)的分析，他們可以預(yù)測(cè)一個(gè)經(jīng)濟(jì)體的健康性和增長(zhǎng)性。比如，該公司現(xiàn)在為全球性客戶提供經(jīng)濟(jì)指數(shù)，這又是一個(gè)大數(shù)據(jù)服務(wù)。定制化服務(wù)的關(guān)鍵是數(shù)據(jù)?！洞髷?shù)據(jù)時(shí)代》的作者維克托?邁爾?舍恩伯格認(rèn)為，大量的數(shù)據(jù)能夠讓傳統(tǒng)行業(yè)更好地了解客戶需求，提供個(gè)性化的服務(wù)。說(shuō)明：用數(shù)據(jù)價(jià)值思維方式思考問(wèn)題，解決問(wèn)題。信息總量的變化導(dǎo)致了信息形態(tài)的變化，量變引發(fā)了質(zhì)變，最先經(jīng)歷信息爆炸的學(xué)科，如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個(gè)概念。如今，這個(gè)概念幾乎應(yīng)用到了所有人類致力于發(fā)展的領(lǐng)域中。從功能為價(jià)值轉(zhuǎn)變?yōu)閿?shù)據(jù)為價(jià)值，說(shuō)明數(shù)據(jù)和大數(shù)據(jù)的價(jià)值在擴(kuò)大，數(shù)據(jù)為“王”的時(shí)代出現(xiàn)了。數(shù)據(jù)被解釋是信息，信息常識(shí)化是知識(shí)，所以說(shuō)數(shù)據(jù)解釋、數(shù)據(jù)分析能產(chǎn)生價(jià)值。三、全樣本原理從抽樣轉(zhuǎn)變?yōu)樾枰繑?shù)據(jù)樣本需要全部數(shù)據(jù)樣本而不是抽樣，你不知道的事情比你知道的事情更重要，但如果現(xiàn)在數(shù)據(jù)足夠多，它會(huì)讓人能夠看得見(jiàn)、摸得著規(guī)律。數(shù)據(jù)這么大、這么多，所以人們覺(jué)得有足夠的能力把握未來(lái)，對(duì)不確定狀態(tài)的一種判斷，從而做出自己的決定。這些東西我們聽(tīng)起來(lái)都是非常原始的，但是實(shí)際上背后的思維方式，和我們今天所講的大數(shù)據(jù)是非常像的。舉例：在大數(shù)據(jù)時(shí)代，無(wú)論是商家還是信息的搜集者，會(huì)比我們自己更知道你可能會(huì)想干什么?，F(xiàn)在的數(shù)據(jù)還沒(méi)有被真正挖掘，如果真正挖掘的話，通過(guò)信用卡消賽的記錄，可以成功預(yù)測(cè)未來(lái)5年內(nèi)的情況。統(tǒng)計(jì)學(xué)里頭最基本的一個(gè)概念就是，全部樣本才能找出規(guī)律。為什么能夠找出行為規(guī)律?一個(gè)更深層的概念是人和人是一樣的，如果是一個(gè)人特例出來(lái)，可能很有個(gè)性，但當(dāng)人口樣本數(shù)量足夠大時(shí)，就會(huì)發(fā)現(xiàn)其實(shí)每個(gè)人都是一模一樣的。說(shuō)明：用全數(shù)據(jù)樣本思維方式思考問(wèn)題，解決問(wèn)題。從抽樣中得到的結(jié)論總是有水分的，而全部樣本中得到的結(jié)論水分就很少，大數(shù)據(jù)越大，真實(shí)性也就越大，因?yàn)榇髷?shù)據(jù)包含了全部的信息。四、關(guān)注效率原理由關(guān)注精確度轉(zhuǎn)變?yōu)殛P(guān)注效率關(guān)注效率而不是精確度，大數(shù)據(jù)標(biāo)志著人類在尋求量化和認(rèn)識(shí)世界的道路上前進(jìn)了一大步，過(guò)去不可計(jì)量、存儲(chǔ)、分析和共享的很多東西都被數(shù)據(jù)化了，擁有大量的數(shù)據(jù)和更多不那么精確的數(shù)據(jù)為我們理解世界打開(kāi)了一扇新的大門。大數(shù)據(jù)能提高生產(chǎn)效率和銷售效率，原因是大數(shù)據(jù)能夠讓我們知道市場(chǎng)的需要，人的消賽需要。大數(shù)據(jù)讓企業(yè)的決策更科學(xué)，由關(guān)注精確度轉(zhuǎn)變?yōu)殛P(guān)注效率的提高，大數(shù)據(jù)分析能提高企業(yè)的效率。例如：在互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代，企業(yè)產(chǎn)品迭代的速度在加快。三星、小米手機(jī)制造商半年就推出一代新智能手機(jī)。利用互聯(lián)網(wǎng)、大數(shù)據(jù)提高企業(yè)效率的趨勢(shì)下，快速就是效率、預(yù)測(cè)就是效率、預(yù)見(jiàn)就是效率、變革就是效率、創(chuàng)新就是效率、應(yīng)用就是效率。競(jìng)爭(zhēng)是企業(yè)的動(dòng)力，而效率是企業(yè)的生命，效率低與效率高是衡量企來(lái)成敗的關(guān)鍵。一般來(lái)講，投入與產(chǎn)出比是效率，追求高效率也就是追求高價(jià)值。手工、機(jī)器、自動(dòng)機(jī)器、智能機(jī)器之間效率是不同的，智能機(jī)器效率更高，已能代替人的思維勞動(dòng)。智能機(jī)器核心是大數(shù)據(jù)制動(dòng)，而大數(shù)據(jù)制動(dòng)的速度更快。在快速變化的市場(chǎng)，快速預(yù)測(cè)、快速?zèng)Q策、快速創(chuàng)新、快速定制、快速生產(chǎn)、快速上市成為企業(yè)行動(dòng)的準(zhǔn)則，也就是說(shuō)，速度就是價(jià)值，效率就是價(jià)值，而這一切離不開(kāi)大數(shù)據(jù)思維。說(shuō)明：用關(guān)注效率思維方式思考問(wèn)題，解決問(wèn)題。大數(shù)據(jù)思維有點(diǎn)像混沌思維，確定與不確定交織在一起，過(guò)去那種一元思維結(jié)果，已被二元思維結(jié)果取代。過(guò)去尋求精確度，現(xiàn)在尋求高效率;過(guò)去尋求因果性，現(xiàn)在尋求相關(guān)性;過(guò)去尋找確定性，現(xiàn)在尋找概率性，對(duì)不精確的數(shù)據(jù)結(jié)果已能容忍。只要大數(shù)據(jù)分析指出可能性，就會(huì)有相應(yīng)的結(jié)果，從而為企業(yè)快速?zèng)Q策、快速動(dòng)作、創(chuàng)占先機(jī)提高了效率。五、關(guān)注相關(guān)性原理由因果關(guān)系轉(zhuǎn)變?yōu)殛P(guān)注相關(guān)性關(guān)注相關(guān)性而不是因果關(guān)系，社會(huì)需要放棄它對(duì)因果關(guān)系的渴求，而僅需關(guān)注相關(guān)關(guān)系，也就是說(shuō)只需要知道是什么，而不需要知道為什么。這就推翻了自古以來(lái)的慣例，而我們做決定和理解現(xiàn)實(shí)的最基本方式也將受到挑戰(zhàn)。例如:大數(shù)據(jù)思維一個(gè)最突出的特點(diǎn)，就是從傳統(tǒng)的因果思維轉(zhuǎn)向相關(guān)思維，傳統(tǒng)的因果思維是說(shuō)我一定要找到一個(gè)原因，推出一個(gè)結(jié)果來(lái)。而大數(shù)據(jù)沒(méi)有必要找到原因，不需要科學(xué)的手段來(lái)證明這個(gè)事件和那個(gè)事件之間有一個(gè)必然，先后關(guān)聯(lián)發(fā)生的一個(gè)因果規(guī)律。它只需要知道，出現(xiàn)這種跡象的時(shí)候，我就按照一般的情況，這個(gè)數(shù)據(jù)統(tǒng)計(jì)的高概率顯示它會(huì)有相應(yīng)的結(jié)果，那么我只要發(fā)現(xiàn)這種跡象的時(shí)候，我就可以去做一個(gè)決策，我該怎么做。這是和以前的思維方式很不一樣，老實(shí)說(shuō)，它是一種有點(diǎn)反科學(xué)的思維，科學(xué)要求實(shí)證，要求找到準(zhǔn)確的因果關(guān)系。在這個(gè)不確定的時(shí)代里面，等我們?nèi)フ业綔?zhǔn)確的因果關(guān)系，再去辦事的時(shí)候，這個(gè)事情早已經(jīng)不值得辦了。所以“大數(shù)據(jù)”時(shí)代的思維有點(diǎn)像回歸了工業(yè)社會(huì)的這種機(jī)械思維——機(jī)械思維就是說(shuō)我按那個(gè)按鈕，一定會(huì)出現(xiàn)相應(yīng)的結(jié)果，是這樣狀態(tài)。而農(nóng)業(yè)社會(huì)往前推，不需要找到中間非常緊密的、明確的因果關(guān)系，而只需要找到相關(guān)關(guān)系，只需要找到跡象就可以了。社會(huì)因此放棄了尋找因果關(guān)系的傳統(tǒng)偏好，開(kāi)始挖掘相關(guān)關(guān)系的好處。例如：美國(guó)人開(kāi)發(fā)一款〃個(gè)性化分析報(bào)告自動(dòng)可視化程序”軟件從網(wǎng)上挖掘數(shù)據(jù)信息，這款數(shù)據(jù)挖掘軟件將自動(dòng)從各種數(shù)據(jù)中提取重要信息，然后進(jìn)行分析，并把此信息與以前的數(shù)據(jù)關(guān)聯(lián)起來(lái)，分析出有用的信息。非法在屋內(nèi)打隔斷的建筑物著火的可能性比其他建筑物高很多。紐約市每年接到2.5萬(wàn)宗有關(guān)房屋住得過(guò)于擁擠的投訴，但市里只有200名處理投訴的巡視員，市長(zhǎng)辦公室一個(gè)分析專家小組覺(jué)得大數(shù)據(jù)可以幫助解決這一需求與資源的落差。該小組建立了一個(gè)市內(nèi)全部90萬(wàn)座建筑物的數(shù)據(jù)庫(kù)，并在其中加入市里19個(gè)部門所收集到的數(shù)據(jù)：欠稅扣押記錄、水電使用異常、繳賽拖欠、服務(wù)切斷、救護(hù)車使用、當(dāng)?shù)胤缸锫省⑹蠡纪对V，諸如此類。接下來(lái)，他們將這一數(shù)據(jù)庫(kù)與過(guò)去5年中按嚴(yán)重程度排列的建筑物著火記錄進(jìn)行比較，希望找出相關(guān)性。果然建筑物類型和建造年份是與火災(zāi)相關(guān)的因素。不過(guò)，一個(gè)沒(méi)怎么預(yù)料到的結(jié)果是，獲得外磚墻施工許可的建筑物與較低的嚴(yán)重火災(zāi)發(fā)生率之間存在相關(guān)性。利用所有這些數(shù)據(jù)，該小組建立了一個(gè)可以幫助他們確定哪些住房擁擠投訴需要緊急處理的系統(tǒng)。他們所記錄的建筑物的各種特征數(shù)據(jù)都不是導(dǎo)致火災(zāi)的原因，但這些數(shù)據(jù)與火災(zāi)隱患的增加或降低存在相關(guān)性。這種知識(shí)被證明是極具價(jià)值的:過(guò)去房屋巡視員出現(xiàn)場(chǎng)時(shí)簽發(fā)房屋騰空令的比例只有13%，在采用新辦法之后，這個(gè)比例上升到了70%——效率大大提高了。全世界的商界人士都在高呼大數(shù)據(jù)時(shí)代來(lái)臨的優(yōu)勢(shì)：一家超市如何從一個(gè)17歲女孩的購(gòu)物清單中，發(fā)現(xiàn)了她已懷孕的事實(shí);或者將啤酒與尿不濕放在一起銷售，神奇地提高了雙方的銷售額。大數(shù)據(jù)透露出來(lái)的信息有時(shí)確實(shí)會(huì)起顛覆。比如，騰訊一項(xiàng)針對(duì)社交網(wǎng)絡(luò)的統(tǒng)計(jì)顯示，愛(ài)看家庭劇的男人是女性的兩倍還多；最關(guān)心金價(jià)的是中國(guó)大媽，但緊隨其后的卻是90后。而在過(guò)去一年，支付寶中無(wú)線支付比例排名前十的竟然全部在青海、西藏和內(nèi)蒙古地區(qū)。說(shuō)明：用關(guān)注相關(guān)性思維方式來(lái)思考問(wèn)題，解決問(wèn)題。尋找原因是一種現(xiàn)代社會(huì)的一神論，大數(shù)據(jù)推翻了這個(gè)論斷。過(guò)去尋找原因的信念正在被“更好”的相關(guān)性所取代。當(dāng)世界由探求因果關(guān)系變成挖掘相關(guān)關(guān)系，我們?cè)鯓硬拍芗炔粨p壞建立在因果推理基礎(chǔ)之上的社會(huì)繁榮和人類進(jìn)步的基石，又取得實(shí)際的進(jìn)步呢?這是值得思考的問(wèn)題。解釋：轉(zhuǎn)向相關(guān)性，不是不要因果關(guān)系，因果關(guān)系還是基礎(chǔ)，科學(xué)的基石還是要的。只是在高速信息化的時(shí)代，為了得到即時(shí)信息，實(shí)時(shí)預(yù)測(cè)，在快速的大數(shù)據(jù)分析技術(shù)下，尋找到相關(guān)性信息，就可預(yù)測(cè)用戶的行為，為企業(yè)快速?zèng)Q策提供提前量。比如預(yù)警技術(shù)，只有提前幾十秒察覺(jué)，防御系統(tǒng)才能起作用。比如，雷達(dá)顯示有個(gè)提前量，如果沒(méi)有這個(gè)預(yù)知的提前量，雷達(dá)的作用也就沒(méi)有了，相關(guān)性也是這個(gè)原理。比如，相對(duì)論與量子論的爭(zhēng)論也能說(shuō)明問(wèn)題，一個(gè)說(shuō)上帝不擲骰子，一個(gè)說(shuō)上帝擲骰子，爭(zhēng)論幾十年，最后承認(rèn)兩個(gè)都存在，而且量子論取得更大的發(fā)展一個(gè)適用于宇宙尺度，一個(gè)適用于原子尺度。四、關(guān)注效率原理由關(guān)注精確度轉(zhuǎn)變?yōu)殛P(guān)注效率關(guān)注效率而不是精確度，大數(shù)據(jù)標(biāo)志著人類在尋求量化和認(rèn)識(shí)世界的道路上前進(jìn)了一大步，過(guò)去不可計(jì)量、存儲(chǔ)、分析和共享的很多東西都被數(shù)據(jù)化了，擁有大量的數(shù)據(jù)和更多不那么精確的數(shù)據(jù)為我們理解世界打開(kāi)了一扇新的大門。大數(shù)據(jù)能提高生產(chǎn)效率和銷售效率，原因是大數(shù)據(jù)能夠讓我們知道市場(chǎng)的需要，人的消賽需要。大數(shù)據(jù)讓企業(yè)的決策更科學(xué)，由關(guān)注精確度轉(zhuǎn)變?yōu)殛P(guān)注效率的提高，大數(shù)據(jù)分析能提高企業(yè)的效率。例如：在互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代，企業(yè)產(chǎn)品迭代的速度在加快。三星、小米手機(jī)制造商半年就推出一代新智能手機(jī)。利用互聯(lián)網(wǎng)、大數(shù)據(jù)提高企業(yè)效率的趨勢(shì)下，快速就是效率、預(yù)測(cè)就是效率、預(yù)見(jiàn)就是效率、變革就是效率、創(chuàng)新就是效率、應(yīng)用就是效率。競(jìng)爭(zhēng)是企業(yè)的動(dòng)力，而效率是企業(yè)的生命，效率低與效率高是衡量企來(lái)成敗的關(guān)鍵。一般來(lái)講，投入與產(chǎn)出比是效率，追求高效率也就是追求高價(jià)值。手工、機(jī)器、自動(dòng)機(jī)器、智能機(jī)器之間效率是不同的，智能機(jī)器效率更高，已能代替人的思維勞動(dòng)。智能機(jī)器核心是大數(shù)據(jù)制動(dòng)，而大數(shù)據(jù)制動(dòng)的速度更快。在快速變化的市場(chǎng)，快速預(yù)測(cè)、快速?zèng)Q策、快速創(chuàng)新、快速定制、快速生產(chǎn)、快速上市成為企業(yè)行動(dòng)的準(zhǔn)則，也就是說(shuō)，速度就是價(jià)值，效率就是價(jià)值，而這一切離不開(kāi)大數(shù)據(jù)思維。說(shuō)明：用關(guān)注效率思維方式思考問(wèn)題，解決問(wèn)題。大數(shù)據(jù)思維有點(diǎn)像混沌思維，確定與不確定交織在一起，過(guò)去那種一元思維結(jié)果，已被二元思維結(jié)果取代。過(guò)去尋求精確度，現(xiàn)在尋求高效率;過(guò)去尋求因果性，現(xiàn)在尋求相關(guān)性;過(guò)去尋找確定性，現(xiàn)在尋找概率性，對(duì)不精確的數(shù)據(jù)結(jié)果已能容忍。只要大數(shù)據(jù)分析指出可能性，就會(huì)有相應(yīng)的結(jié)果，從而為企業(yè)快速?zèng)Q策、快速動(dòng)作、創(chuàng)占先機(jī)提高了效率。五、關(guān)注相關(guān)性原理由因果關(guān)系轉(zhuǎn)變?yōu)殛P(guān)注相關(guān)性關(guān)注相關(guān)性而不是因果關(guān)系，社會(huì)需要放棄它對(duì)因果關(guān)系的渴求，而僅需關(guān)注相關(guān)關(guān)系，也就是說(shuō)只需要知道是什么，而不需要知道為什么。這就推翻了自古以來(lái)的慣例，而我們做決定和理解現(xiàn)實(shí)的最基本方式也將受到挑戰(zhàn)。例如:大數(shù)據(jù)思維一個(gè)最突出的特點(diǎn)，就是從傳統(tǒng)的因果思維轉(zhuǎn)向相關(guān)思維，傳統(tǒng)的因果思維是說(shuō)我一定要找到一個(gè)原因，推出一個(gè)結(jié)果來(lái)。而大數(shù)據(jù)沒(méi)有必要找到原因，不需要科學(xué)的手段來(lái)證明這個(gè)事件和那個(gè)事件之間有一個(gè)必然，先后關(guān)聯(lián)發(fā)生的一個(gè)因果規(guī)律。它只需要知道，出現(xiàn)這種跡象的時(shí)候，我就按照一般的情況，這個(gè)數(shù)據(jù)統(tǒng)計(jì)的高概率顯示它會(huì)有相應(yīng)的結(jié)果，那么我只要發(fā)現(xiàn)這種跡象的時(shí)候，我就可以去做一個(gè)決策，我該怎么做。這是和以前的思維方式很不一樣，老實(shí)說(shuō)，它是一種有點(diǎn)反科學(xué)的思維，科學(xué)要求實(shí)證，要求找到準(zhǔn)確的因果關(guān)系。在這個(gè)不確定的時(shí)代里面，等我們?nèi)フ业綔?zhǔn)確的因果關(guān)系，再去辦事的時(shí)候，這個(gè)事情早已經(jīng)不值得辦了。所以“大數(shù)據(jù)”時(shí)代的思維有點(diǎn)像回歸了工業(yè)社會(huì)的這種機(jī)械思維——機(jī)械思維就是說(shuō)我按那個(gè)按鈕，一定會(huì)出現(xiàn)相應(yīng)的結(jié)果，是這樣狀態(tài)。而農(nóng)業(yè)社會(huì)往前推，不需要找到中間非常緊密的、明確的因果關(guān)系，而只需要找到相關(guān)關(guān)系，只需要找到跡象就可以了。社會(huì)因此放棄了尋找因果關(guān)系的傳統(tǒng)偏好，開(kāi)始挖掘相關(guān)關(guān)系的好處。例如：美國(guó)人開(kāi)發(fā)一款〃個(gè)性化分析報(bào)告自動(dòng)可視化程序”軟件從網(wǎng)上挖掘數(shù)據(jù)信息，這款數(shù)據(jù)挖掘軟件將自動(dòng)從各種數(shù)據(jù)中提取重要信息，然后進(jìn)行分析，并把此信息與以前的數(shù)據(jù)關(guān)聯(lián)起來(lái)，分析出有用的信息。非法在屋內(nèi)打隔斷的建筑物著火的可能性比其他建筑物高很多。紐約市每年接到2.5萬(wàn)宗有關(guān)房屋住得過(guò)于擁擠的投訴，但市里只有200名處理投訴的巡視員，市長(zhǎng)辦公室一個(gè)分析專家小組覺(jué)得大數(shù)據(jù)可以幫助解決這一需求與資源的落差。該小組建立了一個(gè)市內(nèi)全部90萬(wàn)座建筑物的數(shù)據(jù)庫(kù)，并在其中加入市里19個(gè)部門所收集到的數(shù)據(jù)：欠稅扣押記錄、水電使用異常、繳賽拖欠、服務(wù)切斷、救護(hù)車使用、當(dāng)?shù)胤缸锫?、鼠患投訴，諸如此類。接下來(lái)，他們將這一數(shù)據(jù)庫(kù)與過(guò)去5年中按嚴(yán)重程度排列的建筑物著火記錄進(jìn)行比較，希望找出相關(guān)性。果然建筑物類型和建造年份是與火災(zāi)相關(guān)的因素。不過(guò)，一個(gè)沒(méi)怎么預(yù)料到的結(jié)果是，獲得外磚墻施工許可的建筑物與較低的嚴(yán)重火災(zāi)發(fā)生率之間存在相關(guān)性。利用所有這些數(shù)據(jù)，該小組建立了一個(gè)可以幫助他們確定哪些住房擁擠投訴需要緊急處理的系統(tǒng)。他們所記錄的建筑物的各種特征數(shù)據(jù)都不是導(dǎo)致火災(zāi)的原因，但這些數(shù)據(jù)與火災(zāi)隱患的增加或降低存在相關(guān)性。這種知識(shí)被證明是極具價(jià)值的:過(guò)去房屋巡視員出現(xiàn)場(chǎng)時(shí)簽發(fā)房屋騰空令的比例只有13%，在采用新辦法之后，這個(gè)比例上升到了70%——效率大大提高了。全世界的商界人士都在高呼大數(shù)據(jù)時(shí)代來(lái)臨的優(yōu)勢(shì)：一家超市如何從一個(gè)17歲女孩的購(gòu)物清單中，發(fā)現(xiàn)了她已懷孕的事實(shí);或者將啤酒與尿不濕放在一起銷售，神奇地提高了雙方的銷售額。大數(shù)據(jù)透露出來(lái)的信息有時(shí)確實(shí)會(huì)起顛覆。比如，騰訊一項(xiàng)針對(duì)社交網(wǎng)絡(luò)的統(tǒng)計(jì)顯示，愛(ài)看家庭劇的男人是女性的兩倍還多；最關(guān)心金價(jià)的是中國(guó)大媽，但緊隨其后的卻是90后。而在過(guò)去一年，支付寶中無(wú)線支付比例排名前十的竟然全部在青海、西藏和內(nèi)蒙古地區(qū)。說(shuō)明：用關(guān)注相關(guān)性思維方式來(lái)思考問(wèn)題，解決問(wèn)題。尋找原因是一種現(xiàn)代社會(huì)的一神論，大數(shù)據(jù)推翻了這個(gè)論斷。過(guò)去尋找原因的信念正在被“更好”的相關(guān)性所取代。當(dāng)世界由探求因果關(guān)系變成挖掘相關(guān)關(guān)系，我們?cè)鯓硬拍芗炔粨p壞建立在因果推理基礎(chǔ)之上的社會(huì)繁榮和人類進(jìn)步的基石，又取得實(shí)際的進(jìn)步呢?這是值得思考的問(wèn)題。解釋：轉(zhuǎn)向相關(guān)性，不是不要因果關(guān)系，因果關(guān)系還是基礎(chǔ)，科學(xué)的基石還是要的。只是在高速信息化的時(shí)代，為了得到即時(shí)信息，實(shí)時(shí)預(yù)測(cè)，在快速的大數(shù)據(jù)分析技術(shù)下，尋找到相關(guān)性信息，就可預(yù)測(cè)用戶的行為，為企業(yè)快速?zèng)Q策提供提前量。比如預(yù)警技術(shù)，只有提前幾十秒察覺(jué)，防御系統(tǒng)才能起作用。比如，雷達(dá)顯示有個(gè)提前量，如果沒(méi)有這個(gè)預(yù)知的提前量，雷達(dá)的作用也就沒(méi)有了，相關(guān)性也是這個(gè)原理。比如，相對(duì)論與量子論的爭(zhēng)論也能說(shuō)明問(wèn)題，一個(gè)說(shuō)上帝不擲骰子，一個(gè)說(shuō)上帝擲骰子，爭(zhēng)論幾十年，最后承認(rèn)兩個(gè)都存在，而且量子論取得更大的發(fā)展一個(gè)適用于宇宙尺度，一個(gè)適用于原子尺度。八、機(jī)器懂人原理由人懂機(jī)器轉(zhuǎn)變?yōu)闄C(jī)器更懂人不是讓人更懂機(jī)器，而是讓機(jī)器更懂人，或者說(shuō)是能夠在使用者很笨的情況下，仍然可以使用機(jī)器。甚至不是讓人懂環(huán)境，而是讓我們的環(huán)境來(lái)懂我們，環(huán)境來(lái)適應(yīng)人，某種程度上自然環(huán)境不能這樣講，但是在數(shù)字化環(huán)境中已經(jīng)是這樣的一個(gè)趨勢(shì)，就是我們所在的生活世界，越來(lái)越趨向于它更適應(yīng)于我們，更懂我們。哪個(gè)企業(yè)能夠真正做到讓機(jī)器更懂人，讓環(huán)境更懂人，讓我們隨身攜帶的整個(gè)的生活世界更懂得我們的話，那他一定是具有競(jìng)爭(zhēng)力的了，而“大數(shù)據(jù)”技術(shù)能夠助我們一臂之力。例如：亞馬遜網(wǎng)站，只要買書(shū)，就會(huì)提供一個(gè)今天司空見(jiàn)慣的推薦，買了這本書(shū)的人還買了什么書(shū)，后來(lái)發(fā)現(xiàn)相關(guān)推薦的書(shū)比我想買的書(shū)還要好，時(shí)間久之后就會(huì)對(duì)它產(chǎn)生一種信任。這種信任就像在北京的那么多書(shū)店里面，以前買書(shū)的時(shí)候就在幾家，原因在于我買書(shū)比較多，他都已經(jīng)認(rèn)識(shí)我了，都是我一去之后，我不說(shuō)我要買什么書(shū)，他會(huì)推薦最近上來(lái)的幾本書(shū)，可能是我感興趣的。這樣我就不會(huì)到別的很近的書(shū)店，因?yàn)檫@家書(shū)店更懂我。例如，解題機(jī)器人挑戰(zhàn)大型預(yù)科學(xué)校高考模擬試題的結(jié)果，解題機(jī)器人的學(xué)歷水平應(yīng)該比肩普通高三學(xué)生。計(jì)算機(jī)不擅長(zhǎng)對(duì)語(yǔ)言和知識(shí)進(jìn)行綜合解析，但通過(guò)借助大規(guī)模數(shù)據(jù)庫(kù)對(duì)普通文章做出判斷的方法，在對(duì)話填空和語(yǔ)句重排等題型上成績(jī)有所提高。讓機(jī)器懂人，是讓機(jī)器具有學(xué)習(xí)的功能。人工智能已轉(zhuǎn)變?yōu)檠芯繖C(jī)器學(xué)習(xí)。大數(shù)據(jù)分析要求機(jī)器更智能，具有分析能力，機(jī)器即時(shí)學(xué)習(xí)變得更重要。機(jī)器學(xué)習(xí)是指：計(jì)算機(jī)利用經(jīng)驗(yàn)改善自身性能的行為。機(jī)器學(xué)習(xí)主要研究如何使用計(jì)算機(jī)模擬和實(shí)現(xiàn)人類獲取知識(shí)（學(xué)習(xí)）過(guò)程、創(chuàng)新、重構(gòu)已有的知識(shí)，從而提升自身處理問(wèn)題的能力，機(jī)器學(xué)習(xí)的最終目的是從數(shù)據(jù)中獲取知識(shí)。大數(shù)據(jù)技術(shù)的其中一個(gè)核心目標(biāo)是要從體量巨大、結(jié)構(gòu)繁多的數(shù)據(jù)中挖掘出隱蔽在背后的規(guī)律，從而使數(shù)據(jù)發(fā)揮最大化的價(jià)值。由計(jì)算機(jī)代替人去挖掘信息，獲取知識(shí)。從各種各樣的數(shù)據(jù)（包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)）中快速獲取有價(jià)值信息的能力，就是大數(shù)據(jù)技術(shù)。大數(shù)據(jù)機(jī)器分析中，半監(jiān)督學(xué)習(xí)、集成學(xué)習(xí)、概率模型等技術(shù)尤為重要。說(shuō)明：用機(jī)器更懂人的思維方式思考問(wèn)題，解決問(wèn)題。機(jī)器從沒(méi)有常識(shí)到逐步有點(diǎn)常識(shí)，這是很大的變化。去年，美國(guó)人把一臺(tái)云計(jì)算機(jī)送到大學(xué)里去進(jìn)修，增加知識(shí)和常識(shí)。最近俄羅斯人開(kāi)發(fā)一臺(tái)計(jì)算機(jī)軟件通過(guò)圖林測(cè)試，表明計(jì)算機(jī)已初步具有智能。讓機(jī)器懂人，這是人工智能的成功，同時(shí)，也是人的大數(shù)據(jù)思維轉(zhuǎn)變。你的機(jī)器、你的軟件、你的服務(wù)是否更懂人?將是衡量一個(gè)機(jī)器、一件軟件、一項(xiàng)服務(wù)好壞的標(biāo)準(zhǔn)。人機(jī)關(guān)系已發(fā)生很大變化，由人機(jī)分離，轉(zhuǎn)化為人機(jī)溝通，人機(jī)互補(bǔ)，機(jī)器懂人，現(xiàn)在年青人已離不開(kāi)智能手機(jī)是一個(gè)很好的例證。在互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代，有問(wèn)題一問(wèn)機(jī)器一問(wèn)百度，成為生活的一部分。機(jī)器什么都知道，原因是有大數(shù)據(jù)庫(kù)，機(jī)器可搜索到相關(guān)數(shù)據(jù)，從而使機(jī)器懂人。是人讓機(jī)器更懂人，如果機(jī)器更懂人，那么機(jī)器的價(jià)值更高。九、電子商務(wù)智能原理大數(shù)據(jù)改變了電子商務(wù)模式，讓電子商務(wù)更智能商務(wù)智能，在今天大數(shù)據(jù)時(shí)代它獲得的重新的定義。例如：傳統(tǒng)企業(yè)進(jìn)入互聯(lián)網(wǎng)，在掌握了“大數(shù)據(jù)”技術(shù)應(yīng)用途徑之后，會(huì)發(fā)現(xiàn)有一種豁然開(kāi)朗的感覺(jué)，我整天就像在黑屋子里面找東西，找不著，突然碰到了一個(gè)開(kāi)關(guān)，發(fā)現(xiàn)那么賽力的找東西，原來(lái)很容易找得到。大數(shù)據(jù)思維，事實(shí)上它不是一個(gè)全稱的判斷，只是對(duì)我們所處的時(shí)代某一個(gè)緯度的描述。大數(shù)據(jù)時(shí)代不是說(shuō)我們這個(gè)時(shí)代除了大數(shù)據(jù)什么都沒(méi)有，哪怕是在互聯(lián)網(wǎng)和IT領(lǐng)域，它也不是一切，只是說(shuō)在我們的時(shí)代特征里面加上這么一道很明顯的光，從而導(dǎo)致我們對(duì)以前的生存狀態(tài)，以及我們個(gè)人的生活狀態(tài)的一個(gè)差異化的一種表達(dá)。例如：大數(shù)據(jù)讓軟件更智能。盡管我們?nèi)蕴幱诖髷?shù)據(jù)時(shí)代來(lái)臨的前夕，但我們的日常生活已經(jīng)離不開(kāi)它了。交友網(wǎng)站根據(jù)個(gè)人的性格與之前成功配對(duì)的情侶之間的關(guān)聯(lián)來(lái)進(jìn)行新的配對(duì)。例如，具有“自動(dòng)改正”功能的智能手機(jī)通過(guò)分析我們以前的輸入，將個(gè)性化的新單詞添加到手機(jī)詞典里。在不久的將來(lái)，世界許多現(xiàn)在單純依靠人類判斷力的領(lǐng)域都會(huì)被計(jì)算機(jī)系統(tǒng)所改變甚至取代。計(jì)算機(jī)系統(tǒng)可以發(fā)揮作用的領(lǐng)域遠(yuǎn)遠(yuǎn)不止駕駛和交友，還有更多更復(fù)雜的任務(wù)。別忘了，亞馬遜可以幫我們推薦想要的書(shū)，谷歌可以為關(guān)聯(lián)網(wǎng)站排序，F(xiàn)acebook知道我們的喜好，而linkedIn可以猜出我們認(rèn)識(shí)誰(shuí)。當(dāng)然，同樣的技術(shù)也可以運(yùn)用到疾病診斷、推薦治療措施，甚至是識(shí)別潛在犯罪分子上?；蛘哒f(shuō)，在你還不知道的情況下，體檢公司、醫(yī)院提醒你趕緊去做檢查，可能會(huì)得某些病，商家比你更了解你自己，以及你這樣的人在某種情況下會(huì)出現(xiàn)的可能變化。就像互聯(lián)網(wǎng)通過(guò)給計(jì)算機(jī)添加通信功能而改變了世界，大數(shù)據(jù)也將改變我們生活中最重要的方面，因?yàn)樗鼮槲覀兊纳顒?chuàng)造了前所未有的可量化的維度。說(shuō)明：用電子商務(wù)更智能的思維方式思考問(wèn)題，解決問(wèn)題。人腦思維與機(jī)器思維有很大差別，但機(jī)器思維在速度上是取勝的，而且智能軟件在很多領(lǐng)域已能代替人腦思維的操作工作。例如美國(guó)一家媒體公司已用電腦智能軟件寫(xiě)稿，可用率已達(dá)70%。云計(jì)算機(jī)已能處理超字節(jié)的大數(shù)據(jù)量，人們需要的所有信息都可得到顯現(xiàn)，而且每個(gè)人互聯(lián)網(wǎng)行為都可記錄，這些記錄的大數(shù)據(jù)經(jīng)過(guò)云計(jì)算處理能產(chǎn)生深層次信息，經(jīng)過(guò)大數(shù)據(jù)軟件挖掘，企業(yè)需要的商務(wù)信息都能實(shí)時(shí)提供，為企業(yè)決策和營(yíng)銷、定制產(chǎn)品等提供了大數(shù)據(jù)支持。十、定制產(chǎn)品原理由企業(yè)生產(chǎn)產(chǎn)品轉(zhuǎn)變?yōu)橛煽蛻舳ㄖ飘a(chǎn)品下一波的改革是大規(guī)模定制，為大量客戶