華為內部狂轉好文：有關大數(shù)據(jù),看這一篇就夠了

1、華為內部狂轉好文：有關大數(shù)據(jù)，看這一篇就夠了一、詳解時髦詞匯：大數(shù)據(jù)似乎一夜之間，大數(shù)據(jù)（Big Data）變成一個IT行業(yè)中最時髦的詞匯。首先，大數(shù)據(jù)不是什么完完全全的新生事物，Google的搜索服務就是一個典型的大數(shù)據(jù)運用，根據(jù)客戶的需求，Google實時從全球海量的數(shù)字資產（或數(shù)字垃圾）中快速找出最可能的答案，呈現(xiàn)給你，就是一個最典型的大數(shù)據(jù)服務。只不過過去這樣規(guī)模的數(shù)據(jù)量處理和有商業(yè)價值的應用太少，在IT行業(yè)沒有形成成型的概念?，F(xiàn)在隨著全球數(shù)字化、網(wǎng)絡寬帶化、互聯(lián)網(wǎng)應用于各行各業(yè)，累積的數(shù)據(jù)量越來越大，越來越多企業(yè)、行業(yè)和國家發(fā)現(xiàn)，可以利用類似的技術更好地服務客戶、發(fā)現(xiàn)新商業(yè)機會、擴大

2、新市場以及提升效率，才逐步形成大數(shù)據(jù)這個概念。有一個有趣的故事是關于奢侈品營銷的。PRADA在紐約的旗艦店中每件衣服上都有RFID碼。每當一個顧客拿起一件PRADA進試衣間，RFID會被自動識別。同時，數(shù)據(jù)會傳至PRADA總部。每一件衣服在哪個城市哪個旗艦店什么時間被拿進試衣間停留多長時間，數(shù)據(jù)都被存儲起來加以分析。如果有一件衣服銷量很低，以往的作法是直接干掉。但如果RFID傳回的數(shù)據(jù)顯示這件衣服雖然銷量低，但進試衣間的次數(shù)多。那就能另外說明一些問題。也許這件衣服的下場就會截然不同，也許在某個細節(jié)的微小改變就會重新創(chuàng)造出一件非常流行的產品。從這個案例來看，大數(shù)據(jù)并不是很神奇的事情。就如同電影永

3、無止境提出的問題：人類通常只使用了20%的大腦，如果剩余80%大腦潛能被激發(fā)出來，世界會變得怎樣？在企業(yè)、行業(yè)和國家的管理中，通常只有效使用了不到20%的數(shù)據(jù)（甚至更少），如果剩余80%數(shù)據(jù)的價值激發(fā)起來，世界會變得怎么樣呢？特別是隨著海量數(shù)據(jù)的新摩爾定律，數(shù)據(jù)爆發(fā)式增長，然后數(shù)據(jù)又得到更有效應用，世界會怎么樣呢？單個的數(shù)據(jù)并沒有價值，但越來越多的數(shù)據(jù)累加，量變就會引起質變，就好像一個人的意見并不重要，但1千人、1萬人的意見就比較重要，上百萬人就足以掀起巨大的波瀾，上億人足以改變一切。中國的航班晚點非常多，相比之下美國航班準點情況好很多。這其中，美國航空管制機構一個的好做法發(fā)揮了積極的作用，說

4、起來也非常簡單，就是美國會公布每個航空公司、每一班航空過去一年的晚點率和平均晚點時間，這樣客戶在購買機票的時候就很自然會選擇準點率高的航班，從而通過市場手段牽引各航空公司努力提升準點率。這個簡單的方法比任何管理手段都直接和有效。沒有整合和挖掘的數(shù)據(jù)，價值也呈現(xiàn)不出來。永無止境中的庫珀如果不能把海量信息圍繞某個公司的股價整合起來、串聯(lián)起來，這些信息就沒有價值。因此，海量數(shù)據(jù)的產生、獲取、挖掘及整合，使之展現(xiàn)出巨大的商業(yè)價值，這就是我理解的大數(shù)據(jù)。在互聯(lián)網(wǎng)對一切重構的今天，這些問題都不是問題。因為，大數(shù)據(jù)是互聯(lián)網(wǎng)深入發(fā)展的下一波應用，是互聯(lián)網(wǎng)發(fā)展的自然延伸。目前，可以說大數(shù)據(jù)的發(fā)展到了一個臨界點，

5、因此才成為IT行業(yè)中最熱門的詞匯之一。二、大數(shù)據(jù)將重構很多行業(yè)的商業(yè)思維和商業(yè)模式我想以對未來汽車行業(yè)的狂野想象來展開這個題目。在人的一生中，汽車是一項巨大的投資。以一部30萬車、7年換車周期來算，每年折舊費4萬多（這里還不算資金成本），加上停車、保險、油、維修、保養(yǎng)等各項費用，每年耗費應在6萬左右。汽車產業(yè)也是一個很長產業(yè)鏈的龍頭產業(yè)，這個方面只有房地產可以媲美。但同時，汽車產業(yè)鏈是一個低效率、變化慢的產業(yè)。汽車一直以來就是四個輪子、一個方向盤、兩排沙發(fā)（李書福語）。這么一個昂貴的東西，圍繞車產生的數(shù)據(jù)卻少的可憐，行業(yè)產業(yè)鏈之間幾無任何數(shù)據(jù)傳遞。我們在這里狂野地想象一番，如果將汽車全面數(shù)字化

6、，都大數(shù)據(jù)了，會產生什么結果？有些人說，汽車數(shù)字化，不就是加個MBB模塊嗎？不，這太小兒科了。在我理想中，數(shù)字化意味著汽車可以隨時聯(lián)上互聯(lián)網(wǎng)，意味著汽車是一個大型計算系統(tǒng)加上傳統(tǒng)的輪子、方向盤和沙發(fā)，意味著可以數(shù)字化導航、自動駕駛，意味著你和汽車相關的每一個行動都數(shù)字化，包括每一次維修、每一次駕駛路線、每一次事故的錄像、每一天汽車關鍵部件的狀態(tài)，甚至你的每一個駕駛習慣（如每一次的剎車和加速）都記錄在案。這樣，你的車每月甚至每周都可能產生T比特的數(shù)據(jù)。好了，我們假設這些數(shù)據(jù)都可以存儲并分享給相關的政府、行業(yè)和企業(yè)。這里不討論隱私問題帶來的影響，假設在隱私保護的前提下，數(shù)據(jù)可以自由分享。那么，保險

7、公司會怎么做呢？保險公司把你的所有數(shù)據(jù)拿過去建模分析，發(fā)現(xiàn)幾個重要的事實：一是你開車主要只是上下班，南山到坂田這條線路是非繁華路線，紅綠燈很少，這條路線過去一年統(tǒng)計的事故率很低；你的車況（車的使用年限、車型）好，此車型在全深圳也是車禍率較低；甚至統(tǒng)計你的駕駛習慣，加油平均，臨時剎車少，超車少，和周圍車保持了應有的車距，駕駛習慣好。最后結論是你車型好，車況好，駕駛習慣好，常走的線路事故率低，過去一年也沒有出過車禍，因此可以給予更大幅度的優(yōu)惠折扣。這樣保險公司就完全重構了它的商業(yè)模式了。在沒有大數(shù)據(jù)支撐之前，保險公司只把車險客戶做了簡單的分類，一共分為四種客戶，第一種是連續(xù)兩年沒有出車禍的，第二種

8、過去一年沒有出車禍，第三種過去一年出了一次車禍，第四種是過去一年出了兩次及以上車禍的，就四種類型。在大數(shù)據(jù)的支持下，保險公司可以真正以客戶為中心，把客戶分為成千上萬種，每個客戶都有個性化的解決方案，這樣保險公司經(jīng)營就完全不同，對于風險低的客戶敢于大膽折扣，對于風險高的客戶報高價甚至拒絕，一般的保險公司就完全難以和這樣的保險公司競爭了。擁有大數(shù)據(jù)并使用大數(shù)據(jù)的保險公司比傳統(tǒng)公司將擁有壓倒性的競爭優(yōu)勢，大數(shù)據(jù)將成為保險公司最核心的競爭力，因為保險就是一個基于概率評估的生意，大數(shù)據(jù)對于準確評估概率毫無疑問是最有利的武器，而且簡直是量身定做的武器。在大數(shù)據(jù)的支持下，4S店的服務也完全不同了。車況信息會

9、定期傳遞到4S店，4S店會根據(jù)情況及時提醒車主及時保養(yǎng)和維修，特別是對于可能危及安全的問題，在客戶同意下甚至會采取遠程干預措施，同時還可以提前備貨，車主一到4S店就可以維修而不用等待。對于駕駛者來說，不想開車的時候，在大數(shù)據(jù)和人工智能的支持下，車輛可以自動駕駛，并且對于你經(jīng)常開的線路可以自學習自優(yōu)化。谷歌的自動駕駛汽車，為了對周圍環(huán)境作出預測，每秒鐘要收集差不多1GB的數(shù)據(jù)，沒有大數(shù)據(jù)的支持，自動駕駛是不可想象的；在和周圍車輛過近的時候，會及時提醒車主避讓；上下班的時候，會根據(jù)實時大數(shù)據(jù)情況，對于你經(jīng)常開車的線路予以提醒，繞開擁堵點，幫你選擇最合適的線路；到城市中心，尋找車位是一件很麻煩的事情

10、，但未來你可以到了商場門口后，讓汽車自己去找停車位，等想要回程的時候，提前通知讓汽車自己開過來接。車輛是城市最大最活躍的移動物體，是擁堵的來源，也是最大的污染來源之一。數(shù)字化的車輛、大數(shù)據(jù)應用將帶來很多的改變。紅綠燈可以自動優(yōu)化，根據(jù)不同道路的擁堵情況自動進行調整，甚至在很多地方可以取消紅綠燈；城市停車場也可以大幅度優(yōu)化，根據(jù)大數(shù)據(jù)的情況優(yōu)化城市停車位的設計，如果配合車輛的自動駕駛功能，停車場可以革命性演變，可以設計專門為自動駕駛車輛的停車樓，地下、地上樓層可以高達幾十層，停車樓層可以更矮，只要能高于車高度即可（或者把車豎起來停），這樣將對城市規(guī)劃產生巨大的影響；政府還可以每年公布各類車型的實

11、際排污量、稅款、安全性等指標，鼓勵民眾買更節(jié)能、更安全的車。電子商務和快遞業(yè)也可能發(fā)生巨大的變化。運快遞的車都可以自動駕駛，不用趕白天的擁堵的道路，晚上半夜開，在你家門口設計自動接收箱，通過密碼開啟自動投遞進去，就好像過去報童投報一樣。這么想象下來，我認為，汽車數(shù)字化、互聯(lián)網(wǎng)化、大數(shù)據(jù)應用、人工智能，將對汽車業(yè)及相關的長長的產業(yè)鏈產生難以想象的巨大變化和產業(yè)革命，具有無限的想象空間，可能完全被重構。當然，要實現(xiàn)我所描述的場景，估計至少50年、100年之后的事情了，估計我這輩子是看不到的。在這個章節(jié)的最后，我想總結一下自己對大數(shù)據(jù)的看法。第一，大數(shù)據(jù)使企業(yè)真正有能力從以自我為中心改變?yōu)橐钥蛻魹橹?/p>

12、心。企業(yè)是為客戶而生，目的是為股東獲得利潤。只有服務好客戶，才能獲得利潤。大數(shù)據(jù)的使用能夠使對企業(yè)的經(jīng)營對象從客戶的粗略歸納（就是所謂提煉歸納的“客戶群”）還原成一個個活生生的客戶，這樣經(jīng)營就有針對性，對客戶的服務就更好，投資效率就更高。第二，大數(shù)據(jù)一定程度上將顛覆了企業(yè)的傳統(tǒng)管理方式?，F(xiàn)代企業(yè)的管理方式是來源于對軍隊的模仿，依賴于層層級級的組織和嚴格的流程，依賴信息的層層匯集、收斂來制定正確的決策，再通過決策在組織的傳遞與分解，以及流程的規(guī)范，確保決策得到貫徹，確保每一次經(jīng)營活動都有質量保證，也確保一定程度上對風險的規(guī)避。第三，大數(shù)據(jù)另外一個重大的作用是改變了商業(yè)邏輯，提供了從其他視角直達答

13、案的可能性?，F(xiàn)在人的思考或者是企業(yè)的決策，事實上都是一種邏輯的力量在主導起作用。大數(shù)據(jù)給了我們其他的選擇，就是利用數(shù)據(jù)的力量，直接獲得答案。就好像我們學習數(shù)學，小時候學九九乘法表，中學學幾何，大學還學微積分，碰到一道難題，我們是利用了多年學習沉淀的經(jīng)驗來努力求解，但我們還有一種方法，在網(wǎng)上直接搜索是不是有這樣的題目，如果有，直接抄答案就好了。很多人就會批評說，這是抄襲，是作弊。但我們?yōu)槭裁匆獙W習??？不就是為了解決問題嘛。第四，通過大數(shù)據(jù)，我們可能有全新的視角來發(fā)現(xiàn)新的商業(yè)機會和重構新的商業(yè)模式。我們現(xiàn)在看這個世界，比如分析家中食品腐敗，主要就是依賴于我們的眼睛再加上我們的經(jīng)驗，但如果我們有一臺

14、顯微鏡，我們一下就看到壞細菌，那么分析起來完全就不一樣了。大數(shù)據(jù)就是我們的顯微鏡，它可以讓我們從全新視角來發(fā)現(xiàn)新的商業(yè)機會，并可能重構商業(yè)模型。我們的產品設計可能不一樣了，很多事情不用猜了，客戶的習慣和偏好一目了然，我們的設計就能輕易命中客戶的心窩；我們的營銷也完全不同了，我們知道客戶喜歡什么、討厭什么，更有針對性。特別是顯微鏡再加上廣角鏡，我們就有更多全新的視野了。這個廣角鏡就是跨行業(yè)的數(shù)據(jù)流動，使我們過去看不到的東西都能看到了。最后一點，我想談的是大數(shù)據(jù)發(fā)展對IT本身技術架構的革命性影響。大數(shù)據(jù)的根基是IT系統(tǒng)。我們現(xiàn)代企業(yè)的IT系統(tǒng)基本上是建立在IOE（IBM小型機、Oracle數(shù)據(jù)庫、

15、EMC存儲）+Cisco模型基礎上的，這樣的模型是Scale-UP型的架構，在解決既定模型下一定數(shù)據(jù)量的業(yè)務流程是適配的，但如果是大數(shù)據(jù)時代，很快會面臨成本、技術和商業(yè)模式的問題，大數(shù)據(jù)對IT的需求很快就會超越了現(xiàn)有廠商架構的技術頂點，超大數(shù)據(jù)增長將帶來IT支出增長之間的線性關系，使企業(yè)難以承受。因此，目前在行業(yè)中提出的去IOE趨勢，利用Scale-out架構+開源軟件對Scale-up架構+私有軟件的取代，本質是大數(shù)據(jù)業(yè)務模型所帶來的，也就是說大數(shù)據(jù)將驅動IT產業(yè)新一輪的架構性變革。去IOE潮流中的所謂國家安全因素，完全是次要的。所以，美國人說，大數(shù)據(jù)是資源，和大油田、大煤礦一樣，可以源源不

16、斷挖出大財富。而且和一般資源不一樣，它是可再生的，是越挖越多、越挖越值錢的，這是反自然規(guī)律的。對企業(yè)如此，對行業(yè)、對國家也是這樣，對人同樣如此。三、新智慧生物的誕生？自然語言的機器翻譯，是長期以來人工智能研究的一個重要體現(xiàn)。人工智能從過去到未來都有清晰而巨大的商業(yè)前景，是以前IT業(yè)的熱點，其熱度一點不亞于現(xiàn)在的“互聯(lián)網(wǎng)”和“大數(shù)據(jù)”。但是，人類過去在推進人工智能的研究遇到了巨大的障礙，最后幾乎絕望。當時人工智能就是模擬人的智能思考方式來構筑機器智能。以機器翻譯來說，語言學家和語言專家必須不辭勞苦地編撰大型詞典和與語法、句法、語義學有關的規(guī)則，數(shù)十萬詞匯構成詞庫，語法規(guī)則高達數(shù)萬條，考慮各種情景

17、、各種語境，模擬人類翻譯，計算機專家再構建復雜的程序。最后發(fā)現(xiàn)人類語言實在是太復雜了，窮舉式的做法根本達不到最基本的翻譯質量。這條道路最后的結果是，1960年代后人工智能的技術研發(fā)停滯不前數(shù)年后，科學家痛苦地發(fā)現(xiàn)以“模擬人腦”、“重建人腦”的方式來定義人工智能走入一條死胡同，這導致后來幾乎所有的人工智能項目都進入了冷宮。后來有人就想，機器為什么要向人學習邏輯呢，又難學又學不好，機器本身最強大的是計算能力和數(shù)據(jù)處理能力，為什么不揚長避短、另走一條道路呢？這條道路就是IBM“深藍”走過的道路。1997年5月11日，國際象棋大師卡斯帕羅夫在和IBM公司開發(fā)的計算機“深藍”進行對弈時宣布失敗，計算機“

18、深藍”因此贏得了這場意義深遠的“人機對抗”。類似的邏輯在后續(xù)也用到了機器翻譯上。谷歌、微軟和IBM都走上了這條道路。就是主要采用匹配法，同時結合機器學習，依賴于海量的數(shù)據(jù)及其相關相關統(tǒng)計信息，不管語法和規(guī)則，將原文與互聯(lián)網(wǎng)上的翻譯數(shù)據(jù)對比，找到最相近、引用最頻繁的翻譯結果做為輸出。總而言之，利用這種技術，計算機教會自己從大數(shù)據(jù)中建立模式。有了足夠大的信息量，你就能讓機器學會做看上去有智能的事情，別管是導航、理解話語、翻譯語言，還是識別人臉，或者模擬人類對話。假設目前剛剛興起的穿戴式計算設備取得巨大的進展。這種進展到什么程度呢？就是你家的寵物小狗身上也裝上了各種傳感器和穿戴式設備，比如有圖像采集

19、，有聲音采集，有嗅覺采集，有對小狗的健康進行監(jiān)控的小型醫(yī)療設備，甚至還有電子藥丸在小狗的胃中進行消化情況監(jiān)控。小狗當然也聯(lián)上網(wǎng)，也一樣產生了巨大的數(shù)據(jù)量。這時，我們假設基于這些大數(shù)據(jù)建模，能夠模擬小狗的喜怒哀樂，然后還能夠通過擬人化的處理進行語音表達，換句話說，就是模擬小狗說人話，比如主人回家時，小狗搖尾巴，旺旺叫，那么這個附著于小狗身上的人工智能系統(tǒng)就會說，“主人，真高興看到你回家”。不僅如此，你還可以和小狗的人工智能系統(tǒng)進行對話，因為這個人工智能系統(tǒng)能基本理解你的意思，又能夠代替小狗擬人化表達。我們繼續(xù)把這個故事來做延伸，把小狗換成未來的人，人在一生中產生大量的數(shù)據(jù)，根據(jù)這些數(shù)據(jù)建模可以直

20、接推演出很多的結論，比如喜歡看什么樣的電影啊，喜歡什么口味的菜啊，在遇到什么問題時會怎么采取什么行動啊。這樣的數(shù)據(jù)一直累積下來，直到這個人去世。我們有個大膽的想象，這些巨大的數(shù)據(jù)能否讓這個人以某種方式繼續(xù)存在下去呢？后代有什么問題需要尋求答案的時候，比如在人生的關鍵抉擇時，比如大學要上什么專業(yè)、該不該和某個姑娘結婚，可不可以問問這個虛擬的人（祖先）有什么建議呢？答案是當然可以。在這種情況下，數(shù)字化生存不僅在人生前存在，也可以在人死后繼續(xù)存在。人死了，可以在虛擬空間中繼續(xù)存在。一輩子、一輩子的人故去，這些虛擬的智慧都可以繼續(xù)存在，假設很多年過去了，這些虛擬智慧的祖宗們太多太多了，活著的子孫們甚至可以組建一個“祖宗聯(lián)席參謀委員會”，優(yōu)選那些考得好的（比如中過狀元），當過國家高級公