大數(shù)據(jù)環(huán)境下的管理理論與方法

生活、工作與思維的大變革Living,workingandthinkingbigchanges東南大學經(jīng)濟管理學院Email:scmseu@126.com第一部分：大數(shù)據(jù)的基本介紹第二部分：大數(shù)據(jù)時代的思維變革第三部分：大數(shù)據(jù)時代的商業(yè)變革第四部分：大數(shù)據(jù)與電子商務第五部分：促進大數(shù)據(jù)發(fā)展行動綱要第五部分：大數(shù)據(jù)的局限、誤區(qū)與真相目錄一場生活、工作與思維的大變革大數(shù)據(jù)開啟了一次重大的時代轉型。就想望遠鏡讓我們能夠感受宇宙，顯微鏡讓我們能夠觀測微生物一樣，大數(shù)據(jù)正在改變我們的生活以及理解世界的方式，成為新發(fā)明和新服務的源泉，而更多的改變正蓄勢待發(fā)……馬云說：互聯(lián)網(wǎng)還沒搞清楚的時候，移動互聯(lián)就來了，移動互聯(lián)還沒搞清楚的時候，大數(shù)據(jù)就來了。大數(shù)據(jù)，變革公共衛(wèi)生大數(shù)據(jù)，變革商業(yè)大數(shù)據(jù)，變革思維大數(shù)據(jù)，開啟重大的時代轉型預測，大數(shù)據(jù)的核心大數(shù)據(jù)，大挑戰(zhàn)引言啤酒+尿布（神方案）全球零售業(yè)巨頭沃爾瑪在對消費者購物行為分析時發(fā)現(xiàn)，男性顧客在購買嬰兒尿片時，常常會順便搭配幾瓶啤酒來犒勞自己，于是嘗試推出了將啤酒和尿布擺在一起的促銷手段。沒想到這個舉措居然使尿布和啤酒的銷量都大幅增加了。如今，“啤酒＋尿布”的數(shù)據(jù)分析成果早已成了大數(shù)據(jù)技術應用的經(jīng)典案例，被人津津樂道。大數(shù)據(jù)的神奇?zhèn)髡f1Google數(shù)字模型預測流感谷歌二〇〇八年研發(fā)出一組分析算法，對流感檢索關鍵詞，發(fā)生頻率、地域和時間分布等展開大數(shù)據(jù)分析。僅用一天時間，就拿出了流感爆發(fā)預測，提前幾周成功預測了2009年在美國爆發(fā)的甲型H1N1流感，發(fā)表在《自然》雜志，聲稱準確率高達97％超市預知高中生顧客懷孕明尼蘇達州一家塔吉特門店曾被客戶投訴，一位中年男子指控塔吉特將嬰兒產(chǎn)品優(yōu)惠券寄給他的女兒——一個高中生。但沒多久他卻來電道歉，因為女兒經(jīng)他逼問后坦承自己真的懷孕了。塔吉特百貨就是靠著分析用戶所有的購物數(shù)據(jù)，然后通過相關關系分析得出事情的真實狀況。大數(shù)據(jù)的神奇?zhèn)髡f2數(shù)據(jù)新聞讓英國撤出伊拉克2010年10月23日《衛(wèi)報》利用維基解密的數(shù)據(jù)做了一篇“數(shù)據(jù)新聞”。將伊拉克戰(zhàn)爭中所有的人員傷亡情況均標注于地圖之上。地圖上一個紅點便代表一次死傷事件，鼠標點擊紅點后彈出的窗口則有詳細的說明：傷亡人數(shù)、時間，造成傷亡的具體原因。密布的紅點多達39萬，顯得格外觸目驚心。一經(jīng)刊出立即引起朝野震動，推動英國最終做出撤出駐伊拉克軍隊的決定。數(shù)據(jù)文檔幫喬布斯延長生命喬布斯是世界上第一個對自身所有DNA和腫瘤DNA進行排序的人。為此，他支付了高達幾十萬美元的費用。他得到的不是樣本，而是包括整個基因的數(shù)據(jù)文檔。醫(yī)生按照所有基因按需下藥，最終這種方式幫助喬布斯延長了好幾年的生命。大數(shù)據(jù)的神奇?zhèn)髡f3大數(shù)據(jù)成功預測21項大獎2013年，微軟紐約研究院的經(jīng)濟學家大衛(wèi)?羅斯柴爾德（DavidRothschild）利用大數(shù)據(jù)成功預測24個奧斯卡獎項中的19個，成為人們津津樂道的話題。今年羅斯柴爾德再接再厲，成功預測第86屆奧斯卡金像獎頒獎典禮24個獎項中的21個，繼續(xù)向人們展示現(xiàn)代科技的神奇魔力。大數(shù)據(jù)讓奧巴馬連任成功2012年11月奧巴馬大選連任成功的勝利果實也被歸功于大數(shù)據(jù)，因為他的競選團隊進行了大規(guī)模與深入的數(shù)據(jù)挖掘。時代雜志更是斷言，依靠直覺與經(jīng)驗進行決策的優(yōu)勢急劇下降，在政治領域，大數(shù)據(jù)的時代已經(jīng)到來；各色媒體、論壇、專家鋪天蓋地的宣傳讓人們對大數(shù)據(jù)時代的來臨興奮不已，無數(shù)公司和創(chuàng)業(yè)者都紛紛跳進了這個狂歡隊伍。美國國家科學基金委（NSF）的定義大數(shù)據(jù)是指由科學儀器、傳感器、網(wǎng)上交易、電子郵件、視頻、點擊流和/或所有其他現(xiàn)在或將來可用的數(shù)字源產(chǎn)生的大規(guī)模、多樣的、復雜的、縱向的/或分布式的數(shù)據(jù)集。大數(shù)據(jù)的定義IBM公司的定義大數(shù)據(jù)的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Veracity（真實性），這些特征相結合，定義了IBM所稱的“大數(shù)據(jù)”。麥肯錫公司（McKinsey&Company）的定義大數(shù)據(jù)是一個大的數(shù)據(jù)池，其中的數(shù)據(jù)可以被采集、傳遞、聚集、存儲和分析。目前，大數(shù)據(jù)是全球經(jīng)濟每個部門和功能的一部分。與固定資產(chǎn)和人力資本等其他重要的生產(chǎn)要素類似，沒有數(shù)據(jù)，很多現(xiàn)代經(jīng)濟活動、創(chuàng)新和增長都不會發(fā)生，這正成為越來越普遍的現(xiàn)象。維基百科（Wikipedia）的定義大數(shù)據(jù)是指規(guī)模龐大且復雜的數(shù)據(jù)集合，很難用常規(guī)的數(shù)據(jù)庫管理工具或傳統(tǒng)數(shù)據(jù)處理應用對其進行處理。數(shù)據(jù)數(shù)據(jù)（data）是記錄下來的、存儲在某一種媒體上能夠識別（鑒別）的符號。這些符號不僅指數(shù)字，而且包括字符、文字、圖形和影像等等。數(shù)據(jù)、信息和知識知識知識是一種用符號表示的信息，其中信息是知識的內(nèi)涵與實體，而數(shù)據(jù)是信息的外延與形式。信息信息（information）是經(jīng)過加工處理對客觀實體產(chǎn)生影響的數(shù)據(jù)，數(shù)據(jù)是承載信息的載體。數(shù)據(jù)、信息與知識的關系對象數(shù)據(jù)信息知識識別、檢測、表達轉變、處理獲取、創(chuàng)造管理就是決策決策科學先驅者西蒙（H.A.Simon）教授認為，管理就是決策。不同的決策其問題不同、期望不同、復雜度不同、可控性不同、可形式化程度不同等，利用大數(shù)據(jù)可為企業(yè)的決策者或管理者進行決策提供幫助，或輔助決策，以提高決策的科學性、可預見性。決策決策問題的分類從決策科學的角度來看，按照決策問題可形式化的程度，企業(yè)的決策問題可分為結構化決策、非結構化決策和半結構化決策。結構化決策通常指確定型的管理決策問題，即問題的相關要素、以及要素之間的關系和制約關系是可知、可描述的、確定的。例如，應用運籌學方法等求解資源優(yōu)化問題。如：飼料配方、生產(chǎn)計劃、調(diào)度等。決策問題的分類非結構化決策非結構化決策問題很難用確定的決策模型來描述，大多數(shù)情況下它發(fā)生在企業(yè)的戰(zhàn)略層，是必須由決策者給出問題的定義、判斷和評價的一類決策問題。往往是決策者根據(jù)掌握的情況和數(shù)據(jù)臨時做出決定。如：聘用人員，為雜志選封面。半結構化決策半結構化決策介于結構化決策、非結構化決策之間，一般只有部分給定的處理過程和清晰結果，很多情況下發(fā)生在知識管理層和戰(zhàn)術管理層。這樣的決策問題一般可適當建立模型，但無法確定最優(yōu)方案。如：開發(fā)市場，經(jīng)費預算。不同層次決策的信息特征“更多”——不是隨機樣本，而是全體數(shù)據(jù)當數(shù)據(jù)處理技術已經(jīng)發(fā)生翻天覆地的變化時，在大數(shù)據(jù)時代進行抽樣分析就像在汽車時代騎馬一樣。一切都改變了，我們需要的是所有的數(shù)據(jù)，“樣本＝總體”。讓數(shù)據(jù)“發(fā)聲”——IBM的資深“大數(shù)據(jù)”專家杰夫-喬納斯（JeffJonas）小數(shù)據(jù)時代的隨機采樣，最少的數(shù)據(jù)獲得最多的信息全數(shù)據(jù)模式，樣本＝總體“更雜”——不是精確性，而是混雜性執(zhí)迷于精確性是信息缺乏時代和模擬時代的產(chǎn)物。據(jù)估計只有5%的數(shù)字數(shù)據(jù)時結構化的，能適用于傳統(tǒng)的數(shù)據(jù)庫。如果不接受混亂，剩下95%的非結構化數(shù)據(jù)都無法被利用，通過接受不精確性，可以打開從未涉足的世界的窗戶。允許不精確大數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復雜算法更有效紛繁的數(shù)據(jù)越多越好混雜性，不是竭力避免，而是標準途徑新的數(shù)據(jù)庫設計的誕生“更好”——不是因果關系，而是相關關系知道“是什么”就夠了，沒必要知道“為什么”。在大數(shù)據(jù)時代，我們不必非得知道現(xiàn)象背后的原因，而是要讓數(shù)據(jù)自己“發(fā)聲”。關聯(lián)物，預測的關鍵“是什么”，而不是“為什么”改變，從操作方式開始大數(shù)據(jù)，改變?nèi)祟愄剿魇澜绲姆椒ā皵?shù)據(jù)化”——一切皆可“量化”大數(shù)據(jù)發(fā)展的核心動力來源于人類測量、記錄和分析世界的渴望。信息技術變革隨處可見，但是如今信息技術變革的重點在“T”（技術）上，而不是在“I”(信息）上?，F(xiàn)在，我們是時候把聚光燈打向“I”，開始關注信息本身了。數(shù)據(jù)，從最不可能的地方提取出來數(shù)據(jù)化，不是數(shù)字化量化一切，數(shù)據(jù)化的核心當文字變成數(shù)據(jù)當方位變成數(shù)據(jù)當溝通成為數(shù)據(jù)一切事物的數(shù)據(jù)化“價值”——“取之不盡，用之不竭”的數(shù)據(jù)創(chuàng)新數(shù)據(jù)就像一個神奇的鉆石礦，當它的首要價值被發(fā)掘后仍能不斷給予。它的真實價值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而絕大部分都隱藏在表面之下。穿戴式健康電子產(chǎn)品現(xiàn)在有可穿戴的數(shù)據(jù)設備，可以追蹤監(jiān)測很大的人群，而且可以對這些人群進行監(jiān)測，抽取非常豐富的數(shù)據(jù)，而且可以對小群體進行監(jiān)測?，F(xiàn)在我們還有能力可以監(jiān)測每個個人，比如說監(jiān)測個人的血壓、血糖等等指數(shù)，時間長了就可以預測患這些疾病的風險?！敖巧ㄎ弧薄獢?shù)據(jù)、技術與思維的三足鼎立微軟以1.1億美元的價格購買了大數(shù)據(jù)公司Farecast，而兩年后谷歌則以7億美元的價格購買了給Farecast提供數(shù)據(jù)的ITASoftware公司。如今，我們正處在大數(shù)據(jù)時代的早期，思維和技術是最有價值的，但是最終大部分價值還是必須從數(shù)據(jù)本身來挖掘。大數(shù)據(jù)價值的3大構成大數(shù)據(jù)掌控公司大數(shù)據(jù)技術公司大數(shù)據(jù)思維公司和個人全新的數(shù)據(jù)中間商專家的消亡與數(shù)據(jù)科學家的崛起大數(shù)據(jù)，決定企業(yè)的競爭力截止2014年12月底中國網(wǎng)購用戶規(guī)模達3.8億人,而2013年為3.12億,同比增長21.8%。2012年淘寶天貓雙十一191億，2013年雙十一350億，2014年雙十一571億，那2015年的淘寶天貓雙11究竟能夠突破多少億交易額呢？根據(jù)數(shù)據(jù)試著用三種方法進行推到演算。預測2015年的淘寶天貓雙11銷售額是844億—860.5億。同時，根據(jù)Alexa統(tǒng)計及數(shù)據(jù)估算，淘寶網(wǎng)的日均頁訪問量達到了3.53億，每天產(chǎn)生的數(shù)據(jù)量更是高達60TB1號店通過手機平臺的大數(shù)據(jù)，對其進行分析，給顧主發(fā)送個性化EDM，進行精準的電子郵件營銷。若顧客曾經(jīng)在1號店網(wǎng)站上查看過一個商品卻未購買，一號店會根據(jù)可能的情況：缺貨，價格不合適，商品不合適等經(jīng)行分析，分別在到貨、降價或引入類似商品時以電郵方式告知客戶。同時，通過挖掘客戶的周期性購買習性或附近類似客戶的購買周期習性，適時提醒客戶。淘寶在2012年推出了“淘寶時光機”項目，該項目通過分析用戶自注冊為用戶以來的行動，用幽默生動的談話模式，告知顧主淘寶的成長歷史以及該用戶在淘寶購物的軌跡。通過收集與該用戶有相類似喜好的其他用戶的行動并經(jīng)過分析后，可以對特定用戶的偏好和行動軌跡進行猜測，已達到精準營銷的目的；并可以用特定用戶喜好的方式和個性化的數(shù)據(jù)、拉近了與顧客的距離。Google的Adsense對顧客的搜索過程和其對各網(wǎng)站的關注度履行數(shù)據(jù)經(jīng)行發(fā)掘，并在聯(lián)盟內(nèi)網(wǎng)站上追蹤用戶的去處，將數(shù)據(jù)整合后經(jīng)行分析，在其聯(lián)盟網(wǎng)站上推出了和顧客潛在興趣相匹配的廣告，達到精準化營銷。阿里巴巴則通過在淘寶、天貓等網(wǎng)站積累的數(shù)據(jù)資料，通過對用戶的銷售終端、資金使用等數(shù)據(jù)進行追蹤和收集，以了解中小企業(yè)的交易狀況。從中可篩選出財務健康、講究誠信的企業(yè)，為他們發(fā)放無擔保貸款，解決其貸款難的問題，不僅新增了盈利模式又可以防范風險。目前，阿里巴巴已收貸300多億元，壞賬率僅為0.3%，遠低于銀行貸款壞賬率。當當網(wǎng)、亞馬遜等電商企業(yè)之前通過協(xié)同算法來找到商品之間的聯(lián)系，即：當購買某件商品時，會展現(xiàn)相關商品的推薦信息。這能夠為用戶查找相關商品提供方便，提升客戶體驗；更是利用了商品之間的互補性與相關性，增加了銷量。并且，通過對平臺用戶的瀏覽痕跡進行記錄分析，正對不同層次類型的用戶會提供特定的商品推薦信息。通過對客戶歷史數(shù)據(jù)的分析，進一步了解客戶的購物習慣、興趣愛好和購買意愿，并可以對客戶群體進行細分，通過用戶畫像了解用戶，猜測用戶對產(chǎn)品的需求或者潛在需求，精細化的定位人群特征，挖掘潛在的用戶群體，為媒體網(wǎng)站、廣告主、企業(yè)及廣告公司充分認知群體用戶的差異化特征，根據(jù)族群的差異化特征，幫助客戶找到營銷機會、運營方向，全面提高客戶的核心影響力。精準的廣告電子商務企業(yè)同歸對這次寫海量數(shù)據(jù)的收集、分析和整合，挖掘出對自己有用的信息，分析不同用戶群體的特征，根據(jù)用戶需求和興趣在正確的時間，給正確用戶投放讓其感興趣的廣告，從而保證營銷的有效性和精準性。消息的及時推送實現(xiàn)消息額及時推送囊括的范圍很廣泛，包括在用戶需要時提供信息，或者電商企業(yè)推送性吸引導用戶進行購買等。很多電商企業(yè)利用大數(shù)據(jù)挖掘客戶的周期性購買習慣，在臨近客戶購買周期時適時的提醒客戶消費。消息的個性化展示利用大數(shù)據(jù)，對用戶的數(shù)據(jù)進行收集、分析和整合，對數(shù)據(jù)庫進行實時更新，從而改變頁面內(nèi)容，在信息海洋中為用戶提供有用及時信息，對產(chǎn)品與服務進行針對性的調(diào)整與優(yōu)化，為消費者提供個性化和精準的服務。將供應鏈領域的銷售網(wǎng)點體系、條形碼掃描設備、射頻識別閱讀儀、用于車輛和手提電話的全球定位系統(tǒng)以及用于管理交通、庫房和其他運作的軟件體系等數(shù)據(jù)相關聯(lián)，并從多種渠道獲取大量非結構性數(shù)據(jù)，進行研究，提升物流速度和針對性。如，要避免庫存不足或者由于惡劣天氣導致的延遲送貨等現(xiàn)象的發(fā)生，就進行實時或者近乎實時的數(shù)據(jù)分析。在大數(shù)據(jù)時代下，企業(yè)能夠通過海量數(shù)據(jù)研究客戶需求，避免產(chǎn)品市場風險和存貨風險。通過研究客戶需求在一定程度上降低因市場變化、產(chǎn)品滯銷等原因導致跌價或不能及時賣出自己的產(chǎn)品的影響。及時發(fā)現(xiàn)市場疲軟、產(chǎn)品產(chǎn)銷不對路;商品更新?lián)Q代，客戶偏好變化等影響銷售的因素，從而很好地控制風險。同時，通過市場數(shù)據(jù)和客戶數(shù)據(jù)的結合研究，企業(yè)能夠更好地控制生產(chǎn)投入、控制采購、按時產(chǎn)出，加強保管。政府大數(shù)據(jù)建設，首先要實現(xiàn)所有部門的數(shù)據(jù)“共享”。在8月19日的常務會議討論研究《關于促進大數(shù)據(jù)發(fā)展的行動綱要》時，李克強重點強調(diào)：各部門的數(shù)據(jù)首先要實現(xiàn)“共享”?！笆裁唇小肮蚕怼保科鸫a要有個連接，打開你的就能把其他的打開。共享過程中如果出現(xiàn)重疊，那就要進行銜接，實現(xiàn)數(shù)據(jù)整合?！庇幸恍┮龑鐣?jīng)濟發(fā)展的數(shù)據(jù)，不涉及國家秘密的，都應該向公眾開放，以方便大家使用。從另一方面講，相關數(shù)據(jù)的開放，也會倒逼政府數(shù)據(jù)發(fā)布的真實性和規(guī)范性?！艾F(xiàn)在一些地方、部門發(fā)布的數(shù)據(jù)，有時候會相互‘打架’，老百姓都搞不清楚究竟哪些數(shù)據(jù)是真實的?！崩羁藦娬f，“這怎么提高社會治理能力，怎么建設現(xiàn)代政府呢？”他要求，政府大數(shù)據(jù)建設不能僅僅“劃一個概念”：“首先要把政府大數(shù)據(jù)的建設事情辦好，給社會一個好的示范?！贝髷?shù)據(jù)產(chǎn)業(yè)的潮流不可阻擋，我們要順勢而為。今年2月，總理在貴州考察期間，專程來到北京·貴陽大數(shù)據(jù)應用中心，詳細了解貴陽利用大數(shù)據(jù)平臺監(jiān)督執(zhí)法權力的情況，明確提出要把執(zhí)法權力關進“數(shù)據(jù)鐵籠”，實現(xiàn)“人在干、云在看”。而在8月19日的常務會議上，李克強強調(diào)的第三個關鍵詞就是“安全”。他說，互聯(lián)網(wǎng)等行業(yè)已經(jīng)在不斷創(chuàng)新、發(fā)展大數(shù)據(jù)產(chǎn)業(yè)?！耙虼?，政府既要‘扶持’，為大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)造一個健康發(fā)展的環(huán)境，又要‘引導’、‘規(guī)范’，保障信息安全。”總理明確，要完善產(chǎn)業(yè)標準體系，依法依規(guī)打擊數(shù)據(jù)濫用、侵犯隱私等行為，讓各類市場主體公平分享大數(shù)據(jù)帶來的技術、制度和創(chuàng)新活力。2015年9月6日經(jīng)李克強總理簽批，國務院日前印發(fā)《促進大數(shù)據(jù)發(fā)展行動綱要》（以下簡稱《綱要》），系統(tǒng)部署大數(shù)據(jù)發(fā)展工作?！毒V要》提出，要加強頂層設計和統(tǒng)籌協(xié)調(diào)，大力推動政府信息系統(tǒng)和公共數(shù)據(jù)互聯(lián)開放共享，加快政府信息平臺整合，消除信息孤島，推進數(shù)據(jù)資源向社會開放，增強政府公信力，引導社會發(fā)展，服務公眾企業(yè)；以企業(yè)為主體，營造寬松公平環(huán)境，加大大數(shù)據(jù)關鍵技術研發(fā)、產(chǎn)業(yè)發(fā)展和人才培養(yǎng)力度，著力推進數(shù)