大數(shù)據(jù)和商業(yè)決策

1、大數(shù)據(jù)大數(shù)據(jù)與商業(yè)決策與商業(yè)決策PALANTIR的故事的故事 硅谷情報分析公司硅谷情報分析公司 估值估值200億美元億美元 中情局風(fēng)投部起家中情局風(fēng)投部起家 傳言協(xié)助擊斃本拉登傳言協(xié)助擊斃本拉登 Palantir情報分析師培訓(xùn)期一年情報分析師培訓(xùn)期一年問題與挑問題與挑戰(zhàn)戰(zhàn)安然公司破產(chǎn)，指控其安然公司破產(chǎn)，指控其CEO（David Delaney）與）與Mariner公司發(fā)生內(nèi)幕交易公司發(fā)生內(nèi)幕交易，缺乏證據(jù)缺乏證據(jù)數(shù)據(jù)數(shù)據(jù)安然內(nèi)部安然內(nèi)部30萬封郵件被公開，當(dāng)時最大規(guī)模的公開司法數(shù)據(jù)萬封郵件被公開，當(dāng)時最大規(guī)模的公開司法數(shù)據(jù)模型模型自然語義分析：實體抽取，文本分類，事件抽取。自然語義分析：實體

2、抽取，文本分類，事件抽取。信息：近千條提及信息：近千條提及Mariner公司的郵件中，公司的郵件中，David發(fā)出的發(fā)出的3封郵件對其公允價值進(jìn)行計算封郵件對其公允價值進(jìn)行計算認(rèn)知認(rèn)知關(guān)聯(lián)挖掘：關(guān)聯(lián)挖掘：情報：情報：1）David對對Mariner公司的公允價值計算虛假高估公司的公允價值計算虛假高估2）郵件發(fā)出的時間）郵件發(fā)出的時間 vs. David出售出售Mariner公司股票時間同軸匹配公司股票時間同軸匹配3）全部郵件中的人名抽取，關(guān)聯(lián)分析）全部郵件中的人名抽取，關(guān)聯(lián)分析David關(guān)聯(lián)人員關(guān)聯(lián)人員理解理解1）David 發(fā)出虛估發(fā)出虛估Mariner公司公允價值的郵件時間節(jié)點與其出售該公

3、司股票的時間吻公司公允價值的郵件時間節(jié)點與其出售該公司股票的時間吻合合2）David郵件關(guān)聯(lián)人員中，有多人在郵件關(guān)聯(lián)人員中，有多人在Mariner公司重要部門擔(dān)任要職公司重要部門擔(dān)任要職安然內(nèi)部交易案郵件分析2001年11月2日，安然公司宣告破產(chǎn)，這起美國歷史上最大的倒閉事件震驚全球。同時，安然留下的百萬封電子郵件，成為了當(dāng)時最大規(guī)模的公開司法信息數(shù)據(jù)庫。Palantir 通過整合結(jié)構(gòu)化數(shù)據(jù)（財務(wù)交易記錄、公司內(nèi)部圖表等）和非結(jié)構(gòu)化數(shù)據(jù)（郵件、文檔等），并加以分析處理，最終挖掘出支持指控安然前CEO David delainey進(jìn)行內(nèi)幕交易的重要證據(jù)。視頻地址：https:/ delainey

4、控訴書中，提及其可能與Mariner公司存在關(guān)聯(lián)，需判斷是否存在內(nèi)幕交易行為。Mariner公司公司結(jié)構(gòu)化處理 跨數(shù)據(jù)分析研究 挖掘關(guān)鍵結(jié)點郵件庫中提及Mariner公司的事件有近萬條；通過觀察Mariner公司的事件時間軸與“David Delainey出售股票”事件的重合點，定位可疑時間段，縮小范圍；該時間段內(nèi)David 共發(fā)出3封郵件，其中一封提及對Mariner的公允價值的計算存在虛假高估的情況。10,0003Mariner公司公司 +David Delainey 出售股票出售股票挖掘多維關(guān)聯(lián)挖掘多維關(guān)聯(lián)此外，對全部郵件事件進(jìn)行關(guān)聯(lián)挖掘，發(fā)現(xiàn)Daivd的關(guān)聯(lián)人員中，多人在Mariner

5、公司重要部門擔(dān)任要職。發(fā)現(xiàn)其中隱藏的發(fā)現(xiàn)其中隱藏的規(guī)律與關(guān)聯(lián)規(guī)律與關(guān)聯(lián)整合不同來源的海量數(shù)據(jù)整合不同來源的海量數(shù)據(jù)Palantir 做了什么做了什么？商業(yè)情報分析流程商業(yè)情報分析流程 大數(shù)據(jù)時代的認(rèn)知大數(shù)據(jù)時代的認(rèn)知獲取數(shù)據(jù)獲取數(shù)據(jù)分析數(shù)據(jù)分析數(shù)據(jù)信息認(rèn)知信息認(rèn)知理解解讀理解解讀決策制定決策制定對決策的影響對決策的影響機(jī)器的參與機(jī)器的參與？應(yīng)用：應(yīng)用：IMAGE SEARCH應(yīng)用：應(yīng)用：AUTO TAG圖圖像像識識別別獲取數(shù)據(jù)獲取數(shù)據(jù)分析數(shù)據(jù)分析數(shù)據(jù)信息認(rèn)知信息認(rèn)知理解解讀理解解讀決策制定決策制定對決策的影響對決策的影響機(jī)器的參與機(jī)器的參與？AlphaGO規(guī)則簡單規(guī)則簡單計算量大計算量大GO1

6、6萬對局棋譜萬對局棋譜幾千萬自我對局學(xué)習(xí)幾千萬自我對局學(xué)習(xí)問題規(guī)則？問題規(guī)則？學(xué)習(xí)數(shù)據(jù)？學(xué)習(xí)數(shù)據(jù)？信任？！信任？！應(yīng)用：游戲應(yīng)用：游戲應(yīng)用：商業(yè)應(yīng)用：商業(yè)商業(yè)情報分析流程商業(yè)情報分析流程 大數(shù)據(jù)時代的認(rèn)知大數(shù)據(jù)時代的認(rèn)知海量公開信息：G8開放數(shù)據(jù)憲章2013年6月，8國集團(tuán)首腦簽署了開放數(shù)據(jù)憲章，主要包括14類數(shù)據(jù)：數(shù)據(jù)類別數(shù)據(jù)舉例企業(yè)類企業(yè)/公司注冊信息司法類犯罪統(tǒng)計、安全地球觀測類氣象/天氣、農(nóng)業(yè)、林業(yè)、漁業(yè)、畜牧業(yè)教育類學(xué)校列表、學(xué)校績效、學(xué)校數(shù)字化能力能源環(huán)境類污染水平、能源消費(fèi)金融和合約合約預(yù)算、承包合約、招標(biāo)信息、未來的招投標(biāo)、地方預(yù)算、國家預(yù)算（計劃和開支）地理空間地形、郵政編碼

7、、國家地圖、地方地圖全球發(fā)展援助、食品安全、土地政府責(zé)任和民主政府合約、選舉結(jié)果、立法和法令、工資（支付比例）、招待/禮品醫(yī)療衛(wèi)生處方數(shù)據(jù)、績效數(shù)據(jù)科研基因組數(shù)據(jù)、研究和教育活動、實驗結(jié)果統(tǒng)計全國性統(tǒng)計數(shù)據(jù)、人口普查數(shù)據(jù)、基礎(chǔ)設(shè)施、資源、技能社會流動性和福利住房、醫(yī)療保險及失業(yè)救濟(jì)金交通和基礎(chǔ)設(shè)施公共交通時間表、寬帶接入點海量公開信息：中外部分國家數(shù)據(jù)公開對比公開數(shù)據(jù)項目中國美國英國新加坡企業(yè)公開信息（非上市）工商、專利等數(shù)據(jù)已公開，行政許可、處罰類數(shù)據(jù)有待完善。各州提供企業(yè)注冊信息基本注冊信息.uk/僅對新加坡公民和有效簽證持有者提供注冊.sg/政府各部門公開數(shù)據(jù)（農(nóng)業(yè)，交通，經(jīng)濟(jì)等）以量化數(shù)據(jù)為主link以量化數(shù)據(jù)為主link以量化數(shù)據(jù)為主link以量化數(shù)據(jù)為主Link司法數(shù)據(jù)中國裁判文書網(wǎng)聯(lián)邦法院、州法院各自公開三大司法系統(tǒng)：英格蘭和威爾士法院，蘇格蘭法院，北愛爾蘭法院Link免費(fèi)公開最近3個月的審判Link什么是什么是“非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)”非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)視頻視頻文本文本圖片圖片語音語音帶來的機(jī)