認(rèn)知圖譜-人工智能的下一個(gè)瑰寶

認(rèn)知圖譜

—人工智能的下一個(gè)瑰寶人工智能的發(fā)展第一代符號(hào)模型/規(guī)則模型/感知機(jī)第二代第三代張鈸院士2016年提出第三代人工智能雛形，DARPA

2018年發(fā)布AI

Next計(jì)劃。核心思路是推進(jìn)數(shù)據(jù)統(tǒng)計(jì)與知識(shí)推理融合的計(jì)算；與腦認(rèn)知機(jī)理融合的計(jì)算。大數(shù)據(jù)驅(qū)動(dòng)的統(tǒng)計(jì)學(xué)習(xí)方法初步實(shí)現(xiàn)了針對(duì)文本、圖像、語(yǔ)音等的感知與識(shí)別感知智能認(rèn)知智能目前急需的是高質(zhì)量超大規(guī)模知識(shí)圖譜（AI的基礎(chǔ)設(shè)施）以及對(duì)超大規(guī)模數(shù)據(jù)的深度理解能力（面向認(rèn)知的深度學(xué)習(xí)）符號(hào)AI回顧機(jī)器學(xué)習(xí)Formorefrom/概率圖模型FactorGraph,ExponentialModel,TopicModel(PLSI,LDA)分類模型DecisiontreeBayesianClassifierPerceptronNeuralNetworks深度學(xué)習(xí)DNN,CNN,ResNet最大化邊界SVM(Vapnik)序列模型HMM,MEMM,CRF,VotedPerceptron深度生成模型DBN,

AutoEncoder,VAE,

GAN,

WGAN循環(huán)網(wǎng)絡(luò)RNN,

LSTM,

GRU強(qiáng)化學(xué)習(xí)Q-LearningPolicyGradientActor-CriticTRPO深度強(qiáng)化學(xué)習(xí)DQN,

VIN,

A3C

機(jī)器思考

vs.人類思考1900機(jī)器思考人類思考神經(jīng)系統(tǒng)結(jié)構(gòu)1932196019751990200020202000神經(jīng)元功能“突觸”神經(jīng)末梢遞質(zhì)機(jī)理視覺(jué)系統(tǒng)

機(jī)理嗅覺(jué)系統(tǒng)

機(jī)理大腦定位導(dǎo)航系統(tǒng)及機(jī)理人工智能領(lǐng)域建立人類認(rèn)知心理學(xué)和表處理大規(guī)模人工智能系統(tǒng)計(jì)算理論的變革深度學(xué)習(xí)概率論和因果推理OPENAI的通用人工智能戰(zhàn)略：制造通用機(jī)器人和使用自然語(yǔ)言的聊天機(jī)器人單個(gè)機(jī)械手還原魔方：Dactyl機(jī)器人擊敗Dota2游戲國(guó)際職業(yè)選手：OpenAIFive強(qiáng)化學(xué)習(xí)算法游戲模擬平臺(tái)：Gym通用強(qiáng)化學(xué)習(xí)算法測(cè)評(píng)平臺(tái)：Universe第一個(gè)通用預(yù)訓(xùn)練語(yǔ)言模型，啟發(fā)了BERT，當(dāng)前參數(shù)最大的模型，在多項(xiàng)NLP任務(wù)中表現(xiàn)優(yōu)異邁向通用人工智能大規(guī)模預(yù)訓(xùn)練模型的發(fā)展時(shí)間機(jī)構(gòu)模型名稱模型規(guī)模計(jì)算時(shí)間2018.06OpenAIGPT110M3天2018.10GoogleBERT330M50天2019.02OpenAIGPT-21.5B200天2019.07FacebookRoBERTa3.3B3年2019.10GoogleT511B66年2020.06OpenAIGPT-3175B355年預(yù)訓(xùn)練模型規(guī)模以每年約10倍的速度增長(zhǎng)，模型的通用智能水平顯著增強(qiáng)

注：M-百萬(wàn)，B-十億，最后一列計(jì)算時(shí)間為使用單塊NVIDIAV100GPU訓(xùn)練的估計(jì)時(shí)間GPT-3的阿喀琉斯之踵知識(shí)圖譜谷歌知識(shí)圖譜“讓搜索更智能”，與2012年5月16日加入谷歌搜索最早的谷歌知識(shí)圖譜源自CIAWorldFactbook、Freebase、Wikipedia的融合包含：5億對(duì)象、35億實(shí)例和關(guān)系CYC是最早的知識(shí)圖譜之一，每條知識(shí)斷言手工成本為5.71美元*—Douglas

Lenat（CYC創(chuàng)始人）NELL利用機(jī)器學(xué)習(xí)實(shí)現(xiàn)知識(shí)圖譜自動(dòng)構(gòu)建，但—TomM.Mitchell（CMU教授，美工程院院士）自我悖論：手工構(gòu)建成本高和自動(dòng)構(gòu)建精度低目前這兩個(gè)項(xiàng)目都處于半停滯狀態(tài)5.7美元*錯(cuò)誤率增加10倍*CYC有2100萬(wàn)條知識(shí)斷言；而更大的知識(shí)圖譜Freebase包含30億條知識(shí)圖譜的先天缺陷從計(jì)算模型看認(rèn)知AI數(shù)據(jù)驅(qū)動(dòng)知識(shí)驅(qū)動(dòng)基于感知的深度學(xué)習(xí)和基于認(rèn)知的符號(hào)計(jì)算的融合符號(hào)計(jì)算舉一反三學(xué)習(xí)與理解因果推理常識(shí)知識(shí)驅(qū)動(dòng)的可解釋性深度學(xué)習(xí)舉十反一學(xué)習(xí)與記憶關(guān)聯(lián)挖掘超大規(guī)模數(shù)據(jù)的預(yù)訓(xùn)練知識(shí)=數(shù)值+符號(hào)超越GPT-3的預(yù)訓(xùn)練模型架構(gòu)長(zhǎng)距離序列建模能力可以快速適應(yīng)、可讀寫的記憶模塊對(duì)知識(shí)和推理進(jìn)行模塊化解耦目標(biāo)函數(shù)同時(shí)具備雙向建模能力和生成能力從人類偏好中進(jìn)行學(xué)習(xí)將Meta

Learning

OOD泛化作為目標(biāo)持續(xù)學(xué)習(xí)的能力從經(jīng)驗(yàn)中學(xué)習(xí)不斷提升、記憶自身推理得出的結(jié)論完成復(fù)雜任務(wù)的能力行動(dòng)和決策能力（e.g.虛擬助手）、快速記憶知識(shí)和推理（e.g.閱讀文檔并根據(jù)需求寫代碼）支持多種語(yǔ)言同時(shí)支持中英文基于至少數(shù)百GB的多語(yǔ)言數(shù)據(jù)在標(biāo)準(zhǔn)NLP任務(wù)上取得提升認(rèn)知能力突破（e.g.開(kāi)放對(duì)話）讓機(jī)器有“創(chuàng)造”能力V.S.讓機(jī)器有“創(chuàng)造”能力kamilan卡米蘭2017秋季新款印花襯衫女寬松中長(zhǎng)款長(zhǎng)袖襯衣上衣原圖自動(dòng)生成我們離AGI還差什么：更高級(jí)的認(rèn)知能力模型架構(gòu)長(zhǎng)距離序列建模能力可以快速適應(yīng)、可讀寫的記憶模塊對(duì)知識(shí)和推理進(jìn)行模塊化解耦目標(biāo)函數(shù)同時(shí)具備雙向建模能力和生成能力從人類偏好中進(jìn)行學(xué)習(xí)將Meta

Learning

OOD泛化作為目標(biāo)持續(xù)學(xué)習(xí)的能力從經(jīng)驗(yàn)中學(xué)習(xí)不斷提升、記憶自身推理得出的結(jié)論完成復(fù)雜任務(wù)的能力行動(dòng)和決策能力（e.g.虛擬助手）、快速記憶知識(shí)和推理（e.g.閱讀文檔并根據(jù)需求寫代碼）支持多種語(yǔ)言同時(shí)支持中英文基于至少數(shù)百GB的多語(yǔ)言數(shù)據(jù)在標(biāo)準(zhǔn)NLP任務(wù)上取得提升認(rèn)知能力突破（e.g.開(kāi)放對(duì)話）認(rèn)知AI的“九準(zhǔn)則”認(rèn)知AI1.

適應(yīng)與學(xué)習(xí)能力2.定義與語(yǔ)境化能力3.自我系統(tǒng)的準(zhǔn)入能力4.優(yōu)先級(jí)與訪問(wèn)控制能力5.召集與控制能力6.決策與執(zhí)行能力7.錯(cuò)誤探測(cè)與編輯能力8.反思與自我監(jiān)控能力9.條理與靈活性之間的能力感知AI數(shù)據(jù)驅(qū)動(dòng)->模型訓(xùn)練知識(shí)圖譜->知識(shí)匹配半監(jiān)督學(xué)習(xí)->自監(jiān)督學(xué)習(xí)用戶交互->強(qiáng)化學(xué)習(xí)認(rèn)知AI不僅會(huì)使用數(shù)據(jù)驅(qū)動(dòng)的方法來(lái)建構(gòu)更好的AI系統(tǒng)，還應(yīng)該能將行為與意識(shí)聯(lián)系起來(lái)，主動(dòng)“學(xué)習(xí)”與創(chuàng)造行為認(rèn)知圖譜(CognitiveGraph)常識(shí)圖譜KnowledgeGraphCognitiveReasoningLogicGeneration

為AI賦予

認(rèn)知能力認(rèn)知推理邏輯生成Option03Option02Option01高精度知識(shí)圖譜構(gòu)建工具領(lǐng)域知識(shí)圖譜應(yīng)用系統(tǒng)超大規(guī)模常識(shí)知識(shí)圖譜基于知識(shí)圖譜的推薦/搜索超大規(guī)模預(yù)訓(xùn)練模型內(nèi)容自動(dòng)生成“數(shù)字人”系統(tǒng)突破系統(tǒng)2的認(rèn)知推理異常檢測(cè)、關(guān)鍵線索挖掘追跟溯源、趨勢(shì)預(yù)見(jiàn)FromBengio’sNIPS’2019主旨報(bào)告雙過(guò)程理論(認(rèn)知科學(xué))：系統(tǒng)1vs.系統(tǒng)2認(rèn)知認(rèn)知的不同類型從腦認(rèn)知看機(jī)器學(xué)習(xí)當(dāng)前深度學(xué)習(xí)僅解決了認(rèn)知系統(tǒng)1的問(wèn)題直覺(jué)認(rèn)知邏輯認(rèn)知腦科學(xué)與認(rèn)知智能18記憶短期記憶在海馬體轉(zhuǎn)化為長(zhǎng)期（陳述性）記憶蛋白質(zhì)磷酸化修飾（中期）長(zhǎng)時(shí)程增強(qiáng)、新蛋白產(chǎn)生（長(zhǎng)期記憶）推理主要在前額葉中進(jìn)行推理語(yǔ)言腦區(qū)參與對(duì)應(yīng)工作記憶（睡眠時(shí)前額葉興奮可以做能推斷出自己在做夢(mèng)的“清醒夢(mèng)”）記憶：工作記憶理論19盡管對(duì)于認(rèn)知的微觀機(jī)理尚未研究清楚，我們?nèi)钥梢蕴骄亢暧^框架。全局工作空間理論（Global

Workspace

Theory）是巴斯等人對(duì)工作記憶模型的發(fā)展，認(rèn)為“意識(shí)”是不同進(jìn)程爭(zhēng)奪全局空間傳播信息的結(jié)果。巴德利的工作記憶（Working

Memory）機(jī)制是里程碑式的工作，探究工作記憶調(diào)用多模態(tài)信息與長(zhǎng)短期記憶轉(zhuǎn)化（科萬(wàn)的分層注意力理論）。認(rèn)知圖譜11842年1979、1990年提出認(rèn)知的雙通道理論，美國(guó)心理學(xué)之父WilliamJames等人認(rèn)知心理知識(shí)庫(kù)之父、知識(shí)庫(kù)問(wèn)答，

語(yǔ)義網(wǎng)、知識(shí)推理E.Feigenbaum、

T.BernersLee知識(shí)圖譜1957、1988、2006年以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)算法Hinton等人深度學(xué)習(xí)融合知識(shí)、學(xué)習(xí)與推理的新一代認(rèn)知引擎1.團(tuán)隊(duì)2018首次提出認(rèn)知圖譜：面向認(rèn)知的AI架構(gòu)超大規(guī)模預(yù)訓(xùn)練查詢接口錯(cuò)誤探測(cè)與反饋模型蒸餾與抽象“無(wú)意識(shí)”探測(cè)記憶模型1：-

artificial

intelligence-

perceptron-

expert

system記憶模型3：-

machinelearning-deeplearning-

neuralnetwork記憶模型2：-

datamining-knowledgediscovery-associationrule記憶模型4：-

machinelearning-deeplearning-

neuralnetwork反饋與反思自我定義條理與邏輯“有意識(shí)”決策認(rèn)知推理記憶模型分布式知識(shí)存儲(chǔ)、管理和計(jì)算平臺(tái)智能總線面向知識(shí)計(jì)算與認(rèn)知推理的智能服務(wù)知識(shí)圖譜概念關(guān)系知識(shí)獲取預(yù)訓(xùn)練知識(shí)表示生成模型推理認(rèn)知推理自校驗(yàn)預(yù)測(cè)新知識(shí)學(xué)習(xí)趨勢(shì)預(yù)測(cè)決策專家智庫(kù)智能問(wèn)答實(shí)時(shí)知識(shí)抽取系統(tǒng)打造知識(shí)與認(rèn)知推理驅(qū)動(dòng)的Palantir云服務(wù)私有部署科技情報(bào)金融智慧教育工業(yè)制造游戲安全聯(lián)合研發(fā)認(rèn)知圖譜智能服務(wù)平臺(tái)RelatedPublicationsWenzhengFeng,JieZhang,YuxiaoDong,YuHan,HuanboLuan,QianXu,QiangYang,EvgenyKharlamov,andJieTang.GraphRandomNeuralNetworksforSemi-SupervisedLearningonGraphs.NeurIPS'20.MingDing,ChangZhou,HongxiaYang,andJieTang.CogLTX:ApplyingBERTtoLongTexts.NeurIPS'20.JiezhongQiu,ChiWang,BenLiao,RichardPeng,andJieTang.ConcentrationBoundsforCo-occurrenceMatricesofMarkovChains.NeurIPS'20.XiaoLiu,FanjinZhang,ZhenyuHou,LiMian,ZhaoyuWang,JingZhang,andJieTang.Self-supervisedLearning:GenerativeorContrastive./pdf/2006.08218.pdfJiezhongQiu,QibinChen,YuxiaoDong,JingZhang,HongxiaYang,MingDing,KuansanWang,andJieTang.GCC:GraphContrastiveCodingforStructuralGraphRepresentationPre-Training.KDD'20.ZhenYang,MingDing,ChangZhou,HongxiaYang,JingrenZhou,andJieTang.UnderstandingNegativeSamplinginGraphRepresentationLearning.KDD'20.YukuoCen,JianweiZhang,XuZou,ChangZhou,HongxiaYang,andJieTang.ControllableMulti-InterestFrameworkforRecommendation.KDD'20.YuxiaoDong,ZiniuHu,KuansanWang,YizhouSunandJieTang.HeterogeneousNetworkRepresentationLearning.IJCAI'20.MingDing,ChangZhou,QibinChen,HongxiaYang,andJieTang.CognitiveGraphforMulti-HopReadingComprehensionatScale.ACL’19.JieZhang,YuxiaoDong,YanWang,JieTang,andMingDing.ProNE:FastandScalableNetworkRepresentationLearning.IJCAI’19.YukuoCen,XuZou,JianweiZhang,HongxiaYang,JingrenZhouandJieTang.RepresentationLearningforAttributedMultiplexHeterogeneousNetwork.KDD’19.FanjinZhang,XiaoLiu,JieTang,YuxiaoDong,PeiranYao,JieZhang,XiaotaoGu,YanWang,BinShao,RuiLi,andKuansanWang.OAG:TowardLinkingLarge-scaleHeterogeneousEntityGraphs.KDD’19.QibinChen,JunyangLin,YichangZhang,HongxiaYang,JingrenZhouandJieTang.TowardsKnowledge-BasedPersonalizedProductDescriptionGenerationinE-commerce.KDD'19.YifengZhao,XiangweiWang,HongxiaYang,LeSong,andJieTang.LargeScaleEvolvingGraphswithBurstDetection.IJCAI’19.YuHan,JieTang,andQianChen.NetworkEmbeddingunderPartialMonitoringforEvolvingNetworks.IJCAI’19.YifengZhao,XiangweiWang,HongxiaYang,LeSong,andJi