人工智能技術(shù)概覽專題培訓(xùn)課件

目錄北京久其軟件股份有限公司2024年2月2日1、人工智能定義、關(guān)聯(lián)2、人工智能主要應(yīng)用領(lǐng)域3、機(jī)器學(xué)習(xí)算法及分類4、主流神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介5、NLP的主要技術(shù)與方法人工智能定義用機(jī)器，通常為電子儀器、電腦等，對(duì)人的意識(shí)、思維的信息過(guò)程的模擬。人工智能不是人的智能，但能像人那樣思考、也可能超過(guò)人的智能。數(shù)據(jù)：預(yù)測(cè)、挖掘語(yǔ)音：語(yǔ)音識(shí)別、語(yǔ)音合成、聲紋檢測(cè)文字：分類、翻譯、對(duì)話、NLP、NLU、NLG視覺(jué)：圖像識(shí)別、生成作畫(huà)、視頻理解運(yùn)動(dòng)：智能控制、仿真機(jī)器人、自動(dòng)駕駛思考：簡(jiǎn)單推理、機(jī)器人寫(xiě)稿、AlphaGo北京久其軟件股份有限公司2024年2月2日涉及面最廣的交叉學(xué)科人工智能自動(dòng)化控制計(jì)算機(jī)數(shù)學(xué)統(tǒng)計(jì)學(xué)邏輯學(xué)歸納學(xué)系統(tǒng)學(xué)概率論哲學(xué)心理學(xué)生物學(xué)經(jīng)濟(jì)學(xué)語(yǔ)言學(xué)工程學(xué)認(rèn)知學(xué)仿生學(xué)人工智能教育要從娃娃抓起有望成為一級(jí)學(xué)科2024年2月2日工業(yè)4.0，自動(dòng)化生產(chǎn)線旨在提升制造業(yè)的智能化水平，建立具有適應(yīng)性、資源效率及基因工程學(xué)的智慧工廠，在商業(yè)流程及價(jià)值流程中整合客戶及商業(yè)伙伴其技術(shù)基礎(chǔ)是網(wǎng)絡(luò)實(shí)體系統(tǒng)及物聯(lián)網(wǎng)北京久其軟件股份有限公司2024年2月2日特斯拉工廠曝光，整個(gè)工廠只有150個(gè)機(jī)器人，超震撼機(jī)器人，好幫手北京久其軟件股份有限公司2024年2月2日奔跑跳躍搬東西，這種機(jī)器人平衡能力比人類還強(qiáng)自動(dòng)駕駛谷歌、特斯拉、百度、蘋(píng)果……集各類人工智能技術(shù)一身北京久其軟件股份有限公司2024年2月2日機(jī)器學(xué)習(xí)數(shù)據(jù)爆炸式增長(zhǎng)催熱機(jī)器學(xué)習(xí)統(tǒng)計(jì)學(xué)、概率模型（貝葉斯）、神經(jīng)網(wǎng)絡(luò)有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)主要區(qū)別在于人工投入的比例無(wú)監(jiān)督學(xué)習(xí)只有極少數(shù)應(yīng)用投多少人工，有多少智能？北京久其軟件股份有限公司2024年2月2日強(qiáng)化學(xué)習(xí)reinforcementlearning，RL又稱再勵(lì)學(xué)習(xí)、評(píng)價(jià)學(xué)習(xí)智能系統(tǒng)從環(huán)境到行為映射的學(xué)習(xí)，以使獎(jiǎng)勵(lì)信號(hào)(強(qiáng)化信號(hào))函數(shù)值最大處于研究階段無(wú)人機(jī)，自動(dòng)化控制，電子游戲北京久其軟件股份有限公司2024年2月2日NLP？遷移學(xué)習(xí)TransferLearning,TL收集數(shù)據(jù)成本高；訓(xùn)練耗時(shí)；重復(fù)利用已有知識(shí)樣本遷移、特征遷移、模型遷移、關(guān)系遷移北京久其軟件股份有限公司2024年2月2日用于精準(zhǔn)營(yíng)銷人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。優(yōu)勢(shì)并行分布處理高度魯棒性和容錯(cuò)能力分布存儲(chǔ)及學(xué)習(xí)能力能充分逼近復(fù)雜的非線性關(guān)系激活函數(shù)、損失函數(shù)、梯度下降北京久其軟件股份有限公司2024年2月2日深度學(xué)習(xí)深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)絡(luò)，多個(gè)隱含層感知器。深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。各層設(shè)計(jì)、圖形化調(diào)參、學(xué)習(xí)速率北京久其軟件股份有限公司2024年2月2日端到端優(yōu)勢(shì)？劣勢(shì)？CNN–卷積神經(jīng)網(wǎng)絡(luò)ConvolutionalNeuralNetwork圖像領(lǐng)域應(yīng)用非常成功，人臉識(shí)別超99.5%全連接

局部連接，權(quán)值共享圖像識(shí)別、OCR、語(yǔ)音識(shí)別（DBN+CNN+RNN最好）特征數(shù)量卷積核大小2024年2月2日RNN–循環(huán)神經(jīng)網(wǎng)絡(luò)RecurrentNeuralNetwork（t+1）時(shí)刻網(wǎng)絡(luò)的最終結(jié)果O(t+1)是該時(shí)刻輸入和所有歷史共同作用的結(jié)果語(yǔ)音識(shí)別、NLPBidirectionalRNNs、DeepRNNs、GRURNN北京久其軟件股份有限公司2024年2月2日LSTM-長(zhǎng)短期記憶網(wǎng)絡(luò)LongShort-TermMemoryNeuralNetworkRNN時(shí)間上傳遞的神經(jīng)網(wǎng)絡(luò)，可能“梯度消失”通過(guò)門(mén)的開(kāi)關(guān)實(shí)現(xiàn)時(shí)間上記憶功能，防止梯度消失遺忘門(mén)輸入門(mén)輸出門(mén)Seq2Seq機(jī)器翻譯AttentionModel對(duì)話2024年2月2日GAN-生成性對(duì)抗生成網(wǎng)絡(luò)GenerativeAdversarialNetworks它有兩個(gè)模型：一個(gè)生成器，一個(gè)判別器沒(méi)有損失函數(shù)，優(yōu)化過(guò)程是“二元極小極大博”北京久其軟件股份有限公司2024年2月2日深度學(xué)習(xí)框架庫(kù)名稱開(kāi)發(fā)語(yǔ)言速度靈活性文檔適合模型平臺(tái)上手難易Caffec++/cuda快一般全面CNN所有系統(tǒng)中等TensorFlowc++/cuda/Python中等好中等CNN/RNNLinux,OSX難MXNetc++/cuda快好全面CNN所有系統(tǒng)中等Torchc/lua/cuda快好全面CNN/RNNLinux,OSX中等Theanopython/c++/cuda中等好中等CNN/RNNLinux,OSX易Caffe2013年底,由UCBerkely的YangqingJia開(kāi)發(fā)計(jì)算機(jī)視覺(jué)領(lǐng)域首選CaffeTensorFlowGoogle主推的開(kāi)源學(xué)習(xí)框架有眾多預(yù)先訓(xùn)練好的模型，開(kāi)發(fā)簡(jiǎn)單速度慢，內(nèi)存占用較大TorchFacebook力推的深度學(xué)習(xí)框架，主要開(kāi)發(fā)語(yǔ)言是C和Lua有較好的靈活性和速度，開(kāi)發(fā)也比較簡(jiǎn)單缺點(diǎn)是接口為lua語(yǔ)言，不支持PythonPython首選語(yǔ)言Ubuntu首選平臺(tái)2024年2月2日機(jī)器學(xué)習(xí)中的問(wèn)題與應(yīng)對(duì)欠擬合添加其他特征，減少正則化過(guò)擬合L1、L2正則化不收斂復(fù)審輸入數(shù)據(jù)、修改模型設(shè)計(jì)、改變參數(shù)初始化方法、調(diào)整學(xué)習(xí)速率數(shù)據(jù)集過(guò)小轉(zhuǎn)換擴(kuò)增運(yùn)算過(guò)慢分布式運(yùn)算，換用GPU或?qū)Ｓ蒙窠?jīng)網(wǎng)絡(luò)處理器調(diào)參復(fù)雜分開(kāi)訓(xùn)練、參數(shù)各種圖形化展示北京久其軟件股份有限公司2024年2月2日NLP-自然語(yǔ)言處理自然語(yǔ)言是人類智慧的結(jié)晶，自然語(yǔ)言處理是人工智能中最為困難的問(wèn)題之一廣義的NLP包含NLU、NLG用到統(tǒng)計(jì)、概率、神經(jīng)網(wǎng)絡(luò)等各種算法文本分類信息抽取人機(jī)對(duì)話領(lǐng)域知識(shí)圖譜自動(dòng)寫(xiě)稿北京久其軟件股份有限公司2024年2月2日中文分詞11款開(kāi)放中文分詞引擎大比拼目前主流分詞包均采用復(fù)雜的統(tǒng)計(jì)模型，HMM、CRF、SP（結(jié)構(gòu)化感知）首先統(tǒng)計(jì)大量已切分文本特征訓(xùn)練模型，然后針對(duì)輸入文本搜索最佳切分方式目前哈工大語(yǔ)言云、Boson云效果最佳THULAC（清華）是開(kāi)源包中效果最佳，也非?？旖Y(jié)巴分詞用的很廣（Python），效果也不錯(cuò)沒(méi)有完美方案，90%以后每提升1點(diǎn)都要巨大代價(jià)北京久其軟件股份有限公司2024年2月2日詞性標(biāo)注中文詞類活用現(xiàn)象非常多沒(méi)有英文的變形：ing、ed、er、ly詞性命名標(biāo)準(zhǔn)出自北大，基本統(tǒng)一目前都只提供靜態(tài)詞性，非準(zhǔn)確標(biāo)注在關(guān)鍵詞計(jì)算、事件發(fā)現(xiàn)、情感判斷有價(jià)值句法分析、語(yǔ)義理解的前提詞法分析、句法分析、語(yǔ)義理解相互交織依賴，制約了詞法技術(shù)提升北京久其軟件股份有限公司2024年2月2日NER命名實(shí)體識(shí)別NamedEntityRecognition又稱作“專名識(shí)別”，是指識(shí)別文本中具有特定意義的實(shí)體三大類：實(shí)體類、時(shí)間類和數(shù)字類七小類：人名、機(jī)構(gòu)名、地名、時(shí)間、日期、貨幣和百分比基于規(guī)則和詞典的方法采用語(yǔ)言學(xué)專家手工構(gòu)造規(guī)則模板,選用特征包括統(tǒng)計(jì)信息、標(biāo)點(diǎn)符號(hào)、關(guān)鍵字、指示詞和方向詞、位置詞(如尾字)、中心詞等方法，以模式和字符串相匹配為主要手段基于統(tǒng)計(jì)的方法HMM、ME、SVM、條件隨機(jī)場(chǎng)(CRF)神經(jīng)網(wǎng)絡(luò)識(shí)別NN、CNN-CRF、RNN-CRF、Attention機(jī)制目前缺少成熟可以API，少數(shù)付費(fèi)效果尚可訓(xùn)練的CRF模型，人名、時(shí)間、數(shù)字識(shí)別還行，有提升空間北京久其軟件股份有限公司2024年2月2日語(yǔ)言模型、詞向量N-Grams：二元組、三元組、五元組……大量分詞后語(yǔ)料進(jìn)行統(tǒng)計(jì)正則化、平滑可用于拼寫(xiě)和語(yǔ)法檢查，也可協(xié)助分詞Word2Vec：將詞組轉(zhuǎn)換成多維向量表示CBOW、Skip-Gram、GloVe神經(jīng)網(wǎng)絡(luò)輸入需要Embedding，50,100,300維特性相似近鄰?fù)ㄟ^(guò)向量距離查找關(guān)聯(lián)詞線性加減w2v(中國(guó))-w2v(北京)=w2v(法國(guó))-w2v(巴黎)只是一種高階近似，同一含義在同一維表達(dá)，盡量分散2024年2月2日關(guān)鍵詞、摘要提取PageRank算法原理整個(gè)www可以看作一張有向圖圖，節(jié)點(diǎn)是網(wǎng)頁(yè)。如果網(wǎng)頁(yè)A存在到網(wǎng)頁(yè)B的鏈接，那么有一條從網(wǎng)頁(yè)A指向網(wǎng)頁(yè)B的有向邊。導(dǎo)入的鏈接越多，頁(yè)面的重要程度越高復(fù)雜的迭代優(yōu)化精確權(quán)重關(guān)鍵詞距離較近的詞，視同有鏈接可根據(jù)詞性、統(tǒng)計(jì)規(guī)律調(diào)整權(quán)重，TF-IDF是最常用算法摘要句子初始權(quán)重為各詞TF-IDF權(quán)重合計(jì)權(quán)重最高的句子（必要修剪）作為摘要自上而下的摘要用模板/知識(shí)庫(kù)生存（事件、球賽）2024年2月2日文本分類、聚類、情感傾向文本分類屬于有監(jiān)督學(xué)習(xí)，需要訓(xùn)練貝葉斯、SVM、神經(jīng)網(wǎng)絡(luò)文本聚類屬于無(wú)監(jiān)督學(xué)習(xí)劃分法（K-Means）、層次法、密度法、網(wǎng)格法文本傾向性分析，主要用于輿情監(jiān)控，評(píng)價(jià)挖掘貝葉斯理論為基礎(chǔ)褒義詞、貶義詞、中性詞否定謂詞、副詞的識(shí)別與地域、主體識(shí)別結(jié)合運(yùn)用難點(diǎn)在于各門(mén)類數(shù)據(jù)抓取、行業(yè)模型訓(xùn)練北京久其軟件股份有限公司2024年2月2日句法分析上下文無(wú)關(guān)文法ContextFreeGrammar依存文法分析(DependencyParsing)通過(guò)分析語(yǔ)言單位內(nèi)成分之間的依存關(guān)系揭示其句法結(jié)構(gòu)識(shí)別“主謂賓”、“定狀補(bǔ)”算法：CYK、PCFG、CRF、神經(jīng)網(wǎng)絡(luò)（？）目前中文句法分析短句可用，長(zhǎng)句較差哈工大LTP語(yǔ)言云、Boson云（較好）StanfordParser、HanLP（稍差）北京久其軟件股份有限公司2024年2月2日語(yǔ)義分析/理解知識(shí)工程：語(yǔ)義樹(shù)可用于句子語(yǔ)義理解、數(shù)據(jù)抽取、句式轉(zhuǎn)換需要強(qiáng)大的知識(shí)庫(kù)配合，知識(shí)圖譜（？）今天晚上吃金屬吧（

╳）法國(guó)一位老人以吃金屬為生（√）還難以理解文章，進(jìn)行摘要或推理神經(jīng)網(wǎng)絡(luò)：訓(xùn)練超級(jí)模型詞向量（稀疏）比較成熟，生成較快Synonymy、Antonymy、Hyponym短句可用向量相加近似表示，長(zhǎng)句、文章尚在研究北京久其軟件股份有限公司2024年2月2日知識(shí)圖譜(KnowledgeGraph)由知識(shí)點(diǎn)相互連接而成的語(yǔ)義網(wǎng)絡(luò)用可視化技術(shù)描述知識(shí)資源及其載體，挖掘、分析、構(gòu)建、繪制和顯示知識(shí)及它們之間的相互聯(lián)系，并進(jìn)行查詢推理RDF(資源描述框架)、OWL(Web本體語(yǔ)言)、SparQL建立：數(shù)據(jù)源整理、實(shí)體消歧、schema(本體、關(guān)系等)構(gòu)建、查詢與推理、優(yōu)化存儲(chǔ)、更新維護(hù)WordNet、Yago、DbpediaCN-Dbpedia、Zhishi.Me、PKU-PIE搜索引擎、金融分析、輔助診斷目前似乎難以表達(dá)行為動(dòng)作、限定修飾北京久其軟件股份有限公司2024年2月2日QA-機(jī)