人工智能技術(shù)概覽課件

北京久其軟件股份有限公司2022年10月11日人工智能技術(shù)概覽久其軟件-李坤奇目錄北京久其軟件股份有限公司2022年10月11日1、人工智能定義、關(guān)聯(lián)2、人工智能主要應(yīng)用領(lǐng)域3、機(jī)器學(xué)習(xí)算法及分類4、主流神經(jīng)網(wǎng)絡(luò)簡介5、NLP的主要技術(shù)與方法人工智能定義用機(jī)器，通常為電子儀器、電腦等，對人的意識、思維的信息過程的模擬。人工智能不是人的智能，但能像人那樣思考、也可能超過人的智能。數(shù)據(jù)：預(yù)測、挖掘語音：語音識別、語音合成、聲紋檢測文字：分類、翻譯、對話、NLP、NLU、NLG視覺：圖像識別、生成作畫、視頻理解運(yùn)動(dòng)：智能控制、仿真機(jī)器人、自動(dòng)駕駛思考：簡單推理、機(jī)器人寫稿、AlphaGo北京久其軟件股份有限公司2022年10月11日涉及面最廣的交叉學(xué)科2022年10月11日人工智能自動(dòng)化控制計(jì)算機(jī)數(shù)學(xué)統(tǒng)計(jì)學(xué)邏輯學(xué)歸納學(xué)系統(tǒng)學(xué)概率論哲學(xué)心理學(xué)生物學(xué)經(jīng)濟(jì)學(xué)語言學(xué)工程學(xué)認(rèn)知學(xué)仿生學(xué)人工智能教育要從娃娃抓起有望成為一級學(xué)科工業(yè)4.0，自動(dòng)化生產(chǎn)線旨在提升制造業(yè)的智能化水平，建立具有適應(yīng)性、資源效率及基因工程學(xué)的智慧工廠，在商業(yè)流程及價(jià)值流程中整合客戶及商業(yè)伙伴其技術(shù)基礎(chǔ)是網(wǎng)絡(luò)實(shí)體系統(tǒng)及物聯(lián)網(wǎng)北京久其軟件股份有限公司2022年10月11日特斯拉工廠曝光，整個(gè)工廠只有150個(gè)機(jī)器人，超震撼自動(dòng)駕駛谷歌、特斯拉、百度、蘋果……集各類人工智能技術(shù)一身北京久其軟件股份有限公司2022年10月11日機(jī)器學(xué)習(xí)數(shù)據(jù)爆炸式增長催熱機(jī)器學(xué)習(xí)統(tǒng)計(jì)學(xué)、概率模型（貝葉斯）、神經(jīng)網(wǎng)絡(luò)有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)主要區(qū)別在于人工投入的比例無監(jiān)督學(xué)習(xí)只有極少數(shù)應(yīng)用投多少人工，有多少智能？北京久其軟件股份有限公司2022年10月11日遷移學(xué)習(xí)TransferLearning,TL收集數(shù)據(jù)成本高；訓(xùn)練耗時(shí)；重復(fù)利用已有知識樣本遷移、特征遷移、模型遷移、關(guān)系遷移北京久其軟件股份有限公司2022年10月11日用于精準(zhǔn)營銷人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。優(yōu)勢并行分布處理高度魯棒性和容錯(cuò)能力分布存儲及學(xué)習(xí)能力能充分逼近復(fù)雜的非線性關(guān)系激活函數(shù)、損失函數(shù)、梯度下降北京久其軟件股份有限公司2022年10月11日深度學(xué)習(xí)深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)絡(luò)，多個(gè)隱含層感知器。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。各層設(shè)計(jì)、圖形化調(diào)參、學(xué)習(xí)速率北京久其軟件股份有限公司2022年10月11日端到端優(yōu)勢？劣勢？RNN–循環(huán)神經(jīng)網(wǎng)絡(luò)RecurrentNeuralNetwork（t+1）時(shí)刻網(wǎng)絡(luò)的最終結(jié)果O(t+1)是該時(shí)刻輸入和所有歷史共同作用的結(jié)果語音識別、NLPBidirectionalRNNs、DeepRNNs、GRURNN北京久其軟件股份有限公司2022年10月11日LSTM-長短期記憶網(wǎng)絡(luò)LongShort-TermMemoryNeuralNetworkRNN時(shí)間上傳遞的神經(jīng)網(wǎng)絡(luò)，可能“梯度消失”通過門的開關(guān)實(shí)現(xiàn)時(shí)間上記憶功能，防止梯度消失遺忘門輸入門輸出門Seq2Seq機(jī)器翻譯AttentionModel對話2022年10月11日深度學(xué)習(xí)框架庫名稱開發(fā)語言速度靈活性文檔適合模型平臺上手難易Caffec++/cuda快一般全面CNN所有系統(tǒng)中等TensorFlowc++/cuda/Python中等好中等CNN/RNNLinux,OSX難MXNetc++/cuda快好全面CNN所有系統(tǒng)中等Torchc/lua/cuda快好全面CNN/RNNLinux,OSX中等Theanopython/c++/cuda中等好中等CNN/RNNLinux,OSX易2022年10月11日Caffe2013年底,由UCBerkely的YangqingJia開發(fā)計(jì)算機(jī)視覺領(lǐng)域首選CaffeTensorFlowGoogle主推的開源學(xué)習(xí)框架有眾多預(yù)先訓(xùn)練好的模型，開發(fā)簡單速度慢，內(nèi)存占用較大TorchFacebook力推的深度學(xué)習(xí)框架，主要開發(fā)語言是C和Lua有較好的靈活性和速度，開發(fā)也比較簡單缺點(diǎn)是接口為lua語言，不支持PythonPython首選語言Ubuntu首選平臺機(jī)器學(xué)習(xí)中的問題與應(yīng)對欠擬合添加其他特征，減少正則化過擬合L1、L2正則化不收斂復(fù)審輸入數(shù)據(jù)、修改模型設(shè)計(jì)、改變參數(shù)初始化方法、調(diào)整學(xué)習(xí)速率數(shù)據(jù)集過小轉(zhuǎn)換擴(kuò)增運(yùn)算過慢分布式運(yùn)算，換用GPU或?qū)Ｓ蒙窠?jīng)網(wǎng)絡(luò)處理器調(diào)參復(fù)雜分開訓(xùn)練、參數(shù)各種圖形化展示北京久其軟件股份有限公司2022年10月11日NLP-自然語言處理自然語言是人類智慧的結(jié)晶，自然語言處理是人工智能中最為困難的問題之一廣義的NLP包含NLU、NLG用到統(tǒng)計(jì)、概率、神經(jīng)網(wǎng)絡(luò)等各種算法文本分類信息抽取人機(jī)對話領(lǐng)域知識圖譜自動(dòng)寫稿北京久其軟件股份有限公司2022年10月11日中文分詞11款開放中文分詞引擎大比拼目前主流分詞包均采用復(fù)雜的統(tǒng)計(jì)模型，HMM、CRF、SP（結(jié)構(gòu)化感知）首先統(tǒng)計(jì)大量已切分文本特征訓(xùn)練模型，然后針對輸入文本搜索最佳切分方式目前哈工大語言云、Boson云效果最佳THULAC（清華）是開源包中效果最佳，也非?？旖Y(jié)巴分詞用的很廣（Python），效果也不錯(cuò)沒有完美方案，90%以后每提升1點(diǎn)都要巨大代價(jià)北京久其軟件股份有限公司2022年10月11日詞性標(biāo)注中文詞類活用現(xiàn)象非常多沒有英文的變形：ing、ed、er、ly詞性命名標(biāo)準(zhǔn)出自北大，基本統(tǒng)一目前都只提供靜態(tài)詞性，非準(zhǔn)確標(biāo)注在關(guān)鍵詞計(jì)算、事件發(fā)現(xiàn)、情感判斷有價(jià)值句法分析、語義理解的前提詞法分析、句法分析、語義理解相互交織依賴，制約了詞法技術(shù)提升北京久其軟件股份有限公司2022年10月11日NER命名實(shí)體識別NamedEntityRecognition又稱作“專名識別”，是指識別文本中具有特定意義的實(shí)體三大類：實(shí)體類、時(shí)間類和數(shù)字類七小類：人名、機(jī)構(gòu)名、地名、時(shí)間、日期、貨幣和百分比基于規(guī)則和詞典的方法采用語言學(xué)專家手工構(gòu)造規(guī)則模板,選用特征包括統(tǒng)計(jì)信息、標(biāo)點(diǎn)符號、關(guān)鍵字、指示詞和方向詞、位置詞(如尾字)、中心詞等方法，以模式和字符串相匹配為主要手段基于統(tǒng)計(jì)的方法HMM、ME、SVM、條件隨機(jī)場(CRF)神經(jīng)網(wǎng)絡(luò)識別NN、CNN-CRF、RNN-CRF、Attention機(jī)制目前缺少成熟可以API，少數(shù)付費(fèi)效果尚可訓(xùn)練的CRF模型，人名、時(shí)間、數(shù)字識別還行，有提升空間北京久其軟件股份有限公司2022年10月11日關(guān)鍵詞、摘要提取PageRank算法原理整個(gè)www可以看作一張有向圖圖，節(jié)點(diǎn)是網(wǎng)頁。如果網(wǎng)頁A存在到網(wǎng)頁B的鏈接，那么有一條從網(wǎng)頁A指向網(wǎng)頁B的有向邊。導(dǎo)入的鏈接越多，頁面的重要程度越高復(fù)雜的迭代優(yōu)化精確權(quán)重關(guān)鍵詞距離較近的詞，視同有鏈接可根據(jù)詞性、統(tǒng)計(jì)規(guī)律調(diào)整權(quán)重，TF-IDF是最常用算法摘要句子初始權(quán)重為各詞TF-IDF權(quán)重合計(jì)權(quán)重最高的句子（必要修剪）作為摘要自上而下的摘要用模板/知識庫生存（事件、球賽）2022年10月11日文本分類、聚類、情感傾向文本分類屬于有監(jiān)督學(xué)習(xí)，需要訓(xùn)練貝葉斯、SVM、神經(jīng)網(wǎng)絡(luò)文本聚類屬于無監(jiān)督學(xué)習(xí)劃分法（K-Means）、層次法、密度法、網(wǎng)格法文本傾向性分析，主要用于輿情監(jiān)控，評價(jià)挖掘貝葉斯理論為基礎(chǔ)褒義詞、貶義詞、中性詞否定謂詞、副詞的識別與地域、主體識別結(jié)合運(yùn)用難點(diǎn)在于各門類數(shù)據(jù)抓取、行業(yè)模型訓(xùn)練北京久其軟件股份有限公司2022年10月11日語義分析/理解知識工程：語義樹可用于句子語義理解、數(shù)據(jù)抽取、句式轉(zhuǎn)換需要強(qiáng)大的知識庫配合，知識圖譜（？）今天晚上吃金屬吧（

╳）法國一位老人以吃金屬為生（√）還難以理解文章，進(jìn)行摘要或推理神經(jīng)網(wǎng)絡(luò)：訓(xùn)練超級模型詞向量（稀疏）比較成熟，生成較快Synonymy、Antonymy、Hyponym短句可用向量相加近似表示，長句、文章尚在研究北京久其軟件股份有限公司2022年10月11日知識圖譜(KnowledgeGraph)由知識點(diǎn)相互連接而成的語義網(wǎng)絡(luò)用可視化技術(shù)描述知識資源及其載體，挖掘、分析、構(gòu)建、繪制和顯示知識及它們之間的相互聯(lián)系，并進(jìn)行查詢推理RDF(資源描述框架)、OWL(Web本體語言)、SparQL建立：數(shù)據(jù)源整理、實(shí)體消歧、schema(本體、關(guān)系等)構(gòu)建、查詢與推理、優(yōu)化存儲、更新維護(hù)WordNet、Yago、DbpediaCN-Dbpedia、Zhishi.Me、PKU-PIE搜索引擎、金融分析、輔助診斷目前似乎難以表達(dá)行為動(dòng)作、限定修飾北京久其軟件股份有限公司2022年10月11日QA-機(jī)器人問答、人機(jī)對話IR-basedQuestionAnswering信息檢索方式，抽取原