人工智能技術概覽

北京久其軟件股份有限企業(yè)2022年9月7日人工智能技術概覽久其軟件-李坤奇第1頁目錄北京久其軟件股份有限企業(yè)2022年9月7日1、人工智能定義、關聯(lián)2、人工智能主要應用領域3、機器學習算法及分類4、主流神經(jīng)網(wǎng)絡介紹5、NLP主要技術與方法第2頁人工智能定義用機器，通常為電子儀器、電腦等，對人意識、思維信息過程模擬。人工智能不是人智能，但能像人那樣思索、也可能超出人智能。數(shù)據(jù)：預測、挖掘語音：語音識別、語音合成、聲紋檢測文字：分類、翻譯、對話、NLP、NLU、NLG視覺：圖像識別、生成作畫、視頻了解運動：智能控制、仿真機器人、自動駕駛思索：簡單推理、機器人寫稿、AlphaGo北京久其軟件股份有限企業(yè)2022年9月7日第3頁2022年9月7日包括面最廣交叉學科人工智能自動化控制計算機數(shù)學統(tǒng)計學邏輯學歸納學系統(tǒng)學概率論哲學心理學生物學經(jīng)濟學語言學工程學認知學仿生學人工智能教育要從娃娃抓起有望成為一級學科第4頁工業(yè)4.0，自動化生產(chǎn)線意在提升制造業(yè)智能化水平，建立含有適應性、資源效率及基因工程學智慧工廠，在商業(yè)流程及價值流程中整合客戶及商業(yè)搭檔其技術基礎是網(wǎng)絡實體系統(tǒng)及物聯(lián)網(wǎng)北京久其軟件股份有限企業(yè)2022年9月7日特斯拉工廠曝光，整個工廠只有150個機器人，超震撼第5頁機器人，好幫手北京久其軟件股份有限企業(yè)2022年9月7日奔跑跳躍搬東西，這種機器人平衡能力比人類還強第6頁自動駕駛谷歌、特斯拉、baidu、蘋果……集各類人工智能技術一身北京久其軟件股份有限企業(yè)2022年9月7日第7頁機器學習數(shù)據(jù)爆炸式增加催熱機器學習統(tǒng)計學、概率模型（貝葉斯）、神經(jīng)網(wǎng)絡有監(jiān)督學習、半監(jiān)督學習、無監(jiān)督學習主要區(qū)分在于人工投入百分比無監(jiān)督學習只有極少數(shù)應用投多少人工，有多少智能？北京久其軟件股份有限企業(yè)2022年9月7日第8頁強化學習reinforcementlearning，RL又稱再勵學習、評價學習智能系統(tǒng)從環(huán)境到行為映射學習，以使獎勵信號(強化信號)函數(shù)值最大處于研究階段無人機，自動化控制，電子游戲北京久其軟件股份有限企業(yè)2022年9月7日NLP？第9頁遷移學習TransferLearning,TL搜集數(shù)據(jù)成本高；訓練耗時；重復利用已經(jīng)有知識樣本遷移、特征遷移、模型遷移、關系遷移北京久其軟件股份有限企業(yè)2022年9月7日用于精準營銷第10頁人工神經(jīng)網(wǎng)絡人工神經(jīng)網(wǎng)絡模仿動物神經(jīng)網(wǎng)絡特征，進行分布式并行信息處理算法數(shù)學模型。網(wǎng)絡依靠系統(tǒng)復雜程度，經(jīng)過調(diào)整內(nèi)部大量節(jié)點之間相互連接關系，從而抵達處理信息目標。優(yōu)勢并行分布處理高度魯棒性和容錯能力分布存放及學習能力能充分逼近復雜非線性關系激活函數(shù)、損失函數(shù)、梯度下降北京久其軟件股份有限企業(yè)2022年9月7日第11頁深度學習深度學習源于人工神經(jīng)網(wǎng)絡，多個隱含層感知器。深度學習經(jīng)過組合低層特征形成愈加抽象高層表示屬性類別或特征，以發(fā)覺數(shù)據(jù)分布式特征表示。各層設計、圖形化調(diào)參、學習速率北京久其軟件股份有限企業(yè)2022年9月7日端到端優(yōu)勢？劣勢？第12頁2022年9月7日CNN–卷積神經(jīng)網(wǎng)絡ConvolutionalNeuralNetwork圖像領域應用非常成功，人臉識別超99.5%全連接

局部連接，權值共享圖像識別、OCR、語音識別（DBN+CNN+RNN最好）特征數(shù)量卷積核大小第13頁RNN–循環(huán)神經(jīng)網(wǎng)絡RecurrentNeuralNetwork（t+1）時刻網(wǎng)絡最終止果O(t+1)是該時刻輸入和全部歷史共同作用結(jié)果語音識別、NLPBidirectionalRNNs、DeepRNNs、GRURNN北京久其軟件股份有限企業(yè)2022年9月7日第14頁2022年9月7日LSTM-長短期記憶網(wǎng)絡LongShort-TermMemoryNeuralNetworkRNN時間上傳遞神經(jīng)網(wǎng)絡，可能“梯度消失”經(jīng)過門開關實現(xiàn)時間上記憶功效，預防梯度消失遺忘門輸入門輸出門Seq2Seq機器翻譯AttentionModel對話第15頁GAN-生成性反抗生成網(wǎng)絡GenerativeAdversarialNetworks它有兩個模型：一個生成器，一個判別器沒有損失函數(shù)，優(yōu)化過程是“二元極小極大博”北京久其軟件股份有限企業(yè)2022年9月7日第16頁2022年9月7日深度學習框架庫名稱開發(fā)語言速度靈活性文檔適合模型平臺上手難易Caffec++/cuda快普通全方面CNN全部系統(tǒng)中等TensorFlowc++/cuda/Python中等好中等CNN/RNNLinux,OSX難MXNetc++/cuda快好全方面CNN全部系統(tǒng)中等Torchc/lua/cuda快好全方面CNN/RNNLinux,OSX中等Theanopython/c++/cuda中等好中等CNN/RNNLinux,OSX易Caffe底,由UCBerkelyYangqingJia開發(fā)計算機視覺領域首選CaffeTensorFlowGoogle主推開源學習框架有眾多預先訓練好模型，開發(fā)簡單速度慢，內(nèi)存占用較大TorchFacebook力推深度學習框架，主要開發(fā)語言是C和Lua有很好靈活性和速度，開發(fā)也比較簡單缺點是接口為lua語言，不支持PythonPython首選語言Ubuntu首選平臺第17頁機器學習中問題與應對欠擬合添加其它特征，降低正則化過擬合L1、L2正則化不收斂復審輸入數(shù)據(jù)、修改模型設計、改變參數(shù)初始化方法、調(diào)整學習速率數(shù)據(jù)集過小轉(zhuǎn)換擴增運算過慢分布式運算，換用GPU或?qū)Ｓ蒙窠?jīng)網(wǎng)絡處理器調(diào)參復雜分開訓練、參數(shù)各種圖形化展示北京久其軟件股份有限企業(yè)2022年9月7日第18頁NLP-自然語言處理自然語言是人類智慧結(jié)晶，自然語言處理是人工智能中最為困難問題之一廣義NLP包含NLU、NLG用到統(tǒng)計、概率、神經(jīng)網(wǎng)絡等各種算法文本分類信息抽取人機對話領域知識圖譜自動寫稿北京久其軟件股份有限企業(yè)2022年9月7日第19頁漢字分詞11款開放漢字分詞引擎大比拼當前主流分詞包均采取復雜統(tǒng)計模型，HMM、CRF、SP（結(jié)構化感知）首先統(tǒng)計大量已切分文本特征訓練模型，然后針對輸入文本搜索最正確切分方式當前哈工大語言云、Boson云效果最正確THULAC（清華）是開源包中效果最正確，也非?？旖Y(jié)巴分詞用很廣（Python），效果也不錯沒有完美方案，90%以后每提升1點都要巨大代價北京久其軟件股份有限企業(yè)2022年9月7日第20頁詞性標注漢字詞類活用現(xiàn)象非常多沒有英文變形：ing、ed、er、ly詞性命名標準出自北大，基本統(tǒng)一當前都只提供靜態(tài)詞性，非準確標注在關鍵詞計算、事件發(fā)覺、情感判斷有價值句法分析、語義了解前提詞法分析、句法分析、語義了解相互交織依賴，制約了詞法技術提升北京久其軟件股份有限企業(yè)2022年9月7日第21頁NER命名實體識別NamedEntityRecognition又稱作“專名識別”，是指識別文本中含有特定意義實體三大類：實體類、時間類和數(shù)字類七小類：人名、機構名、地名、時間、日期、貨幣和百分比基于規(guī)則和詞典方法采取語言學教授手工結(jié)構規(guī)則模板,選取特征包含統(tǒng)計信息、標點符號、關鍵字、指示詞和方向詞、位置詞(如尾字)、中心詞等方法，以模式和字符串相匹配為主要伎倆基于統(tǒng)計方法HMM、ME、SVM、條件隨機場(CRF)神經(jīng)網(wǎng)絡識別NN、CNN-CRF、RNN-CRF、Attention機制當前缺乏成熟能夠API，少數(shù)付費效果尚可訓練CRF模型，人名、時間、數(shù)字識別還行，有提升空間北京久其軟件股份有限企業(yè)2022年9月7日第22頁2022年9月7日語言模型、詞向量N-Grams：二元組、三元組、五元組……大量分詞后語料進行統(tǒng)計正則化、平滑可用于拼寫和語法檢驗，也可幫助分詞Word2Vec：將詞組轉(zhuǎn)換成多維向量表示CBOW、Skip-Gram、GloVe神經(jīng)網(wǎng)絡輸入需要Embedding，50,100,300維特征相同近鄰經(jīng)過向量距離查找關聯(lián)詞線性加減w2v(中國)-w2v(北京)=w2v(法國)-w2v(巴黎)只是一個高階近似，同一含義在同一維表示，盡可能分散第23頁2022年9月7日關鍵詞、摘要提取PageRank算法原理整個www能夠看作一張有向圖圖，節(jié)點是網(wǎng)頁。假如網(wǎng)頁A存在到網(wǎng)頁B鏈接，那么有一條從網(wǎng)頁A指向網(wǎng)頁B有向邊。導入鏈接越多，頁面主要程度越高復雜迭代優(yōu)化準確權重關鍵詞距離較近詞，視同有鏈接可依據(jù)詞性、統(tǒng)計規(guī)律調(diào)整權重，TF-IDF是最慣用算法摘要句子初始權重為各詞TF-IDF權重累計權重最高句子（必要修剪）作為摘要自上而下摘要用模板/知識庫生存（事件、球賽）第24頁文本分類、聚類、情感傾向文本分類屬于有監(jiān)督學習，需要訓練貝葉斯、SVM、神經(jīng)網(wǎng)絡文本聚類屬于無監(jiān)督學習劃分法（K-Means）、層次法、密度法、網(wǎng)格法文本傾向性分析，主要用于輿情監(jiān)控，評價挖掘貝葉斯理論為基礎褒義詞、貶義詞、中性詞否定謂詞、副詞識別與地域、主體識別結(jié)合利用難點在于各門類數(shù)據(jù)抓取、行業(yè)模型訓練北京久其軟件股份有限企業(yè)2022年9月7日第25頁句法分析上下文無關文法ContextFreeGrammar依存文法分析(DependencyParsing)經(jīng)過分析語言單位內(nèi)成份之間依存關系揭示其句法結(jié)構識別“主謂賓”、“定狀補”算法：CYK、PCFG、CRF、神經(jīng)網(wǎng)絡（？）當前漢字句法分析短句可用，長句較差哈工大LTP語言云、Boson云（很好）StanfordParser、HanLP（稍差）北京久其軟件股份有限企業(yè)2022年9月7日第26頁語義分析/了解知識工程：語義樹可用于句子語義了解、數(shù)據(jù)抽取、句式轉(zhuǎn)換需要強大知識庫配合，知識圖譜（？）今天晚上吃金屬吧（╳）法國一位老人以吃金屬為生（√）還難以了解文章，進行摘要或推理神經(jīng)網(wǎng)絡：訓練超級模型詞向量（稀疏）比較成熟，生成較快Synonymy、Antonymy、Hyponym短句可用向量相加近似表示，長句、文章尚在研究北京久其軟件股份有限企業(yè)2022年9月7日第27頁知識圖譜(KnowledgeGraph)由知識點相互連接而成語義網(wǎng)絡用可視化技術描述知識資源及其載體，挖掘、分析、構建、繪制和顯示知識及它們之間相互聯(lián)絡，并進行查詢推理RDF(資源描述框架)、OWL(Web本體語言)、SparQL建立：數(shù)據(jù)源整理、實體消歧、schema(本體、關系等)構建、查詢與推理、優(yōu)化存放、更新維護WordNet、Yago、DbpediaCN-Dbpedia、Zhishi.Me、PKU-PIE搜索引擎、金融分析、輔助診療當前似乎難以表示行為動作、限定修飾北京久其軟件股份有限企業(yè)2022年9月7日第28頁QA-機器人問答、人機對話