第1講智能信息處理概述

1、智能信息處理概述智能信息處理概述 周亞同 Introduction on Intelligent Information Processing 主要內容主要內容 2 智能信息處理主要研究內容智能信息處理主要研究內容 4 智能信息處理仿真平臺智能信息處理仿真平臺( (含演示含演示) ) 5 智能信息處理應用實例智能信息處理應用實例( (含演示含演示) ) 3 相關研究學科相關研究學科( (機器學習與模式識別機器學習與模式識別) ) 1 智能信息處理基本概念智能信息處理基本概念 1 智能信息處理基本概念智能信息處理基本概念 數據數據（Data）：是客觀事物屬性、數量、位置及其相互關系等的抽 象表示

2、； 實例：“1314” 信息信息（Information）：是數據所表示的內在涵義； 知識知識（Knowledge）：是以多種方式把一個或多個信息關聯在一起 的結構； 智力智力（Wisdom）：運用知識和經驗判斷和解決問題的能力； 智能智能（Intelligence）：知識集合與智力的綜合稱為智能。 智能可分為生物智能（生物智能（BI）和非生物智能非生物智能兩種，非 生物智能包括人工智能人工智能(AI)和計算智能計算智能(CI)。 BI(Biological Intelligence)亦稱自然智能(NI)。由于BI是人類 從自身的角度來闡述的，所以它表征人類智能活動的一些特 征。有目的性、綜合

3、性和學習擴展性 。 AI是由非生物生命方法產生的智能，它總是和符號、邏輯、 規(guī)則、推理聯系起來。 CI是由美國學者James Bezdek于1992年首先提出來的，它 是生物智能的計算模擬，即用計算機模擬和再現人類的某些 智能行為。 生物智能（生物智能（BI）、人工智能）、人工智能(AI)、計算智能、計算智能(CI)的區(qū)別的區(qū)別 智能ABC分層模式 2 智能信息處理主要研究內容智能信息處理主要研究內容 什么是智能信息處理什么是智能信息處理 智能信息處理就是模擬人或其它生物處理信息的行為，建 立處理復雜系統信息的理論、算法和系統的一些方法和技術。 智能信息處理的最大特點是不需要建立問題的精確描述

4、，非 常適合于處理那些因為難以建立有效的形式化模型，而用傳統 方法難以解決、甚至無法解決的問題，特別是對不確定性系統 和不確定性現象等問題的處理具有獨特優(yōu)勢。 智能信息處理是現代信息科學中發(fā)展最快且應用前景非常 廣闊的一門嶄新的重要學科，是信息科學當前熱門的研究 焦點之一，在各個領域都取得了良好的應用效果； 智能信息處理主要研究內容智能信息處理主要研究內容 常見智能信息處理模型常見智能信息處理模型 人工神經網絡人工神經網絡 支持向量機、高斯過程模型支持向量機、高斯過程模型 混合模型、概率圖模型、隱變量模型、顯著度框架、 成分分析模型等 模糊數學與模糊智能模糊數學與模糊智能 智能信息處理主要研究

5、內容（續(xù)）智能信息處理主要研究內容（續(xù)） 遺傳算法與進化計算遺傳算法與進化計算 進化計算(EC) 遺傳算法 GA 進化規(guī)劃 EP 進化策略 ES 群智能算法 其他進化算法 蟻群算法 Ant Colony Optimization (ACO) 粒子群算法 Particle Swarm Optimization (PSO) 魚群算法 Fish Swarm Optimization (FSO) 免疫算法(Immune Algorithm) ;克隆選擇算法(Clonal Selection Algorithm) ；人工內分沁系統(Artificial Endocrine System) ；荷爾蒙算法(

6、Hormonal Algorithm) ；細菌趨藥性 算法(Bacterial chemotaxis algorithm) ；DNA計算(DNA Calculation) ；膜計算(membrane computing) ，等等。 智能信息處理主要研究內容（續(xù)）智能信息處理主要研究內容（續(xù)） 混沌與分形混沌與分形 粗糙集粗糙集 量子計算量子計算 最早由IBM的科學家R. Landauer及C. Bennett于70年代提出，是對于一個或 多個量子比特 (qubit)或量子三元 (qutrit)以上進行操作，以達到具有量子特 性的演算功能。 混沌是現象的深化，而分形則是結構的深化。這兩項發(fā)現使人

7、類對自然規(guī) 律和社會現象的認識發(fā)生了革命性的變革，提高到一個新的階段。 是一種刻劃不完整性和不確定性的數學工具 ，能有效地分析和處理不精確 、不一致、不完整等各種不完備信息，并從中發(fā)現隱含的知識，揭示潛在 的規(guī)律。主要包括屬性約簡和規(guī)則提取兩個內容。 3 相關研究學科相關研究學科( (機器學習與模式識別機器學習與模式識別) ) 13 機器學習與模式識別機器學習與模式識別 q 直觀地定義讓機器擁有類似人類的學習能力； q 機器學習是人工智能的重要分支； q 模式識別可以看作是機器學習的特例。 人工智能人工智能 機器學習機器學習 模式模式 識別識別 q 如果在人工智能上有所突破，以至于機器能夠學習

8、 ，那么它將價值10個微軟。 B.Gates，2004 機器學習實例機器學習實例 x 例例1 1：判斷 是“紅心”還是“月亮” x 例例2 2：判斷 是數字“6”還是數字“9” x x 機器學習實例機器學習實例( (續(xù)續(xù)) ) 例例3: 3: 判斷人臉表情 七類表情 50100150200250 50 100 150 200 250 ？ 機器學習實例機器學習實例( (續(xù)續(xù)) ) 例例4: 4: 判斷音樂風格 歡快音樂悲傷音樂 音樂片段（風格未知） ？ ？ 機器學習在日常生活中的應用機器學習在日常生活中的應用 例例1: 1: 手機的手寫輸入功能 例例2: 2: 筆記本電腦上的指紋識別器 例例3:

9、 3: 語音識別系統 大家下大家下 午好午好 機器學習可以在更廣闊的領域得到應用機器學習可以在更廣闊的領域得到應用 數據挖掘 圖象檢索 視頻分析 移動通信 生物信息學 石油勘探 語音識別 智能機器人 目標跟蹤 漢字識別 計算機視覺 金融數據分析 多通道用戶界面 機器學習的理論基礎機器學習的理論基礎 機器學習的發(fā)展歷史機器學習的發(fā)展歷史 p起源: 上世紀50年代中葉 p 70年代中葉80年代中葉： 探索各種學習方法; p50年代中葉60年代中葉： 研究各種自適應系統； 代表作: Samuel的下棋程序 p60年代中葉70年代中葉： 模擬人類的概念學習過程; 代表作: Winston的結構學習系統

10、 機器學習的發(fā)展歷史機器學習的發(fā)展歷史( (續(xù)續(xù)) ) p90年代中葉當前： 分類器集成、海量樣本學習、增 強學習、學習復雜隨機模型、核機器學習等; 吸引了越來 越多的學者進行機器學習研究; p1980年,在卡內基-梅隆大學（CMU）: 召開了第一屆機器學習國際研討會,標志著機器學習研究 在全世界興起。 p80年代中葉90年代中葉：主要研究人工神經網絡; q50年代中葉80年代中葉： 探究各種學習策略； q80年代中葉90年代中葉： 人工神經網絡獨領風騷； q90年代中葉當前： 諸多研究熱點； 機器學習的研究熱點機器學習的研究熱點 基于再生核的學習; 基于貝葉斯推理的學習; 海量樣本學習; 半

11、監(jiān)督學習;深度學習; 集成學習; 機器學習解決問題的流程機器學習解決問題的流程 樣本采集預處理 構建 學習模型 用學習模型 判決或預測 結果解釋 學習學以致用 機器學習研究領域細分機器學習研究領域細分 即人工神經網絡 （ANN）學習 貝葉斯學習貝葉斯學習 貝葉斯貝葉斯 公式公式 DP|ww|DP wP 后驗后驗 似然似然 （樣本信息）（樣本信息） 先驗先驗 | | P DP PD P D ww w 貝葉斯貝葉斯 推理推理 q 與貝葉斯學習有緊密聯系的一些概念： 貝葉斯決策 貝葉斯估計 q貝葉斯學習：基于貝葉斯推理的學習 貝葉斯學習的優(yōu)點貝葉斯學習的優(yōu)點 q 可以將先驗知識融入學習過程 ； q

12、推理可以遵循事先定義的概率規(guī)則逐步實施； q 用概率表示不確定性，并允許學習方法輸出置信度; q 可以得到與原學習方法對應的概率化版本。 統計學習統計學習 q基于有限觀測樣本，尋求樣本與其目標值（targets）間 未知的依賴關系。 q 通俗地說: 從一些觀測樣本出發(fā)得出目前尚不能通過原 理分析得到的規(guī)律，再利用這些規(guī)律去分析客觀現象，對 未來樣本或無法觀測的樣本進行預測。 a c 2 H w b 1 H w 1 L 2 L D 學習模型1學習模型2 q 舉例： q已知： 學習樣本 及其相應的目標值 12 , N x xx 12 , N t tt 使期望風險最小 ,RL t fPt d dtw

13、xwxx q三類最基本的學習問題： 分類： ,0 , ,1 tfif L t f tfif x w x w x w 回歸： 密度估計： 2 ,L t ftfx wx w ,ln,L PP x wx w 待研究系統 輸入輸出 輸出 xt ,f x w 學習方法 統計學習欲解決的問題統計學習欲解決的問題 4 智能信息處理仿真平臺智能信息處理仿真平臺( (含演示含演示) ) 傳統的智能信息處理仿真平臺傳統的智能信息處理仿真平臺 Windows + MATLAB + WORD (4)如果從網上下載的程序需要Linux平臺才能運行怎么辦? (3)很多智能信息處理程序是用Python , Java, Fo

14、rtran編寫的. 面臨的問題面臨的問題: (1) Matlab僅用于仿真,難于真正用于工程計算場合. (2) WORD排版雖然直觀,但排版效果并不滿意(如公式),且難于移植. (5)能否做到仿真寫作一體化; 能否方便地重現仿真過程? 工欲善其事工欲善其事,必先利其器必先利其器! Python語言學習資源語言學習資源 https:/ www.python-course.eu Python語言語言 是一種面向對象、解釋型計算機程序設計語言。 它常被昵稱為膠水語言，能夠把用其他語言制作的各種 模塊（尤其是C/C+）很輕松地聯結在一起。常見的一 種應用情形是，使用Pyt

15、hon快速生成程序的原型（有時 甚至是程序的最終界面），然后對其中有特別要求的部 分，用更合適的語言改寫。 /wiki/GFortranBinaries#MacOS Fortran語言語言 源自于“公式翻譯”（英語：Formula Translation）的縮寫， 是一種編程語言。它是世界上最早出現的計算機高級程序設 計語言，廣泛應用于科學和工程計算領域。 編譯器編譯器gfortran查看命令查看命令: $ which gfortran 檢查是否安裝了gfortran $ gfortran v 查看gfortran的版本 編譯器編譯器gfortran編譯命令

16、編譯命令: 1、$ gfortran -o helloworld.o -c helloworld.for 生成目標文件.o $ gfortran -c helloworld.for (等價于上一句) 2、$ gfortran -o helloworld helloworld.o 生成可執(zhí)行文件 http:/ dex.html 一種可以撰寫跨平臺應用程序的面向對象的程序設計語言。 具有卓越的通用性、高效性、平臺移植性和安全性，廣泛應 用于PC、數據中心、游戲控制臺、科學超級計算機、移動電 話和互聯網，同時擁有全球最大的開發(fā)者專業(yè)社群。 Java語言語言 常用命令常用命令： Javac aaa.j

17、ava 編譯java源程序aaa Java aaa 執(zhí)行aaa Appletviewer bbb*.htm 運行小運用程序 Linux操作系統操作系統 Linux公社：www.L Redhat、Fedora（rpm體系，企業(yè)環(huán)境） Debian、Ubuntu（deb體系，桌面環(huán)境） （有關Linux教程、編程、軟件等的論壇） Linux是一套免費使用和自由傳播的類Unix操作系統，是一個基 于POSIX和UNIX的多用戶、多任務、支持多線程和多CPU的操 作系統。它能運行主要UNIX工具軟件、應用程序和網絡協議。 可安裝在各種計算機硬件設備中，比如手機、平板電腦、路由器 、視頻游戲控制臺、臺式

18、計算機、大型機和超級計算機。 Scons編譯工具編譯工具 Scons是一個Python寫的自動化構建工具，非常適合跨平臺的項 目。從構建這個角度看，它跟GNU make是同一類工具，其集成功 能類似于autoconf/automake 。Scons也可看作是一個更簡便、更可 靠、更高效的編譯軟件，它是用編程語言來實現編譯。Windows下 也可安裝Scons，它提供了一個Windows installer。 Scons學習資源：學習資源： 1、Scons 官網： / 2、Steven Knight： /doc/2.3.

19、0/HTML/scons-user/ Scons常用命令：常用命令： 1、$ scons 直接執(zhí)行編譯命令 2、$ scons c 清除編譯命令生成的文件 3、$ scons -tree=all或status 編譯時以樹形結構展示 Latex排版工具排版工具 （1）MacTex /mactex/ （2）CTex （3）宏包下載： / Latex學習資源學習資源: 是一種基于tex的排版系統，由美國計算機學家萊斯利蘭伯 特（Leslie Lamport）在20世紀80年代初期開發(fā)，能生成很多具 有書籍質量的印刷品。對于生成復雜表格和數學公式，這一點 表現得尤為突出。因此它非常適用于生成高印刷質量的科技和 數學類文檔。 很多國外期刊只接受Latex排版的論文. Madagascar仿真軟件仿真軟件 軟件網址軟件網址 一款用于多維數字信號處理(尤其適合多維地震信號處理)的開源 軟件.為使用者提供方便且強大的編程環(huán)境，能做到仿真寫作一 體化; 能方便地重現仿真過程. 派遣研究生學習