機(jī)器學(xué)習(xí)算法和應(yīng)用

1、機(jī)器學(xué)習(xí)方法及應(yīng)用1、機(jī)器學(xué)習(xí)學(xué)習(xí)是生物中樞神經(jīng)系統(tǒng)的高級(jí)整合技能之一，是人類獲取知識(shí)的重要途徑和人類智能 的重要標(biāo)志，按照人工智能大師H-Simon的觀點(diǎn)1 學(xué)習(xí)就是系統(tǒng)在不斷重復(fù)的工作中對(duì)本身 能力的增強(qiáng)或改進(jìn)，使得系統(tǒng)在下一次執(zhí)行同樣或相類似的任務(wù)時(shí)，會(huì)比原來做得更好或效率 更高。機(jī)器學(xué)習(xí)則是計(jì)算機(jī)獲取知識(shí)的重要途徑和人工智能的重要標(biāo)志，是一門研究怎樣用計(jì) 算機(jī)來模擬或?qū)崿F(xiàn)人類學(xué)習(xí)活動(dòng)的學(xué)科，是研究如何使機(jī)器通過識(shí)別和利用現(xiàn)有知識(shí)來獲取 新知識(shí)和新技能。一般認(rèn)為,機(jī)器學(xué)習(xí)是一個(gè)有特定目的的知識(shí)獲取過程，其內(nèi)部表現(xiàn)為從未 知到已知這樣一個(gè)知識(shí)增長(zhǎng)過程,其外部表現(xiàn)為系統(tǒng)的某些性能和適應(yīng)性的改

2、善，使得系統(tǒng)能 完成原來不能完成或更好地完成原來可以完成的任務(wù)。它既注重知識(shí)本身的增加，也注重獲 取知識(shí)的技能的提高。1.1機(jī)器學(xué)習(xí)基本模型以H-Simon的學(xué)習(xí)定義作為出發(fā)點(diǎn)，建立如圖1的基本模型。在機(jī)器學(xué)習(xí)的過程中，首要 的因素是外部環(huán)境向系統(tǒng)提供信息的質(zhì)量。外部環(huán)境是以某種形式表達(dá)的外界信息集合，它 代表外界信息來源;學(xué)習(xí)是將外界信息加工為知識(shí)的過程，先從環(huán)境獲取外部信息，然后對(duì)這 些信息加工形成知識(shí)，并把這些知識(shí)放入知識(shí)庫中;知識(shí)庫中存放指導(dǎo)執(zhí)行部分動(dòng)作的一般原 則,由于環(huán)境向?qū)W習(xí)系統(tǒng)提供的信息形形色色，信息質(zhì)量的優(yōu)劣直接影響到學(xué)習(xí)部分容易實(shí)現(xiàn) 還是雜亂無章。而知識(shí)庫則是影響學(xué)習(xí)系統(tǒng)設(shè)

3、計(jì)的第二個(gè)因素，由于知識(shí)庫可能不同,表達(dá)方 式各有特點(diǎn)，在選擇表示方式上要兼顧表達(dá)能力強(qiáng)、易于推理、易于完善及擴(kuò)展知識(shí)表示等幾個(gè)方面的要求。執(zhí)行環(huán)節(jié)是利用知識(shí)庫中的知識(shí)完成某種任務(wù)的過程，并把完成任務(wù)過程 中所獲得的一些信息反饋給學(xué)習(xí)環(huán)節(jié)，以指導(dǎo)進(jìn)一步的學(xué)習(xí)。1.2機(jī)器學(xué)習(xí)的發(fā)展和研究目標(biāo)機(jī)器學(xué)習(xí)是人工智能研究較為年輕的分支，它的發(fā)展過程大體上分為四個(gè)時(shí)期2。第一階段是20世紀(jì)50年代中葉到60年代中葉，屬于熱烈時(shí)期。在這個(gè)時(shí)期，所研究的 是沒有知識(shí)”的學(xué)習(xí)，即無知”學(xué)習(xí)。其研究目標(biāo)是各類自組織系統(tǒng)和自適應(yīng)系統(tǒng)，其主要研 究方法是不斷修改系統(tǒng)的控制參數(shù)和改進(jìn)系統(tǒng)的執(zhí)行能力，不涉及與具體任務(wù)有關(guān)

4、的知識(shí)。 本階段的代表性工作是:塞繆爾(Samuel)的下棋程序。但這種學(xué)習(xí)的結(jié)果遠(yuǎn)不能滿足人們對(duì) 機(jī)器學(xué)習(xí)系統(tǒng)的期望。第二階段是在60年代中葉到70年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜時(shí)期。本階段的研究 目標(biāo)是模擬人類的概念學(xué)習(xí)過程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為機(jī)器內(nèi)部描述。本階段的代 表性工作有溫斯頓(Winston)的結(jié)構(gòu)學(xué)習(xí)系統(tǒng)和海斯羅思(Hayes-Roth)等的基本邏輯的歸納 學(xué)習(xí)系統(tǒng)。第三階段從20世紀(jì)70年代中葉到80年代中葉，稱為復(fù)興時(shí)期。在此期間，人們從學(xué)習(xí) 單個(gè)概念擴(kuò)展到學(xué)習(xí)多個(gè)概念，探索不同的學(xué)習(xí)策略和方法，且在本階段已開始把學(xué)習(xí)系統(tǒng)與 各種應(yīng)用結(jié)合起來，并取得很大的成功，促進(jìn)

5、機(jī)器學(xué)習(xí)的發(fā)展。1980年,在美國的卡內(nèi)基一梅 隆(CMU)召開了第一屆機(jī)器學(xué)習(xí)國際研討會(huì)標(biāo)志著機(jī)器學(xué)習(xí)研究已在全世界興起。當(dāng)前機(jī)器學(xué)習(xí)圍繞三個(gè)主要研究方向進(jìn)行：面向任務(wù):在預(yù)定的一些任務(wù)中，分析和開發(fā)學(xué)習(xí)系統(tǒng)，以便改善完成任務(wù)的水平，這是 專家系統(tǒng)研究中提出的研究問題；認(rèn)識(shí)模擬:主要研究人類學(xué)習(xí)過程及其計(jì)算機(jī)的行為模擬，這是從心理學(xué)角度研究的問 題；理論分析研究:從理論上探討各種可能學(xué)習(xí)方法的空間和獨(dú)立于應(yīng)用領(lǐng)域之外的各種 算法。這三個(gè)研究方向各有自己的研究目標(biāo)，每一個(gè)方向的進(jìn)展都會(huì)促進(jìn)另一個(gè)方向的研究。 這三個(gè)方面的研究都將促進(jìn)各方面問題和學(xué)習(xí)基本概念的交叉結(jié)合，推動(dòng)了整個(gè)機(jī)器學(xué)習(xí)的 研究

6、。機(jī)器學(xué)習(xí)的研究目標(biāo)大致有三個(gè)方向,一個(gè)方向是基礎(chǔ)性訓(xùn)究，發(fā)展各種適合機(jī)器特點(diǎn)的 學(xué)習(xí)理淪,探討所有可能的學(xué)習(xí)方法,比較人類學(xué)習(xí)與機(jī)器學(xué)習(xí)的異同與聯(lián)系；一個(gè)方向是以 模擬人類的學(xué)習(xí)過程出發(fā)，試圖建立學(xué)習(xí)的認(rèn)識(shí)生理學(xué)模型，這個(gè)方向與認(rèn)知科學(xué)的發(fā)展密切 相關(guān);一個(gè)方向是應(yīng)用研究，建立各種實(shí)用的學(xué)習(xí)系統(tǒng)或知識(shí)獲取輔助工具，在人工智能科學(xué) 的應(yīng)用領(lǐng)域建立自動(dòng)獲取知識(shí)系統(tǒng)，積累經(jīng)驗(yàn)，完善知識(shí)庫與控制知識(shí),進(jìn)而能使機(jī)器的智能 水平像人類一樣。機(jī)器學(xué)習(xí)方法2.1機(jī)械學(xué)習(xí)機(jī)械學(xué)習(xí)就是記憶，即把新的知識(shí)存儲(chǔ)起來，供需要時(shí)檢索調(diào)用，而無須計(jì)算和推理。任 何學(xué)習(xí)系統(tǒng)都必須記住它們獲取的知識(shí)。在機(jī)械學(xué)習(xí)系統(tǒng)中，知識(shí)的

7、獲取以較為穩(wěn)定和直接 的方式進(jìn)行，不需要系統(tǒng)進(jìn)行過多的加工。而對(duì)于其他學(xué)習(xí)系統(tǒng)，需要對(duì)各種建議和訓(xùn)練例子 等信息進(jìn)行加工處理后，才能存儲(chǔ)起來。當(dāng)機(jī)械學(xué)習(xí)系統(tǒng)的執(zhí)行部分解決好問題之后,系統(tǒng)就 記住該問題及其解。可以把學(xué)習(xí)系統(tǒng)的執(zhí)行部分抽象地看成某個(gè)函數(shù)，該函數(shù)在得到自變量 輸入值(X1,X2，,Xn)之后，計(jì)算并輸出函數(shù)值(Y1,Y2，,Yp)。機(jī)械學(xué)習(xí)在存儲(chǔ)器中簡(jiǎn)單地記憶存儲(chǔ)對(duì)(X1,X2,Xn),(Y1,Y2,Yp)。當(dāng)需要f(X1,X2,Xn)時(shí),執(zhí)行部分就從存儲(chǔ)器中把(Y1,Y2，,Yp)簡(jiǎn)單地檢索出來而不是重新計(jì)算它。這種簡(jiǎn)單的學(xué)習(xí)模式如下：四(XKw,g,Yp)對(duì)于機(jī)械學(xué)習(xí)，需要注意

8、:采用適當(dāng)?shù)拇鎯?chǔ)方式，使檢索速度盡可能地快;保證所保存的信 息適應(yīng)于外界環(huán)境變化的需要;不能降低系統(tǒng)的效率。2.2歸納學(xué)習(xí)歸納推理是應(yīng)用歸納方法,從足夠多的具體事例中歸納出一般性知識(shí)，提取事物的一般規(guī) 律，是從個(gè)別到一般的推理。歸納學(xué)習(xí)是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的方法，根據(jù)歸納學(xué)習(xí)有無教 師指導(dǎo)，可分為示例學(xué)習(xí)和觀察與發(fā)現(xiàn)學(xué)習(xí)。前者屬于有師學(xué)習(xí),后者屬于無師學(xué)習(xí)。歸納學(xué)習(xí)系統(tǒng)的模型如圖2所示。實(shí)驗(yàn)規(guī)劃過程通過對(duì)實(shí)例空間的搜索完成實(shí)例選擇, 并將這些選中的活躍實(shí)例提交給解釋過程。解釋過程對(duì)實(shí)例加以適當(dāng)轉(zhuǎn)換，把活躍實(shí)例變換 為規(guī)則空間中的特定概念，以引導(dǎo)規(guī)則空間的搜索。_ 解麗,71實(shí)唧11 Iffl

9、gpT國2歸站學(xué)習(xí)系銃模最2.2.1示例學(xué)習(xí)示例學(xué)習(xí)又稱實(shí)例學(xué)習(xí)，是通過環(huán)境中若干與某概念有關(guān)的例子，經(jīng)歸納得出一般性概念 的學(xué)習(xí)方法。在這種學(xué)習(xí)方法中,外部環(huán)境提供的是一組例子，每一個(gè)例子表達(dá)了僅適用于該 例子的知識(shí)。示例學(xué)習(xí)就是要從這些特殊知識(shí)中歸納出適用于更大范圍的一般性知識(shí)，以覆 蓋所有的正例并排除所有反例。例如，如果用一批動(dòng)物作為示例，并且告訴學(xué)習(xí)系統(tǒng)哪一個(gè)動(dòng) 物是”馬”，哪一個(gè)動(dòng)物不是。當(dāng)示例足夠多時(shí)，學(xué)習(xí)系統(tǒng)就能概括出關(guān)于馬”的概念模型，使自 己能夠識(shí)別馬，并且能將馬與其他動(dòng)物區(qū)別開來。2.2.2觀察發(fā)現(xiàn)學(xué)習(xí)觀察發(fā)現(xiàn)學(xué)習(xí)又稱描述性概括,其目標(biāo)是確定一個(gè)定律或理論的一般性描述,刻畫

10、觀察集, 指定某類對(duì)象的性質(zhì)。觀察發(fā)現(xiàn)學(xué)習(xí)可分為觀察學(xué)習(xí)與機(jī)器發(fā)現(xiàn)兩種。前者用于對(duì)事例進(jìn) 行聚類，形成概念描述;后者用于發(fā)現(xiàn)規(guī)律，產(chǎn)生定律或規(guī)則。概念聚類的基本思想是把事例 按照一定的方式和準(zhǔn)則分組，如劃分為不同的類或不同的層次等，使不同的組代表不同的概念, 并對(duì)每一個(gè)組進(jìn)行特征概括，得到一個(gè)概念的語義符號(hào)描述。機(jī)器發(fā)現(xiàn)是指從觀察事例或經(jīng) 驗(yàn)數(shù)據(jù)中歸納出規(guī)律或規(guī)則的學(xué)習(xí)方法，也是最困難且最富創(chuàng)造性的一種學(xué)習(xí)。機(jī)器發(fā)現(xiàn)又 可分為經(jīng)驗(yàn)發(fā)現(xiàn)與知識(shí)發(fā)現(xiàn)兩種，前者是指從經(jīng)驗(yàn)數(shù)據(jù)中發(fā)現(xiàn)規(guī)律和定律，后者是指從已觀察 的事例中發(fā)現(xiàn)新的知識(shí)。2.3類比學(xué)習(xí)類比能清晰、簡(jiǎn)潔地描述對(duì)象間的相似性。類比學(xué)習(xí)就是通過類

11、比，即通過對(duì)相似事物 加以比較所進(jìn)行的一種學(xué)習(xí)。例如，當(dāng)教師要向?qū)W生講授一個(gè)較難理解的新概念時(shí)，總是用一 些學(xué)生已經(jīng)掌握且與新概念有許多相似之處的例子作為比喻，使學(xué)生通過類比加深對(duì)新概念 的理解。像這樣通過對(duì)相似事物的比較所進(jìn)行的學(xué)習(xí)就是類比學(xué)習(xí)。類比學(xué)習(xí)主要包括4個(gè)過程：輸入一組已知條件和一組未完全確定的條件。對(duì)輸入的兩組條件，根據(jù)其描述，按某種相似性的定義尋找兩者可類比的對(duì)應(yīng)關(guān)系。根據(jù)相似變換的方法，將已有問題的概念、特性、方法、關(guān)系等映射到新問題上，以 獲得待求解新問題所需的新知識(shí)。對(duì)類推得到的新問題的知識(shí)進(jìn)行校驗(yàn)。驗(yàn)證正確的知識(shí)存入知識(shí)庫中,而暫時(shí)還無法 驗(yàn)證的知識(shí)只能作為參考性知識(shí)，

12、置于數(shù)據(jù)庫中。類比學(xué)習(xí)的關(guān)鍵是相似性的定義與相似變換的方法。相似定義所依據(jù)的對(duì)象隨著類比 學(xué)習(xí)的目的發(fā)生變化,如果學(xué)習(xí)目的是獲得新事物的某種屬性,那么定義相似時(shí)應(yīng)依據(jù)新、舊 事物的其他屬性間的相似對(duì)應(yīng)關(guān)系。如果學(xué)習(xí)目的是獲得求解新問題的方法,那么應(yīng)依據(jù)新 問題的各個(gè)狀態(tài)間的關(guān)系與老問題的各個(gè)狀態(tài)間的關(guān)系來進(jìn)行類比。相似變換一般要根據(jù) 新、老事物間以何種方式對(duì)問題進(jìn)行相似類比而決定2.4解釋學(xué)習(xí)基于解釋的學(xué)習(xí)簡(jiǎn)稱解釋學(xué)習(xí)。解釋學(xué)習(xí)根據(jù)任務(wù)所在領(lǐng)域知識(shí)和正在學(xué)習(xí)的概念知 識(shí),對(duì)當(dāng)前實(shí)例進(jìn)行分析和求解，得出一個(gè)表征求解過程的因果解釋樹，以獲取新的知識(shí)。在 獲取新知識(shí)的過程中,通過對(duì)屬性、表征現(xiàn)象和內(nèi)

13、在關(guān)系等進(jìn)行解釋而學(xué)習(xí)到新的知識(shí)。1986年Mitchell等人提出了基于解釋的概括方法，該算法建立了基于解釋的概括過程并運(yùn)用知識(shí)的邏輯表示和演繹推理進(jìn)行問題求解如圖3所示?？珊艉蕉阕羨SMt 圖3基于解#的柢括過程在解釋學(xué)習(xí)中，為了對(duì)某一目標(biāo)概念進(jìn)行學(xué)習(xí)，從而得到相應(yīng)的知識(shí)，必須為學(xué)習(xí)系統(tǒng)提 供完善的領(lǐng)域知識(shí)以及能夠說明目標(biāo)概念的一個(gè)訓(xùn)練實(shí)例。在系統(tǒng)進(jìn)行學(xué)習(xí)時(shí)，首先運(yùn)用領(lǐng) 域知識(shí)找出訓(xùn)練實(shí)例為什么是目標(biāo)概念之實(shí)例的證明,然后根據(jù)操作準(zhǔn)則對(duì)證明進(jìn)行推廣，從 而得到關(guān)于目標(biāo)概念的一般性描述即可供以后使用的形式化表示的一般性知識(shí)。2.5基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的性質(zhì)主要取決于兩個(gè)因素:網(wǎng)絡(luò)的拓?fù)?/p>

14、結(jié)構(gòu);網(wǎng)絡(luò)的權(quán)值、工作規(guī)則。二者結(jié) 合起來就可以構(gòu)成一個(gè)網(wǎng)絡(luò)的主要特征。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題就是網(wǎng)絡(luò)的權(quán)值調(diào)整問題。神經(jīng)網(wǎng)絡(luò)的連接權(quán)值的確定一般有兩 種方式:一種是通過設(shè)計(jì)計(jì)算確定即所謂死記式學(xué)習(xí);另一種是網(wǎng)絡(luò)按一定的規(guī)則通過學(xué)習(xí)得 到的。大多數(shù)神經(jīng)網(wǎng)絡(luò)使用后一種方法確定其網(wǎng)絡(luò)權(quán)值。比較出名的網(wǎng)絡(luò)模型和學(xué)習(xí)算法 有反向傳播算法、Hopfield網(wǎng)絡(luò)等。2.5.1基于反向傳播網(wǎng)絡(luò)的學(xué)習(xí)誤差反向傳播學(xué)習(xí)由兩次通過網(wǎng)絡(luò)不同層的傳播組成:一次前向傳播和一次反向傳播。 在前向傳播中，一個(gè)活動(dòng)模式作用于網(wǎng)絡(luò)感知結(jié)點(diǎn)，它的影響通過網(wǎng)絡(luò)一層接一層地傳播，最 后產(chǎn)生一個(gè)輸出作為網(wǎng)絡(luò)的實(shí)際響應(yīng)。在前向傳播中，網(wǎng)絡(luò)的

15、突觸權(quán)值全被固定了。在反向 傳播中，突觸權(quán)值全部根據(jù)突觸修正規(guī)則來調(diào)整。特別是網(wǎng)絡(luò)的目標(biāo)響應(yīng)減去實(shí)際響應(yīng)而產(chǎn) 生誤差信號(hào)，這個(gè)誤差信號(hào)反向傳播通過網(wǎng)絡(luò)，與突觸連接方向相反,因此叫”誤差反向傳播”。 突觸權(quán)值被調(diào)整使得網(wǎng)絡(luò)的實(shí)際響應(yīng)從統(tǒng)計(jì)意義上接近目標(biāo)響應(yīng)。誤差反向傳播算法通常 稱為反向傳播算法,由算法執(zhí)行的學(xué)習(xí)過程稱為反向傳播學(xué)習(xí)。反向傳播算法的發(fā)展是神經(jīng) 網(wǎng)絡(luò)發(fā)展史上的一個(gè)里程碑，因?yàn)榉聪騻鞑ニ惴橛?xùn)練多層感知器提供了一個(gè)有效的計(jì)算方 法。2.5.2基于Hopfield網(wǎng)絡(luò)模型的學(xué)習(xí)前向神經(jīng)網(wǎng)絡(luò)，從學(xué)習(xí)的觀點(diǎn)看,是強(qiáng)有力的學(xué)習(xí)系統(tǒng)，結(jié)構(gòu)簡(jiǎn)單，易于編程。從系統(tǒng)的觀 點(diǎn)看，屬于靜態(tài)的非線性映射,

16、通過簡(jiǎn)單非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性處理 能力，但它們因缺乏反饋，所以并不是一個(gè)強(qiáng)有力的動(dòng)力學(xué)系統(tǒng)。Hopfield模型屬于反饋型神經(jīng)網(wǎng)絡(luò)，從計(jì)算的角度講，具有很強(qiáng)的計(jì)算能力。系統(tǒng)著重關(guān)心的是系統(tǒng)的穩(wěn)定性問題。穩(wěn)定 性是這類具有聯(lián)想記憶功能神經(jīng)網(wǎng)絡(luò)模型的核心,學(xué)習(xí)記憶的過程就是系統(tǒng)向穩(wěn)定狀態(tài)發(fā)展 的過程。Hopfield網(wǎng)絡(luò)可用于解決聯(lián)想記憶和約束優(yōu)化問題的求解。2.6知識(shí)發(fā)現(xiàn)數(shù)據(jù)庫中的知識(shí)發(fā)現(xiàn)是從大量數(shù)據(jù)中辨識(shí)出有效的、新穎的、潛在有用的、可被理解的模式的高級(jí)處理過程。知識(shí)發(fā)現(xiàn)過程如圖4所示:原始J變暮后數(shù)據(jù)目蹤,1而預(yù)處回 數(shù)據(jù)I預(yù)處理尚狷交換I提取信息知識(shí)圖4知識(shí)發(fā)現(xiàn)過程數(shù)

17、據(jù)選擇是根據(jù)用戶需求從數(shù)據(jù)庫中提取相關(guān)數(shù)據(jù)。數(shù)據(jù)預(yù)處理是對(duì)數(shù)據(jù)進(jìn)行再加工, 檢查數(shù)據(jù)的完整性及一致性，對(duì)其中的噪音數(shù)據(jù)進(jìn)行處理,對(duì)丟失的數(shù)據(jù)利用統(tǒng)計(jì)方法進(jìn)行填 補(bǔ)，形成發(fā)掘數(shù)據(jù)庫。數(shù)據(jù)變換即從發(fā)掘數(shù)據(jù)庫里選擇數(shù)據(jù)。變換的方法主要是利用聚類分 析和判別分析。數(shù)據(jù)挖掘是根據(jù)用戶要求,確定知識(shí)發(fā)現(xiàn)的目標(biāo)是發(fā)現(xiàn)何種類型的知識(shí)，運(yùn)用 選定的知識(shí)發(fā)現(xiàn)算法，從數(shù)據(jù)庫中提取用戶所需要的知識(shí)。知識(shí)評(píng)價(jià)主要用于對(duì)所獲得的規(guī) 則進(jìn)行價(jià)值評(píng)定,以決定所得到的規(guī)則是否存入基礎(chǔ)知識(shí)庫。上述知識(shí)發(fā)現(xiàn)過程可以進(jìn)一步歸納為3個(gè)步驟，即數(shù)據(jù)挖掘預(yù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)挖 掘后處理。知識(shí)發(fā)現(xiàn)已在銀行業(yè)、保險(xiǎn)業(yè)、零售業(yè)、醫(yī)療保健、工程

18、和制造業(yè)、科學(xué)研究、衛(wèi)星觀察和娛樂業(yè)等行業(yè)和部門得到成功應(yīng)用，為人們的科學(xué)決策提供了很大幫助。機(jī)器學(xué)習(xí)方法的應(yīng)用研究表明,目前在眾多涉及計(jì)算機(jī)處理的技術(shù)應(yīng)用中，機(jī)器學(xué)習(xí)在許多領(lǐng)域都取得了很大的進(jìn)步，如用于人工智能、數(shù)據(jù)挖掘、自然語言處理、漢字識(shí)別、機(jī)器翻譯、專家系統(tǒng)以及 商業(yè)領(lǐng)域等?？梢哉f,一個(gè)系統(tǒng)是否具有學(xué)習(xí)”功能己成為是否具有智能”的一個(gè)重要標(biāo) 志。20世紀(jì)90年代逐漸成熟的基于機(jī)器學(xué)習(xí)的文本分類方法，更注重分類器的模型自動(dòng)挖 掘和生成及動(dòng)態(tài)優(yōu)化能力,在分類效果和靈活性上都比之前基于知識(shí)工程和專家系統(tǒng)的文本 分類模式有所突破,成為相關(guān)領(lǐng)域研究和應(yīng)用的經(jīng)典范例34。近年來，機(jī)器學(xué)習(xí)與自然語言

19、 處理的結(jié)合越來越緊密,相應(yīng)的自然語言學(xué)習(xí)技術(shù)的發(fā)展也越來越快。在自然語言處理及機(jī) 器翻譯方而，比較流行和傳統(tǒng)的機(jī)器學(xué)習(xí)方法是基于實(shí)例的學(xué)習(xí)。這種方法給定一些有代表 性的實(shí)例，從中總結(jié)出一些規(guī)律,使其具有代表性和高精確度，并把學(xué)習(xí)得到的這些特性作為 系統(tǒng)，賦給另一個(gè)從未見過的新事物。比較典型的應(yīng)用有基于機(jī)器學(xué)習(xí)方法的自動(dòng)文摘問題 以及用于進(jìn)行智能中文關(guān)聯(lián)詞語識(shí)別，中文語句生成和診斷系統(tǒng)等。機(jī)器學(xué)習(xí)方法在專家系統(tǒng)及智能決策系統(tǒng)方而的典型應(yīng)用也很普遍，這方面的研究有:機(jī) 械設(shè)備智能診斷系統(tǒng)的機(jī)器學(xué)習(xí)機(jī)制、故障診斷專家系統(tǒng)中機(jī)器學(xué)習(xí)方法的研究、基于機(jī) 器學(xué)習(xí)理論的智能決策支持系統(tǒng)模型操縱方法的研究，

20、智能制造系統(tǒng)中機(jī)器學(xué)習(xí)方法的應(yīng)用 研究等。機(jī)器學(xué)習(xí)技術(shù)應(yīng)用于市場(chǎng)營銷、金融、網(wǎng)絡(luò)分析和電信領(lǐng)域5。在市場(chǎng)營銷領(lǐng)域，機(jī)器 學(xué)習(xí)技術(shù)較廣泛地應(yīng)用于分類型和關(guān)聯(lián)型任務(wù);在金融領(lǐng)域，機(jī)器學(xué)習(xí)技術(shù)較廣泛地應(yīng)用于預(yù) 測(cè)型任務(wù);在網(wǎng)絡(luò)分析領(lǐng)域，機(jī)器學(xué)習(xí)技術(shù)應(yīng)用較為廣泛的是關(guān)聯(lián)型任務(wù)。在電信領(lǐng)域，機(jī)器 學(xué)習(xí)技術(shù)在分類、預(yù)測(cè)、偵查的任務(wù)方面均有廣泛的應(yīng)用。此外，機(jī)器學(xué)習(xí)應(yīng)用于數(shù)據(jù)挖掘領(lǐng)域5或與其它應(yīng)用技術(shù)的結(jié)合，比較典型的有基于機(jī)器 學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)初始化方法、進(jìn)化計(jì)算在機(jī)器學(xué)習(xí)中的應(yīng)用研究、層次分類中的機(jī)器學(xué)習(xí) 方法研究、基于Rough集方法的數(shù)據(jù)約簡(jiǎn)與機(jī)器學(xué)習(xí)、預(yù)測(cè)支持系統(tǒng)中的人機(jī)界面Agent 及其機(jī)器學(xué)習(xí)

21、。目前，我們?cè)噲D把機(jī)器學(xué)習(xí)應(yīng)用到用戶模型的建立更新中。但仍然存在很多難點(diǎn),如在用 戶建模中需要什么樣的機(jī)器學(xué)習(xí)方法,怎樣獲得大量的機(jī)器學(xué)習(xí)所需要的訓(xùn)練樣本，怎樣既能 提高用戶模型的精度又能降低運(yùn)算的復(fù)雜度等，這些都還有待進(jìn)一步研究和探討。小結(jié)與展望機(jī)器學(xué)習(xí)是人工智能發(fā)展中一個(gè)十分活躍的領(lǐng)域，其研究目的是希望計(jì)算機(jī)具有如同人 類一樣從現(xiàn)實(shí)世界中獲取知識(shí)的能力，同時(shí)，以模擬人類的學(xué)習(xí)過程出發(fā)點(diǎn)，建立學(xué)習(xí)的計(jì)算 理論,構(gòu)造各種學(xué)習(xí)系統(tǒng)并將之應(yīng)用到各個(gè)領(lǐng)域中去。發(fā)展各種適合機(jī)器特點(diǎn)的學(xué)習(xí)理論，進(jìn) 行基礎(chǔ)性研究。當(dāng)前,機(jī)器學(xué)習(xí)的研究仍繼續(xù)向縱深方向發(fā)展，研究者從各自不同的研究環(huán)境和領(lǐng)域提出 多種學(xué)習(xí)體制、學(xué)習(xí)方法。但總體來看，為了使機(jī)器學(xué)習(xí)達(dá)到較高水平,應(yīng)該采用多種學(xué)習(xí)體 制下的集成學(xué)習(xí)系統(tǒng)，以便解決復(fù)雜任務(wù)和模擬人腦的思維過程,同時(shí)在學(xué)習(xí)機(jī)制和學(xué)習(xí)方法 上爭(zhēng)取有質(zhì)的突破。在算法研究方面，由于集成學(xué)習(xí)(Ensemble Learnin