人工智能考試必備知識點(diǎn)

1、第三章約束推理約束的定義： 一個約束通常是指一個包含若干變量的關(guān)系表達(dá)式，用以表示這些變量所必須滿足的條件。貪心算法： 貪心法把構(gòu)造可行解的工作分階段來完成。在各個階段， 選擇那些在某些意義下是局部最優(yōu)的方案，期望各階段的局部最優(yōu)的選擇帶來整體最優(yōu)。回溯算法： 有些問題需要徹底的搜索才能解決問題，然而， 徹底的搜索要以大量的運(yùn)算時間為代價，對于這種情況可以通過回溯法來去掉一些分支，從而大大減少搜索的次數(shù)第四章定性推理定性推理的定義 是從物理系統(tǒng)、 生命系統(tǒng)的結(jié)構(gòu)描述出發(fā) , 導(dǎo)出行為描述 , 行為并給出原因解釋。 定性推理采用系統(tǒng)部件間的局部結(jié)構(gòu)規(guī)則來解釋系統(tǒng)行為以便預(yù)測系統(tǒng)的,即部件狀態(tài)的變

2、化行為只與直接相鄰的部件有關(guān)第六章貝葉斯網(wǎng)絡(luò)貝葉斯網(wǎng)絡(luò)的定義：貝葉斯網(wǎng)絡(luò)是表示變量間概率依賴關(guān)系的有向無環(huán)圖，這里每個節(jié)點(diǎn)表示領(lǐng)域變量，每條邊表示變量間的概率依賴關(guān)系，同時對每個節(jié)點(diǎn)都對應(yīng)著一個條件概率分布表(CPT) ，指明了該變量與父節(jié)點(diǎn)之間概率依賴的數(shù)量關(guān)系。條件概率： 條件概率 : 我們把事件B 已經(jīng)出現(xiàn)的條件下，事件A 發(fā)生的概率記做為P(A|B) 。并稱之為在B 出現(xiàn)的條件下A 出現(xiàn)的條件概率，而稱P(A) 為無條件概率。貝葉斯概率：先驗(yàn)概率、后驗(yàn)概率、聯(lián)合概率、全概率公式、貝葉斯公式先驗(yàn)概率：先驗(yàn)概率是指根據(jù)歷史的資料或主觀判斷所確定的各事件發(fā)生的概率，該類概率沒能經(jīng)過實(shí)驗(yàn)證實(shí)，

3、屬于檢驗(yàn)前的概率，所以稱之為先驗(yàn)概率后驗(yàn)概率：后驗(yàn)概率一般是指利用貝葉斯公式，結(jié)合調(diào)查等方式獲取了新的附加信息，對先驗(yàn)概率進(jìn)行修正后得到的更符合實(shí)際的概率聯(lián)合概率：聯(lián)合概率也叫乘法公式，是指兩個任意事件的乘積的概率，或稱之為交事件的概率。貝葉斯問題的求解步驟定義隨機(jī)變量、 確定先驗(yàn)分布密度、 利用貝葉斯定理計算后驗(yàn)分布密度、 利用計算得到的厚顏分布密度對所求問題作出推斷貝葉斯網(wǎng)絡(luò)的構(gòu)建為了建立貝葉斯網(wǎng)絡(luò)，第一步 ，必須確定為建立模型有關(guān)的變量及其解釋。為此，需要：(1) 確定模型的目標(biāo)，即確定問題相關(guān)的解釋；(2) 確定與問題有關(guān)的許多可能的觀測值，確定其中值得建立模型的子集；(3) 將這些觀

4、測值組織成互不相容的而且窮盡所有狀態(tài)的變量。這樣做的結(jié)果不是唯一的。第二步 ，建立一個表示條件獨(dú)立斷言的有向無環(huán)圖第三步指派局部概率分布p （xi|Pai）。在離散的情形，需要為每一個變量Xi的各個父節(jié)點(diǎn)的狀態(tài)指派一個分布。并第七章歸納學(xué)習(xí)歸納學(xué)習(xí)是符號學(xué)習(xí)中研究得最為廣泛的一種方法。給定關(guān)于某個概念的一系列已知的正例和反例，其任務(wù)是從中歸納出一個一般的概念描述。歸納學(xué)習(xí)能夠獲得新的概念，創(chuàng)立新的規(guī)則，發(fā)現(xiàn)新的理論。它的一般的操 作 是 泛 化 和 特 化泛化用來擴(kuò)展一假設(shè)的語義信息，以使其能夠包含更多的正例，應(yīng)用于更多的情況。特化是泛化的相反的操作，用于限制概念描述的應(yīng)用范圍。用程序語言描述

5、定義上述內(nèi)容的過程就是歸納學(xué)習(xí)程序, 用于書寫歸納程序的語言稱為歸納程序設(shè)計語言, 能執(zhí)行歸納程序 , 完成特定歸納學(xué)習(xí)任務(wù)的系統(tǒng)叫做歸納學(xué)習(xí)系統(tǒng)。歸納學(xué)習(xí)系統(tǒng)可獨(dú)立, 也可嵌入另一較大的知識處理系統(tǒng)。一般歸納程序的輸入是科學(xué)實(shí)驗(yàn)中個別觀察對象 ( 過程 ) 的描述 ,輸出是一類對象的總體特征描述或幾類對象的分類判別描述。與演繹相對照 , 歸納的開始前提是具體事實(shí)而不是一般公理, 推理目標(biāo)是形式化解釋事實(shí)的似然一般斷言和預(yù)見新事實(shí)。歸納推理企圖從給定現(xiàn)象或它的一部分的具體觀察推導(dǎo)出一個完整的、正確的描述。歸納的兩個方面? ? 似然假設(shè)的產(chǎn)生和它的有效性( 真值狀態(tài)的建立 ), 只有前者對歸納學(xué)

6、習(xí)研究具備基本意義, 而假設(shè)有效性的問題是次要的，因?yàn)榧俣ㄋa(chǎn)生的假設(shè)由人類專家判斷 ,由已知的演繹推理和數(shù)理統(tǒng)計的方法測試。歸納學(xué)習(xí)可以分為實(shí)例學(xué)習(xí)、觀察與發(fā)現(xiàn)學(xué)習(xí)。實(shí)例學(xué)習(xí) , 又叫概念獲取 ,它的任務(wù)是確定概念的一般描述，這個描述應(yīng)能解釋所有給定的正例并排除所有給定的反例。這些正反例由信息源提供。信息源的來源非常廣泛，可以是自然現(xiàn)象， 也可以是實(shí)驗(yàn)結(jié)果。 實(shí)例學(xué)習(xí)是根據(jù)教師給以分類的正反例進(jìn)行學(xué)習(xí)，因此是有教師學(xué)習(xí)。觀察與發(fā)現(xiàn)學(xué)習(xí)又稱描述的泛化。這類學(xué)習(xí)沒有教師的幫助，它要產(chǎn)生解釋所有或大多數(shù)觀察的規(guī)律和規(guī)則。這類學(xué)習(xí)包括概念聚類、構(gòu)造分類、發(fā)現(xiàn)定理、形成理論等。觀察與發(fā)現(xiàn)學(xué)習(xí)是由未經(jīng)分

7、類的觀察學(xué)習(xí)，或由系統(tǒng)自身的功能去發(fā)現(xiàn)，因此是無教師學(xué)習(xí)。因?yàn)闅w納推理是從有限的、不完全的知識狀態(tài)推出完全的知識狀態(tài), 故歸納推理本身就是一種非單調(diào)推理。 但歸納推理本身又無法驗(yàn)證新知識正確與否, 而非單調(diào)邏輯則為我們處理非單調(diào)歸納知識提供理論基礎(chǔ)。歸納原理的基本思想是在大量觀察的基礎(chǔ)上通過假設(shè)形成一個科學(xué)理論。所有觀察都是單稱命題 , 而一個理論往往是領(lǐng)域內(nèi)的全稱命題, 從單稱命題過渡到全稱命題從邏輯上來說沒有必然的蘊(yùn)涵關(guān)系, 對于不能觀察的事實(shí)往往默認(rèn)它們成立。我們把歸納推理得到的歸納斷言作為知識庫中的知識使用, 而且做為默認(rèn)知識使用 ,當(dāng)出現(xiàn)與之矛盾的新命題時, 可以推翻原有的由歸納推理

8、得出的默認(rèn)知識, 以保持系統(tǒng)知識的一致性。單個概念的歸納學(xué)習(xí)的一個通用定義是：(1) 給定由全體實(shí)例組成的一個實(shí)例空間，每個實(shí)例具有某些屬性。(2) 給定一個描述語言，該語言的描述能力包括描述每一個實(shí)例（通過描述改實(shí)例的屬性來實(shí)現(xiàn)）及描述某些實(shí)例集，稱為概念。(3) 每次學(xué)習(xí)時，由實(shí)例空間抽出某些實(shí)例，稱這些實(shí)例構(gòu)成的集合為正例集。再由實(shí)例空間抽出另外一些實(shí)例，稱這些實(shí)例為反例集。(4) 如果能夠在有限步內(nèi)找到一個概念A(yù) ，它完全包含正例集，并且與反例集的交集為空歸納學(xué)習(xí)的一般模式為了較具體地刻畫概念的歸納學(xué)習(xí)，這里給出歸納學(xué)習(xí)的一般模式。給定 : 觀察語句集 ( 事實(shí) )F ：這是有關(guān)某類對

9、象中個別具體對象的知識或某一對象的部分特征的知識。 假定的初始?xì)w納斷言( 可空 ) ：是關(guān)于目標(biāo)的泛化項(xiàng)或泛化描述。 背景知識：背景知識定義了在觀察語句和所產(chǎn)生的候選歸納斷言上的假定和限制，以及任何有關(guān)問題領(lǐng)域知識。有關(guān)問題領(lǐng)域知識包括特化所找歸納斷言的期望性質(zhì)的擇優(yōu)標(biāo)準(zhǔn)。描述符定義域是描述符所能取值的集合。如人的體溫在34 C 44 C之間，則描述符“體溫”只能在這個范圍內(nèi)取值。描述符類型則是根據(jù)描述符定義域元素之間的關(guān)系決定的。根據(jù)描述符定義域的結(jié)構(gòu)，有三種基本類型：(1) 名稱性描述符 。這種描述符的定義域由獨(dú)立的符號或名字組成，即值集中值之間沒有結(jié)構(gòu)關(guān)系。例如水果、人名等。(2) 線性

10、描述符 。該類描述符值集中的元素是一個全序集。例如，資金、溫度、重量、產(chǎn)量等都是線性描述符。表示序數(shù)、區(qū)間、比率和絕對標(biāo)度的變量都是線性描述符的特例。將一個集合映射成一個完全有序集的函數(shù)也是線性描述符。(3) 結(jié)構(gòu)描述符 。其值集是一個樹形的圖結(jié)構(gòu)，反映值之間的生成層次。在這樣的結(jié)構(gòu)中，父節(jié)點(diǎn)表示比子節(jié)點(diǎn)更一般的概念7.3偏置變換。所謂偏置 ，是指概念學(xué)習(xí)中除了正、反例子外，影響假設(shè)選擇的所有因素。 這些因素包括 ：描述假設(shè)的語言。程序考慮假設(shè)的空間。按什么順序假設(shè)的過程。 承認(rèn)定義的準(zhǔn)則， 即研究過程帶有已知假設(shè)可以終止還是應(yīng)該繼續(xù)挑選一個更好的假設(shè)。 采用偏置方法， 學(xué)習(xí)部分選擇不同的假設(shè)

11、， 會導(dǎo)致不同的歸納跳躍。偏置有兩個特點(diǎn)：(1) 強(qiáng)偏置是把概念學(xué)習(xí)集中于相對少量的假設(shè)；反之，弱偏置允許概念學(xué)習(xí)考慮相對大量的假設(shè)。(2) 正確偏置允許概念學(xué)習(xí)選擇目標(biāo)概念，不正確偏置就不能選擇目標(biāo)概念7.4變型空間方法變型空間 (Version Space)方法以整個規(guī)則空間為初始的假設(shè)規(guī)則集合H 。依據(jù)訓(xùn)練例子中的信息，它對集合 H 進(jìn)行泛化或特化處理，逐步縮小集合 $H$。最后使 $H$ 收斂為只含有要求的規(guī)則。由于被搜索的空間 H 逐步縮小， 故稱為變型空間消除候選元素的兩種改進(jìn)算法沖突匹配算法 ：它用于學(xué)習(xí) “參數(shù)化結(jié)構(gòu)表示 ”所表達(dá)的概念。 在上述的修改 S 過程中， 總是對 S

12、 作盡量少的泛化，以便覆蓋新的正例。如果描述形式為謂詞表達(dá)式，則這個過程相當(dāng)于尋找最大的公共子表達(dá)式，這只需要去掉最少的合取條件。最大的合一泛化： 這個算法用于尋找謂詞表達(dá)式的最大的合一泛化。 它類似于沖突匹配算法，但是它使用的表示語言允許在匹配中多對一的參數(shù)聯(lián)系。變形空間方法的兩個缺點(diǎn)(1) 抗干擾能力差。所有數(shù)據(jù)驅(qū)動方法（包括變型空間方法）都難以處理有干擾的訓(xùn)練例子。由于算法得到的概念應(yīng)滿足每個訓(xùn)練例子的要求， 所以一個錯誤例子會造成很大影響。有時錯誤例子使程序得到錯誤概念，有時得不到概念，這時H 成為空集。 Mitchell(1978) 提出的解決方法是保存多個G 和 S集合。例如， S

13、0 符合所有正例， S1 符合除一個正例外其它的正例，S2 等類似。如果G0 超過 S0，則 H0 為空集。這說明沒有任何一個概念符合全部例子于是程序去找 G1 和 S1 ，以便得到H1 。如果 H1 也空，則找H2 。(2)學(xué)習(xí)析取概念。變型空間方法不能發(fā)現(xiàn)析取的概念。有些概念是析取的。例如，PARENT可能是父親，也可能是母親。這表示為PARENT(x)=FATHER(x) PARENT(x)=MOTHER(x),由于 集合 G 和集合 S 的元素都是合取形式，所以上述算法找不到析取概念。7.5 AQ歸納學(xué)習(xí)算法1969 年 , Michalski提出了 AQ 學(xué)習(xí)算法 ,這是一種基于實(shí)例

14、的學(xué)習(xí)方法。AQ 算法生成的選擇假設(shè)的析取,覆蓋全部正例 ,而不覆蓋任何反例。它的基本算法如下:算法 7.3簡單的 AQ 學(xué)習(xí)算法。(1) 集中注意一個實(shí)例 ( 作為種子 );(2) 生成該實(shí)例的一致性泛化式 ( 稱作 star);(3) 根據(jù)偏好標(biāo)準(zhǔn) , 從 star 選擇最優(yōu)的泛化式 ( 假設(shè) ) 。如果需要 , 特化該假設(shè) ;(4) 如果該假設(shè)覆蓋了全部實(shí)例 , 則停止 ; 否則選擇一個未被假設(shè)覆蓋的實(shí)例, 轉(zhuǎn)到(2) 。7.6 CLS學(xué)習(xí)算法CLS 算法的主要思想是從一個空的決策樹出發(fā)，通過添加新的判定結(jié)點(diǎn)來改善原來的決策樹，直至該決策樹能夠正確地將訓(xùn)練實(shí)例分類為止。7.5 ID3算法

15、(1) 選出整個訓(xùn)練實(shí)例集 X 的規(guī)模為 W 的隨機(jī)子集 X1 （W 稱為窗口規(guī)模，子集稱為窗口）(2) 以使得（ 7.29 ）式的值最小為標(biāo)準(zhǔn)，選取每次的測試屬性形成當(dāng)前窗口的決策樹；(3) 順序掃描所有訓(xùn)練實(shí)例，找出當(dāng)前的決策樹的例外，如果沒有例外則訓(xùn)練結(jié)束；(4)組合當(dāng)前窗口的一些訓(xùn)練實(shí)例與某些在(3) 中找到的例外形成新的窗口，轉(zhuǎn)(2) 。為了在步驟 (4) 建立新的窗口 , Quinlan試驗(yàn)了兩種不同的策略：一個策略是保留窗口的所有實(shí)例，并添加從步驟(3) 中獲得的用戶指定數(shù)目的例外，這將大大擴(kuò)充窗口；第二個策略是相當(dāng)于當(dāng)前決策樹的每一個葉結(jié)點(diǎn)保留一個訓(xùn)練實(shí)例，其余實(shí)例則從窗口中刪

16、除，并用例外進(jìn)行替換。實(shí)驗(yàn)證明兩種方法都工作得很好，但是如果概念復(fù)雜到不能發(fā)現(xiàn)固定規(guī)模W 的任意窗口的時候，第二種方法可能不收斂。第八章統(tǒng)計學(xué)習(xí)統(tǒng)計方法是 從事物的外在數(shù)量上的表現(xiàn)去推斷該事物可能的規(guī)律性。統(tǒng)計方法處理過程可以分為三個階段：（ 1）搜集數(shù)據(jù)：采樣、實(shí)驗(yàn)設(shè)計（2）分析數(shù)據(jù)：建模、知識發(fā)現(xiàn)、可視化（ 3）進(jìn)行推理：預(yù)測、分類常見的統(tǒng)計方法有 : 回歸分析（多元回歸、自回歸等）判別分析（貝葉斯判別、費(fèi)歇爾判別、非參數(shù)判別等）聚類分析（系統(tǒng)聚類、動態(tài)聚類等）探索性分析（主元分析法、相關(guān)分析法等）等。VC 維的直觀定義是：對一個指示函數(shù)集，如果存在h 個樣本能夠被函數(shù)集里的函數(shù)按照所有可

17、能的2h 種形式分開， 則稱函數(shù)集能夠把h 個樣本打散。 函數(shù)集的VC維就是它能打散的最大樣本數(shù)目h。支持向量機(jī) 其主要思想是針對兩類分類問題，在高維空間中尋找一個超平面作為兩類的分割，以保證最小的分類錯誤率。SVM 一個重要的優(yōu)點(diǎn)是可以處理線性不可分的情況。第九章解釋學(xué)習(xí)解釋學(xué)習(xí)的定義： 解釋學(xué)習(xí)是一種分析學(xué)習(xí)方法，在領(lǐng)域知識指導(dǎo)下,通過對單個問題求解實(shí)例的分析 ,構(gòu)造出求解過程的因果解釋結(jié)構(gòu),并獲取控制知識, 以便用于指導(dǎo)以后求解類似問題。解釋學(xué)習(xí)的步驟：(1) 通過分析一個求解實(shí)例來產(chǎn)生解釋結(jié)構(gòu);(2) 對該解釋結(jié)構(gòu)進(jìn)行泛化,獲取一般的控制規(guī)則。解釋學(xué)習(xí)的方法：(1).預(yù)制文本法。預(yù)先用

18、自然語言寫好，并插入程序中；(2) 執(zhí)行追蹤法。遍歷目標(biāo)樹，通過總結(jié)與結(jié)論相關(guān)的目標(biāo)，檢索相關(guān)規(guī)則，以說明結(jié)論是如何得到的； (3) 策略解釋法。明確表示控制知識，即用元知識概括地描述，與領(lǐng)域規(guī)則完全分開。從策略的概括表示中產(chǎn)生解釋，能為用戶提供問題求解策略的解釋。解釋泛化學(xué)習(xí)方法的步驟：第一階段是解釋，這個階段的任務(wù)就是利用領(lǐng)域理論中的知識，對訓(xùn)練實(shí)例進(jìn)行解釋，建立解釋樹，或叫證明樹， 證明訓(xùn)練例如何滿足目標(biāo)概念定義。樹的葉結(jié)點(diǎn)滿足可操作性標(biāo)準(zhǔn)。第二階段的工作是泛化， 也就是對第一階段的結(jié)果證明樹進(jìn)行處理，對目標(biāo)概念進(jìn)行回歸，從而得到所期望的概念描述。解釋與泛化交替進(jìn)行的解釋泛化方法問題的邏

19、輯描述 邏輯的表示方法使 EBG的語義更為清楚，為學(xué)習(xí)提供了方便的語言環(huán)境產(chǎn)生解釋結(jié)構(gòu) 從目標(biāo)開始反向推理，分解目標(biāo)。應(yīng)用規(guī)則時，同時將規(guī)則應(yīng)用到變量化的目標(biāo)概念上，這樣就同時生成了解釋結(jié)構(gòu)和泛化的解釋結(jié)構(gòu)生成控制規(guī)則 將泛化的解釋結(jié)構(gòu)的所有葉結(jié)點(diǎn)的合取作為前件， 以定點(diǎn)的目標(biāo)概念為后件，略去解釋結(jié)構(gòu)的中間部件，生成泛化的產(chǎn)生式規(guī)則。第十章強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí) 是指從環(huán)境狀態(tài)到行為映射的學(xué)習(xí)以使系統(tǒng)行為從環(huán)境中獲得的累積獎勵值最大。動態(tài)規(guī)劃 的方法通過從后繼狀態(tài)回溯到前驅(qū)狀態(tài)來計算賦值函數(shù)。動態(tài)規(guī)劃 的方法基于下一個狀態(tài)分布的模型來接連的更新狀態(tài)。強(qiáng)化學(xué)習(xí)四個關(guān)鍵要素，即策略，狀態(tài)值映射V,獎勵函

20、數(shù)r ，和一個環(huán)境的模型第十一章無監(jiān)督學(xué)聚類算法定義： 一般的聚類算法是先選擇若干個模式點(diǎn)作為聚類的中心。每一中心代表一個類別，按照某種相似性度量方法（如最小距離方法）將各模式歸于各聚類中心所代表的類別，形成初始分類。 然后由聚類準(zhǔn)則判斷初始分類是否合理， 如果不合理就修改分類， 如此反復(fù)迭代運(yùn)算， 直到合理為止。與監(jiān)督學(xué)習(xí)不同， 無監(jiān)督法是邊學(xué)習(xí)邊分類，通過學(xué)習(xí)找到相同的類別，然后將該類與其它類區(qū)分開。典型的數(shù)據(jù)聚類基本步驟如下：(1) 對數(shù)據(jù)集進(jìn)行表示和預(yù)處理，包括數(shù)據(jù)清洗、特征選擇或特征抽取；(2) 給定數(shù)據(jù)之間的相似度或相異度及其定義方法；(3) 根據(jù)相似度，對數(shù)據(jù)進(jìn)行劃分，即聚類；(

21、4) 對聚類結(jié)果進(jìn)行評估。群體智能的特點(diǎn)：分布式：能夠適應(yīng)當(dāng)前網(wǎng)絡(luò)環(huán)境下的工作狀態(tài);魯棒性：沒有中心的控制與數(shù)據(jù)，個體的故障不影響整個問題的求解;擴(kuò)充性：個體的增加，系統(tǒng)的通信開銷增加小;簡單性：個體簡單，實(shí)現(xiàn)也比較簡單聚類的基本方法：劃分方法、層次方法、基于密度的方法、基于網(wǎng)格的方法、基于模型的方法第十二章關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則 反映一個事物與其他事物之間的相互依存性和關(guān)聯(lián)性。如果兩個或者多個事物之間存在一定的關(guān)聯(lián)關(guān)系，那么，其中一個事物就能夠通過其他事物預(yù)測到。關(guān)聯(lián)規(guī)則表示了項(xiàng)之間的關(guān)系。一般可以采用四 個參數(shù)來描述一個關(guān)聯(lián)規(guī)則的屬性 ：(1)可信度 (2)支持度 (3) 期望可信度(4) 作用度關(guān)聯(lián)規(guī)則根據(jù)以下兩個標(biāo)準(zhǔn)( 包含或排除 ):最小支持度 表示規(guī)則中的所有項(xiàng)在事務(wù)中出現(xiàn)的頻度最小可信度 -