【學(xué)習(xí)課件】第一講分類與回歸問題

1、第一講 分類與回歸問題 第一部分 分類問題第二部分 回歸問題編輯課件第一部分 分類問題分類問題的描述分類問題的類型分類問題的求解方法 編輯課件分類問題的描述圖1線性可分的兩類問題編輯課件分類問題的描述圖2線性不可分的兩類問題編輯課件分類問題的描述 圖3 三類問題（1）編輯課件分類問題的描述 圖4 三類問題（2）編輯課件分類問題的描述分類問題：根據(jù)給定的訓(xùn)練集，其中要求尋找 上的決策函數(shù) 以便能用決策函數(shù) “較好地”推斷任一模式相對(duì)應(yīng)的 值。編輯課件從數(shù)學(xué)的角度看分類問題已知：（1）函數(shù)的值域?yàn)橛邢迋€(gè)離散點(diǎn)（2）函數(shù)在某些點(diǎn)上的函數(shù)值。求解：尋找一個(gè)函數(shù)能較好地預(yù)測(cè)其他點(diǎn)上的函數(shù)值編輯課件注記如

2、何選擇可選的函數(shù)類？ 豐富與簡(jiǎn)單之間的權(quán)衡如何定義“較好地”？ 經(jīng)驗(yàn)風(fēng)險(xiǎn)與置信風(fēng)險(xiǎn)的折中 是連續(xù)函數(shù)嗎？定義域 如果不是 空間呢？比如 ；值域 取不同的值會(huì)否影響解？比如 的連續(xù)化方法（值得研究） 比如首先求一個(gè)從 到 的連續(xù)函數(shù) ,然后再對(duì)其離散化，得到不連續(xù)的分類函數(shù)：編輯課件分類問題的類型從類的多少角度：一類，二類，多類，可列無窮類;其中一類、二類是最基本的問題，因?yàn)槠渌梢酝ㄟ^它們來處理。從類的線性可分角度：線性可分，線性不可分。從類之間序關(guān)系的角度：有序分類，無序分類。 編輯課件分類問題的求解方法 尋找每個(gè)類固有的特征：更適合于一類、多類問題。如大部分的圖像識(shí)別技術(shù)。尋找類之間的差異

3、：更適合于兩類問題。如支持向量機(jī)技術(shù)。一點(diǎn)想法：從類的分布角度出發(fā)，可以考慮從概率密度函數(shù)來選擇分類函數(shù)，也可以考慮從勢(shì)函數(shù)和混沌吸引子來選擇分類函數(shù)。編輯課件第二部分 回歸問題回歸問題的描述 回歸問題的類型回歸問題的求解方法 編輯課件回歸問題的描述 圖5 線性回歸問題編輯課件回歸問題的描述圖6 非線性回歸問題編輯課件回歸問題的描述回歸問題：根據(jù)給定的訓(xùn)練集，其中要求尋找 上的決策函數(shù) 以便能用決策函數(shù) “較好地”推斷任一模式相對(duì)應(yīng)的 值。編輯課件從數(shù)學(xué)的角度看分類問題已知： （1）函數(shù)的值域?yàn)檎麄€(gè)實(shí)數(shù)域； （2）函數(shù)在某些點(diǎn)上的函數(shù)值。求解： 尋找一個(gè)函數(shù)能較好地預(yù)測(cè)其他點(diǎn)上的函數(shù)值。編輯課件回歸問題與分類問題的關(guān)系 分類： 回歸：因此回歸可以看成是分類問題的推廣，可以看成是類別數(shù)為不可數(shù)時(shí)的分類問題。但我們不能以此簡(jiǎn)單地認(rèn)為回歸問題比分類問題難，事實(shí)上由于回歸問題的值域?yàn)檎麄€(gè)實(shí)數(shù)域，常常更好處理。編輯課件注記如何選擇可選的函數(shù)類？ 豐富與簡(jiǎn)單之間的權(quán)衡如何定義“較好地”？ 經(jīng)驗(yàn)風(fēng)險(xiǎn)與置信風(fēng)險(xiǎn)的折中定義域 如果不是 空間 呢？比如 的連續(xù)化方法（值得研究）編輯課件回歸問題的類型線性回歸問題非線性回歸問題編輯課件回歸問題的求解方法 插值方法曲線擬合方法最小二乘法： 偏差平方和最小 最小帶：偏差最大最?。梢宰?yōu)閮?類問題求解）編輯課件插值與擬合圖6插值: