機(jī)器學(xué)習(xí)與空間統(tǒng)計學(xué)課程

1、機(jī)器學(xué)習(xí)與空間統(tǒng)計學(xué)課程日程安排地點：清華大學(xué)偉清樓610 時間：2011.5.23-5.27 (機(jī)器學(xué)習(xí)) 2011.5.30-6.3 (空間統(tǒng)計)主辦方：地球系統(tǒng)數(shù)值模擬教育部重點實驗室 清華大學(xué)地球系統(tǒng)科學(xué)研究中心課程概述此課程內(nèi)容涵蓋機(jī)器學(xué)習(xí)和空間統(tǒng)計學(xué)，主要目的在于讓學(xué)員深入理解常用機(jī)器學(xué)習(xí)方法以及對應(yīng)用前景廣闊的空間統(tǒng)計學(xué)有初步了解并且能夠付諸實際應(yīng)用。課程的要點在于算法及其實踐；此外也會涉及一些必要的理論知識以便學(xué)員能夠更加深入地理解算法，這也將會對學(xué)員日后設(shè)計新的算法有較大的幫助。由于機(jī)器學(xué)習(xí)內(nèi)容廣泛近年來發(fā)展迅速以及考慮到遙感領(lǐng)域的實際需要，同時為了保證課程學(xué)習(xí)效果，我們將重

2、點討論機(jī)器學(xué)習(xí)中的分類方法, 相信學(xué)員們會觸類旁通舉一反三。課程包括講課，閱讀任務(wù)，以及課程項目。我們鼓勵學(xué)員自帶課題作為課程項目。課程項目的中心目的在于為學(xué)員提供消化課程內(nèi)容以及實踐和科研的機(jī)會。課程安排為機(jī)器學(xué)習(xí)一個星期，空間統(tǒng)計學(xué)三天，最后兩天為課程項目演示以及診斷。我們衷心希望每一個學(xué)員都有最大的收獲。課程概述面向全國高等院校和科研機(jī)構(gòu)的相關(guān)專業(yè)，招收在讀學(xué)生或科研人員。參考書目及文獻(xiàn)1. T. Hastie, R. Tibshirani and J. Friedman (2001). The Elements of Statistical Learning: Data Mining,

3、 Inference, and Prediction.2. V. N. Vapnik (1998). Statistical Learning Theory.3. S. Boyd and L. Vandenberghe (2004). Convex Optimization.4. M. S. Bartlett (1975). The Statistical Analysis of Spatial Pattern.5. B. D. Ripley (2004). Spatial Statistics.6. N. Cressie (1993). Statistics for spatial data

4、.7. 課程大綱中提及的文獻(xiàn).機(jī)器學(xué)習(xí)日程安排第一天 ： 2011.5.23 （周一）7:00-9:00學(xué)員注冊：清華大學(xué)偉清樓610室9:00-10:301. 機(jī)器學(xué)習(xí)簡介1.1. 什么是機(jī)器學(xué)習(xí) (分類，聚類，排名等)1.2. 分類問題1.2.1. 定義1.2.2. 性能衡量1.2.3. 貝葉斯決策1.2.4. 參數(shù)選取 (交叉驗證)1.3. 機(jī)器學(xué)習(xí)理論 (算法收斂性，函數(shù)空間復(fù)雜度與調(diào)控，算法一致性)1.4. 主要數(shù)學(xué)與計算工具1.4.1. 概率統(tǒng)計 (依概率收斂，大數(shù)定律，損失函數(shù)，一致性)1.4.2. 矩陣?yán)碚?(特征值，譜分析，各種范數(shù))1.4.3. 優(yōu)化算法 (凸優(yōu)化，牛頓法，

5、各種梯度下降算法)1.5. 遙感中的灰度協(xié)頻率矩陣 (后續(xù)講座會多次用到)10:45-12:002. 機(jī)器學(xué)習(xí)舊石器時代2.1. 費歇爾線性區(qū)分算法2.2. K-近鄰法 (KNN)2.3. 對數(shù)變換回歸法13:30-14:452.4. 神經(jīng)網(wǎng)絡(luò)2.4.1. 定義2.4.2. 后向反饋算法以及特性2.4.3. 手寫體識別實例 (Le Cann et al 1998)15:00-17:00實習(xí)第二天 ：2011.5.24 （周二）9:00-10:303. 支持向量機(jī) (SVM)3.1. 問題數(shù)學(xué)化和算法3.1.1. 最大類間距 (軟類間距， Cortes and Vapnik 1995)3.1.3

6、. 兩階優(yōu)化算法 (對偶問題，KKT條件)3.2. SVM理論3.2.1. 表示定理3.2.2. 一致性理論3.2.3. 吉洪諾夫調(diào)控3.2.4. 關(guān)于替代損失函數(shù)的一個結(jié)論10:45-12:003.3. 核函數(shù)3.3.1. 例子3.3.1.1. 線性點積核 3.3.1.2. 高斯核3.3.1.3. 字符串核3.3.2. 核函數(shù)的復(fù)合3.3.3. 摩斯定理3.3.4. 可再生希爾伯特空間3.4. 應(yīng)用舉例3.3.1. 美國標(biāo)準(zhǔn)局手寫體數(shù)字識別3.3.2. 遙感圖像分類13:30-14:453.5. 計算問題3.4.1. 逐次最小優(yōu)化算法 (Platt 1998)3.4.2. SVM-Light

7、 軟件包 (Joachins 1999)3.4.3. Libsvm 軟件包 (Chang and Lin 2001)3.6. 各種SVM變體 (-學(xué)習(xí)法，-SVM等)15:00-17:00實習(xí)第三天 ：2011.5.25（周三）9:00-10:304. 提升學(xué)習(xí)機(jī) (Boosting)4.1. 產(chǎn)生背景4.2. AdaBoost算法 (Freund and Schapire 1995)4.2.1. 算法描述與特性4.2.2. 非隨機(jī)版本 (Breiman 1997)10:45-12:00 4.3. 關(guān)于提升學(xué)習(xí)機(jī)的一些現(xiàn)代觀點4.3.1. 指數(shù)損失函數(shù)最小化 (Breiman 1997)4.3

8、.2. 自適應(yīng)對數(shù)變換回歸 (Friedman et al 1998)4.3.3. 函數(shù)空間梯度下降優(yōu)化13:30-14:454.4. 關(guān)于提升學(xué)習(xí)機(jī)的一些理論4.4.1. 類間距理論 (Schapire, Freund, Bartlett and Lee 1997)4.4.2. 各種調(diào)控法及其一致性4.5. 應(yīng)用舉例4.5.1. 人臉識別 (Viola and Jones 2001)4.5.2. 遙感圖像分類15:00-17:00實習(xí)第四天 ：2011.5.26 （周四）9:00-10:305. 隨機(jī)森林算法 (RF)5.1. 基于決策樹的分類器5.2. 再抽樣聚合器 (Bagging， B

9、reiman 1996)5.3. RF 算法 (Breiman 1999)10:45-12:005.4. 隨機(jī)森林算法變體5.4.1. 隨機(jī)子空間算法 (Ho 1998)5.4.2. 完美隨機(jī)森林算法 (Cutler and Zhao 2001)5.4.3. 純隨機(jī)森林算法 (Biau, Devroye and Lugosi 2008)5.5. 隨機(jī)森林理論5.5.1. 分層近鄰點集 (Lin et al 2005)5.5.2. 一致性 (Biau et al 2008)13:30-14:455.6. 實踐考慮5.6.1. R 語言軟件包 5.6.2. 參數(shù)調(diào)節(jié)5.6.3. 學(xué)員實踐經(jīng)驗分享1

10、5:00-17:00實習(xí)第五天：2011.5.27 （周五）9:00-10:306. 突破現(xiàn)有算法6.1. 數(shù)據(jù)分布結(jié)構(gòu)特性的使用 (算法設(shè)計或函數(shù)類調(diào)控)6.1.1. 稀疏性6.1.1.1. Lasso (Tibshirani 1996)6.1.1.2. 聚合Lasso (Tibshirani et al 2005)6.1.2. 不變性6.1.2.1. 切向距離 (Simard, Le Cann et al 1998)6.1.3. 光滑性6.1.3.1. 光滑樣條6.1.3.2. 近鄰圖拉普拉斯6.1.4. 連續(xù)性6.1.4.1. 快速譜聚類 (Yan, Huang and Jordan 2

11、009)10:45-12:006.2. 應(yīng)用領(lǐng)域知識的使用6.2.1. 數(shù)據(jù)分布特性的一個推廣6.2.2. 腫瘤圖片分析中的圖像塊輔助特征選取 (Yan et al 2011)6.3. 模擬人類學(xué)習(xí)機(jī)制構(gòu)造機(jī)器算法6.3.1. 提升學(xué)習(xí)機(jī)6.3.2. 協(xié)同訓(xùn)練13:30-14:456.4. 已有算法推廣與優(yōu)化6.4.1. 從Ridge回歸到 Lasso 回歸等6.4.2. 從SVM到 -SVM, -學(xué)習(xí)法6.4.3. 用胡伯損失函數(shù)替代已有損失函數(shù)15:00-17:00實習(xí)空間統(tǒng)計學(xué)日程安排第一天：2011.5.30 （周一）9:00-10:301. 空間統(tǒng)計學(xué)簡介1.1. 空間統(tǒng)計學(xué)定義 (

12、關(guān)于空間上隨機(jī)過程的統(tǒng)計理論，方法與應(yīng)用)1.1.1. 地理統(tǒng)計學(xué) (連續(xù)空間上的連續(xù)過程)1.1.1.1. 應(yīng)用 (采礦，空氣質(zhì)量評估，水文調(diào)查等)1.1.2. 空間點過程 (連續(xù)空間上的點過程)1.1.2.1. 應(yīng)用 (植被位置分布，傳染病例分布等)1.1.3. 格點數(shù)據(jù)分析 (格點上的隨機(jī)過程)1.1.3.1. 應(yīng)用 (農(nóng)業(yè)試驗，遙感圖像分析等)1.2. 數(shù)學(xué)與計算工具1.2.1. 隨機(jī)過程，自相關(guān)分析與譜理論1.2.2. 高斯過程，泊松過程，考克斯過程與點過程1.2.3. 馬爾可夫隨機(jī)場, 蒙特卡羅1.2.4. 曲線平滑與擬合10:45-12:002. 空間點過程2.1. 點過程統(tǒng)計模

13、型2.1.1. 二維泊松過程 (個體隨機(jī))2.1.1.1. 泊松聚類模型2.1.1.2. 雙隨機(jī)泊松過程 (強(qiáng)度參數(shù)為連續(xù)平穩(wěn)過程)2.1.1.3. 特征函數(shù)與譜理論 (Bartlett 1964)2.1.2. 吸引或排斥模型 (個體非隨機(jī))2.1.2.1. 應(yīng)用例子 (粒子場， 電線上鳥類的棲息點)2.1.2.2. 模型以模擬為主 (不易數(shù)學(xué)化)2.1.2.2.1. 硬核模型 (Hard-core, Matern 1960)2.1.3. 點過程分析方法2.1.3.1. 基于空間單元上的計數(shù) (Quadrat)2.1.3.2. 基于點之間的距離13:30-14:452.2. 空間隨機(jī)性與聚類測

14、試2.2.1. 應(yīng)用例子 (白血病與核輻射, 癌癥與污染, 傳染病源分析)2.2.2. Quadrat測試2.2.3. Mantel 矩陣隨機(jī)測試2.2.4. 各種基于近鄰點距離的測試2.3. 空間依賴性測試2.3.1. K函數(shù)2.4. 參數(shù)估計 (各種模型的強(qiáng)度參數(shù))2.4.1. 泊松過程2.4.2. 雙隨機(jī)過程 (考克斯過程)15:00-17:00實習(xí)第二天：2011.5.31 （周二）9:00-10:303. 地理統(tǒng)計學(xué)3.1. 地理統(tǒng)計學(xué)簡介3.2. Variogram 3.2.1. 定義3.2.2. 邊際效應(yīng) (Sill, Nugget)3.2.3. 各種模型 (線性，高斯，指數(shù)等)

15、3.2.4. Variogram 以及模型參數(shù)的估計10:45-12:003.3. Kriging 數(shù)據(jù)擬合與預(yù)測3.3.1. 定義及模型3.3.2. 線性Kriging3.3.2.1. 常規(guī) Kriging3.3.2.2. Universal Kriging3.3.2.3. Cokriging13:30-14:453.3.3. 非線性Kriging3.3.3.1. 基于標(biāo)識的Kriging3.3.3.2. 對數(shù)高斯 Kriging3.3.3.3. 泛高斯Kriging3.3.4. 類別數(shù)據(jù) Kriging3.4. Ribeiro 和 Diggle 的地理統(tǒng)計學(xué)軟件包15:00-17:00實習(xí)第三天：2011.6.1 （周三）9:00-10:304. 格點數(shù)據(jù)分析4.1. 格點數(shù)據(jù)模型4.1.1. 條件概率模型 4.1.1.1. Hammersley-Clifford 定理4.1.1.2. 指數(shù)族模型 (Besag 1974)4.1.2. 聯(lián)合概率模型4.1.3. 馬爾可夫隨機(jī)場10:45-12:004.2. 參數(shù)估計4.2.1. 最大似然估計4.2.2. 偽似然估計 (Besag 1