《大數(shù)據(jù)挖掘與統(tǒng)計(jì)機(jī)器學(xué)習(xí)（第3版）》 課件第1、2章 概述、線性回歸方法

1第1章概述1.1

名詞演化數(shù)據(jù)挖掘（DataMining）知識(shí)發(fā)現(xiàn)（KnowledgeDiscoveryinDatabase）模式識(shí)別（PatternRecognition）人工智能（ArtificialIntelligence）機(jī)器學(xué)習(xí)（MachineLearning）統(tǒng)計(jì)學(xué)習(xí)（StatisticalLearning）大數(shù)據(jù)（BigData）數(shù)據(jù)科學(xué)（DataScience）21.2基本內(nèi)容統(tǒng)計(jì)學(xué)是一門科學(xué)，應(yīng)該是以分析數(shù)據(jù)、解決問題為導(dǎo)向，不斷的提出新方法，并探討其理論性質(zhì)。前計(jì)算機(jī)時(shí)代：數(shù)學(xué)為主計(jì)算機(jī)時(shí)代：與計(jì)算相結(jié)合大數(shù)據(jù)時(shí)代：注重計(jì)算，解決實(shí)際問題3四本重要的參考書:（1）Hastie,T.,Tibshirani,R.andFriedman,J.(2008),TheElementsofStatisticalLearning(secondedition),Springer（2）James,G.,Witten,D.andTibshirani,R.(2013),AnIntroductiontoStatisticalLearningwithApplicationsinR,Springer（3）Hastie,T.,Tibshirani,R.andMartinWainwright(2015),StatisticalLearningwithSparsity,CRCPress（4）Efron,B.andHastie,T.(2016),ComputerAgeStatisticalInference:Algorithms,Evidence,andDataScience,CambridgeUniversityPress41.3數(shù)據(jù)智慧郁彬（2016），數(shù)據(jù)科學(xué)中的數(shù)據(jù)智慧，《中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊》（中譯稿）將統(tǒng)計(jì)學(xué)核心部分重新定義為“數(shù)據(jù)智慧”非常必要，因?yàn)樗取皯?yīng)用統(tǒng)計(jì)學(xué)”這個(gè)術(shù)語(yǔ)起到更好的概括作用?！皵?shù)據(jù)智慧”是將領(lǐng)域知識(shí)、數(shù)學(xué)和方法論與經(jīng)驗(yàn)、理解、常識(shí)、洞察力以及良好的判斷力相結(jié)合，思辨性地理解數(shù)據(jù)并依據(jù)數(shù)據(jù)做決策的一種能力。十個(gè)基本問題（1）要回答的問題（2）數(shù)據(jù)收集（3）數(shù)據(jù)的含義（4）相關(guān)性（5）問題的轉(zhuǎn)化（6）可比性：數(shù)據(jù)變換（7）可視化（8）隨機(jī)性：數(shù)據(jù)的代表性、結(jié)果的不確定性（9）穩(wěn)定性：結(jié)果的可解釋性、可重復(fù)性（10）結(jié)果驗(yàn)證5第2章線性回歸方法

7

8

92.1.3Lasso回歸Lasso回歸和嶺回歸類似是另一種壓縮估計(jì)。與嶺回歸的不同：它在參數(shù)估計(jì)的同時(shí)既可以對(duì)估計(jì)值進(jìn)行壓縮,又可以讓一些不重要的變量的估計(jì)值恰好為零,從而起到自動(dòng)進(jìn)行變量選擇的功能。Lasso回歸等價(jià)于在最小二乘估計(jì)的基礎(chǔ)上對(duì)估計(jì)值的大小增加一個(gè)不同于嶺回歸的約束(懲罰):例2.3(糖尿病數(shù)據(jù)案例續(xù))10

11

12

1314

15

16

17

18

19

20

2122

23242.3.2最小一乘回歸與分位回歸例2.5(恩格爾數(shù)據(jù)案例)252.3.3其他罰函數(shù)Grouped

Lasso彈性網(wǎng)懲罰26

272.4.2評(píng)價(jià)準(zhǔn)則混淆矩陣、準(zhǔn)確率、召回率。28

29

30