機(jī)器學(xué)習(xí)與應(yīng)用：機(jī)器學(xué)習(xí)概述、特征工程、機(jī)器學(xué)習(xí)算法課件

1、圖靈測(cè)試（1950）“人工智能之父”艾倫.圖靈馬文李閔斯基（英語(yǔ)：Marvin Lee Minsky，1927年8月9日2016年1月24日），科學(xué)家，專長(zhǎng)于認(rèn)知科學(xué)與人工智能領(lǐng)域，麻省理工學(xué)院人工智能實(shí)驗(yàn)室的創(chuàng)始人之一，著有幾部人工智能和哲學(xué)方面的作品。1969年，因?yàn)樵谌斯ぶ悄茴I(lǐng)域的貢獻(xiàn)，獲得圖靈獎(jiǎng)。人工智能機(jī)器學(xué)習(xí)深度學(xué)習(xí)新聞一“小”一“同”南方都市報(bào)的“小南”，廣州日?qǐng)?bào)的“阿同”機(jī)器人圖片藝術(shù)化 GAN神經(jīng)網(wǎng)絡(luò)：iphoneX課程定位以及學(xué)習(xí)目標(biāo)以算法、案例為驅(qū)動(dòng)的學(xué)習(xí)，淺顯易懂的數(shù)學(xué)知識(shí)掌握算法基本的原理，能夠結(jié)合場(chǎng)景解決實(shí)際問(wèn)題參考書比較晦澀難懂，不建議去直接讀，需要一些基本的數(shù)學(xué)

2、素養(yǎng)企業(yè)現(xiàn)狀分析課程第一天1、機(jī)器學(xué)習(xí)概述2、數(shù)據(jù)來(lái)源與類型3、數(shù)據(jù)的特征工程4、機(jī)器學(xué)習(xí)基礎(chǔ)機(jī)器學(xué)習(xí)概述1、什么是機(jī)器學(xué)習(xí)2、為什么需要機(jī)器學(xué)習(xí)3、機(jī)器學(xué)習(xí)的應(yīng)用場(chǎng)景什么是機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)是從數(shù)據(jù)中自動(dòng)分析獲得規(guī)律（模型），并利用規(guī)律對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)結(jié)果搜狗廣告推薦為什么需要機(jī)器學(xué)習(xí)解放生產(chǎn)力解決專業(yè)問(wèn)題提供社會(huì)便利智能客服不知疲倦進(jìn)行24小時(shí)作業(yè)城市大腦杭州ET醫(yī)療幫助看病機(jī)器學(xué)習(xí)應(yīng)用場(chǎng)景自然語(yǔ)言處理計(jì)算機(jī)視覺無(wú)人駕駛推薦系統(tǒng)數(shù)據(jù)來(lái)源與類型1、數(shù)據(jù)來(lái)源2、數(shù)據(jù)類型3、可用的數(shù)據(jù)集數(shù)據(jù)來(lái)源企業(yè)日益積累的大量數(shù)據(jù)（互聯(lián)網(wǎng)公司更為顯著）政府掌握的各種數(shù)據(jù)科研機(jī)構(gòu)的實(shí)驗(yàn)數(shù)據(jù) .我們來(lái)看看下面兩組

3、數(shù)據(jù)，說(shuō)說(shuō)它們的區(qū)別？特定范圍內(nèi)的汽車數(shù)量、人口數(shù)量、班級(jí)數(shù)特定范圍內(nèi)的票房數(shù)、長(zhǎng)度、重量數(shù)據(jù)類型離散型數(shù)據(jù)：由記錄不同類別個(gè)體的數(shù)目所得到的數(shù)據(jù)，又稱計(jì)數(shù)數(shù)據(jù)，所有這些數(shù)據(jù)全部都是整數(shù)，而且不能再細(xì)分，也不能進(jìn)一步提高他們的精確度。連續(xù)型數(shù)據(jù)：變量可以在某個(gè)范圍內(nèi)取任一數(shù)，即變量的取值可以是連續(xù)的，如，長(zhǎng)度、時(shí)間、質(zhì)量值等，這類整數(shù)通常是非整數(shù)，含有小數(shù)部分。注：只要記住一點(diǎn)，離散型是區(qū)間內(nèi)不可分，連續(xù)型是區(qū)間內(nèi)可分?jǐn)?shù)據(jù)的類型將是機(jī)器學(xué)習(xí)模型不同問(wèn)題不同處理的依據(jù)？將在后面機(jī)器學(xué)習(xí)模型選擇時(shí)講解！數(shù)據(jù)類型的不同應(yīng)用可用數(shù)據(jù)集Kaggle特點(diǎn)：1、大數(shù)據(jù)競(jìng)賽平臺(tái) 2、80萬(wàn)科學(xué)家 3、真實(shí)數(shù)據(jù)

4、 4、數(shù)據(jù)量巨大UCI特點(diǎn)：1、收錄了360個(gè)數(shù)據(jù)集 2、覆蓋科學(xué)、生活、經(jīng)濟(jì)等領(lǐng)域 3、數(shù)據(jù)量幾十萬(wàn)scikit-learn特點(diǎn)：1、數(shù)據(jù)量較小 2、方便學(xué)習(xí)常用數(shù)據(jù)集數(shù)據(jù)的結(jié)構(gòu)組成結(jié)構(gòu)：特征值+目標(biāo)值8093080100951120801030100目標(biāo)值房子面積房子位置房子樓層房子朝向數(shù)據(jù)1數(shù)據(jù)2數(shù)據(jù)3注：有些數(shù)據(jù)集可以沒(méi)有目標(biāo)值如何利用工具自己進(jìn)行對(duì)原始數(shù)據(jù)（非連續(xù)型）的處理？數(shù)據(jù)的特征工程1、特征工程是什么2、特征工程的意義3、scikit-learn庫(kù)介紹4、數(shù)據(jù)的特征抽取5、數(shù)據(jù)的特征處理6、數(shù)據(jù)的特征選擇7、降維特征工程是將原始數(shù)據(jù)轉(zhuǎn)換為更好地代表預(yù)測(cè)模型的潛在問(wèn)題的特征的過(guò)程

5、，從而提高了對(duì)未知數(shù)據(jù)的模型準(zhǔn)確性特征工程是什么特征工程的意義直接影響模型的預(yù)測(cè)結(jié)果Scikit-learn庫(kù)介紹Python語(yǔ)言的機(jī)器學(xué)習(xí)工具Scikit-learn包括許多知名的機(jī)器學(xué)習(xí)算法的實(shí)現(xiàn)Scikit-learn文檔完善，容易上手，豐富的API，使其在學(xué)術(shù)界頗受歡迎。目前穩(wěn)定版本0.18安裝創(chuàng)建一個(gè)基于Python3的虛擬環(huán)境(可以在你自己已有的虛擬環(huán)境中)：mkvirtualenv p /usr/bin/python3.5 ml3在ubuntu的虛擬環(huán)境當(dāng)中運(yùn)行以下命令pip3 install Scikit-learn 然后通過(guò)導(dǎo)入命令查看是否可以使用：import sklear

6、n注：安裝scikit-learn需要Numpy,pandas等庫(kù)數(shù)據(jù)的特征抽取1、特征抽取實(shí)例演示2、sklearn特征抽取API3、字典特征抽取4、文本特征抽取通過(guò)演示得出結(jié)論：特征抽取針對(duì)非連續(xù)型數(shù)據(jù)特征抽取對(duì)文本等進(jìn)行特征值化注：特征值化是為了計(jì)算機(jī)更好的去理解數(shù)據(jù)sklearn特征抽取APIsklearn.feature_extraction字典特征抽取作用：對(duì)字典數(shù)據(jù)進(jìn)行特征值化類：sklearn.feature_extraction.DictVectorizerDictVectorizer語(yǔ)法DictVectorizer(sparse=True,)DictVectorizer.f

7、it_transform(X) X:字典或者包含字典的迭代器返回值：返回sparse矩陣DictVectorizer.inverse_transform(X)X:array數(shù)組或者sparse矩陣返回值:轉(zhuǎn)換之前數(shù)據(jù)格式DictVectorizer.get_feature_names()返回類別名稱DictVectorizer.transform(X)按照原先的標(biāo)準(zhǔn)轉(zhuǎn)換實(shí)例化類DictVectorizer調(diào)用fit_transform方法輸入數(shù)據(jù)并轉(zhuǎn)換 注意返回格式city: 北京,temperature:100city: 上海,temperature:60city: 深圳,temperatu

8、re:30流程one-hot編碼分析文本特征抽取作用：對(duì)文本數(shù)據(jù)進(jìn)行特征值化類：sklearn.feature_extraction.text.CountVectorizerCountVectorizer語(yǔ)法CountVectorizer(max_df=1.0,min_df=1,)返回詞頻矩陣CountVectorizer.fit_transform(X,y) X:文本或者包含文本字符串的可迭代對(duì)象返回值：返回sparse矩陣CountVectorizer.inverse_transform(X)X:array數(shù)組或者sparse矩陣返回值:轉(zhuǎn)換之前數(shù)據(jù)格式CountVectorizer.ge

9、t_feature_names()返回值:單詞列表實(shí)例化類CountVectorizer調(diào)用fit_transform方法輸入數(shù)據(jù)并轉(zhuǎn)換 注意返回格式，利用toarray()進(jìn)行sparse矩陣轉(zhuǎn)換array數(shù)組life is short,i like python,life is too long,i dislike python流程結(jié)果對(duì)比英文結(jié)果中文結(jié)果如何去對(duì)中文文本特征值化需要對(duì)中文進(jìn)行分詞才能詳細(xì)的進(jìn)行特征值化不支持單個(gè)中文字！jieba分詞下載pip3 install jieba使用import jiebajieba.cut(“我是一個(gè)好程序員”)注意返回值:詞語(yǔ)生成器案例：對(duì)三

10、段話進(jìn)行特征值化1、今天很殘酷，明天更殘酷，后天很美好，但絕對(duì)大部分是死在明天晚上，所以每個(gè)人不要放棄今天。2、我們看到的從很遠(yuǎn)星系來(lái)的光是在幾百萬(wàn)年之前發(fā)出的，這樣當(dāng)我們看到宇宙時(shí)，我們是在看它的過(guò)去。3、如果只用一種方式了解某樣事物，你就不會(huì)真正了解它。了解事物真正含義的秘密取決于如何將其與我們所了解的事物相聯(lián)系。案例：對(duì)三段話進(jìn)行特征值化流程準(zhǔn)備句子，利用jieba.cut進(jìn)行分詞實(shí)例化CountVectorizer將分詞結(jié)果變成字符串當(dāng)作fit_transform的輸入值“共享”其它詞語(yǔ)詞語(yǔ)占比“車”文章類型？“經(jīng)濟(jì)”“證券”“銀行”其它詞語(yǔ)類：sklearn.feature_extr

11、action.text.TfidfVectorizerTF-IDFTF-IDF的主要思想是：如果某個(gè)詞或短語(yǔ)在一篇文章中出現(xiàn)的概率高，并且在其他文章中很少出現(xiàn)，則認(rèn)為此詞或者短語(yǔ)具有很好的類別區(qū)分能力，適合用來(lái)分類。TF-IDF作用：用以評(píng)估一字詞對(duì)于一個(gè)文件集或一個(gè)語(yǔ)料庫(kù)中的其中一份文件的重要程度。TfidfVectorizer語(yǔ)法TfidfVectorizer(stop_words=None,)返回詞的權(quán)重矩陣TfidfVectorizer.fit_transform(X,y) X:文本或者包含文本字符串的可迭代對(duì)象返回值：返回sparse矩陣TfidfVectorizer.inverse

12、_transform(X)X:array數(shù)組或者sparse矩陣返回值:轉(zhuǎn)換之前數(shù)據(jù)格式TfidfVectorizer.get_feature_names()返回值:單詞列表為什么需要TfidfVectorizer分類機(jī)器學(xué)習(xí)算法的的重要依據(jù)數(shù)據(jù)的特征處理1、特征處理的方法2、sklearn特征處理API特征處理是什么通過(guò)特定的統(tǒng)計(jì)方法（數(shù)學(xué)方法）將數(shù)據(jù)轉(zhuǎn)換成算法要求的數(shù)據(jù)9021040604154575313461.0.0.0.0.1.1.0.830.50.50.61.284563085491第一組第二組特征1特征2特征3特征4特征1特征2特征3特征4特征1特征2特征3特征4特征1特征2特征

13、3數(shù)值型數(shù)據(jù)：標(biāo)準(zhǔn)縮放：1、歸一化 2、標(biāo)準(zhǔn)化 3、缺失值類別型數(shù)據(jù)：one-hot編碼時(shí)間類型：時(shí)間的切分sklearn特征處理APIsklearn. preprocessing 歸一化特點(diǎn)：通過(guò)對(duì)原始數(shù)據(jù)進(jìn)行變換把數(shù)據(jù)映射到(默認(rèn)為0,1)之間公式：注：作用于每一列，max為一列的最大值，min為一列的最小值,那么X為最終結(jié)果，mx，mi分別為指定區(qū)間值默認(rèn)mx為1,mi為0歸一化公式計(jì)算過(guò)程902104060415457531346特征1特征2特征3特征4特征1特征2特征3特征4注：里面是第一步，還需要第二步乘以(1-0)+0sklearn歸一化API: sklearn.preproce

14、ssing.MinMaxScalersklearn歸一化APIMinMaxScaler語(yǔ)法MinMaxScalar(feature_range=(0,1)每個(gè)特征縮放到給定范圍(默認(rèn)0,1)MinMaxScalar.fit_transform(X) X:numpy array格式的數(shù)據(jù)n_samples,n_features返回值：轉(zhuǎn)換后的形狀相同的array1、實(shí)例化MinMaxScalar2、通過(guò)fit_transform轉(zhuǎn)換歸一化步驟90,2,10,40,60,4,15,45,75,3,13,46歸一化案例：約會(huì)對(duì)象數(shù)據(jù)相親約會(huì)對(duì)象數(shù)據(jù)，這個(gè)樣本時(shí)男士的數(shù)據(jù)，三個(gè)特征，玩游戲所消耗時(shí)間的

15、百分比、每年獲得的飛行?？屠锍虜?shù)、每周消費(fèi)的冰淇淋公升數(shù)。然后有一個(gè) 所屬類別，被女士評(píng)價(jià)的三個(gè)類別，不喜歡didnt、魅力一般small、極具魅力large也許也就是說(shuō)飛行里程數(shù)對(duì)于結(jié)算結(jié)果或者說(shuō)相親結(jié)果影響較大，但是統(tǒng)計(jì)的人覺得這三個(gè)特征同等重要。14488 7.153469 1.673904 smallDoses26052 1.441871 0.805124 didntLike75136 13.147394 0.428964 didntLike38344 1.669788 0.134296 didntLike72993 10.141740 1.032955 didntLike35948

16、6.830792 1.213192 largeDoses42666 13.276369 0.543880 largeDoses67497 8.631577 0.749278 didntLike35483 12.273169 1.508053 largeDoses50242 3.723498 0.831917 didntLike里程數(shù)公升數(shù)消耗時(shí)間比評(píng)價(jià)問(wèn)題：如果數(shù)據(jù)中異常點(diǎn)較多，會(huì)有什么影響？注意在特定場(chǎng)景下最大值最小值是變化的，另外，最大值與最小值非常容易受異常點(diǎn)影響，所以這種方法魯棒性較差，只適合傳統(tǒng)精確小數(shù)據(jù)場(chǎng)景。歸一化總結(jié)標(biāo)準(zhǔn)化1、特點(diǎn)：通過(guò)對(duì)原始數(shù)據(jù)進(jìn)行變換把數(shù)據(jù)變換到均值為0,方差

17、為1范圍內(nèi)2、公式：22.5 3平均值為(1.5+2+2.5+5)/4=2.75平均值為(2.5+4.5+2+3)/4=31.552.54.52對(duì)于歸一化來(lái)說(shuō)：如果出現(xiàn)異常點(diǎn)，影響了最大值和最小值，那么結(jié)果顯然會(huì)發(fā)生改變對(duì)于標(biāo)準(zhǔn)化來(lái)說(shuō)：如果出現(xiàn)異常點(diǎn)，由于具有一定數(shù)據(jù)量，少量的異常點(diǎn)對(duì)于平均值的影響并不大，從而方差改變較小。結(jié)合歸一化來(lái)談標(biāo)準(zhǔn)化sklearn特征化API: scikit-learn.preprocessing.StandardScalersklearn特征化APIStandardScaler語(yǔ)法StandardScaler()處理之后每列來(lái)說(shuō)所有數(shù)據(jù)都聚集在均值0附近方差為1S

18、tandardScaler.fit_transform(X,y) X:numpy array格式的數(shù)據(jù)n_samples,n_features返回值：轉(zhuǎn)換后的形狀相同的arrayStandardScaler.mean_原始數(shù)據(jù)中每列特征的平均值StandardScaler.std_原始數(shù)據(jù)每列特征的方差 1., -1., 3., 2., 4., 2., 4., 6., -1.標(biāo)準(zhǔn)化步驟1、實(shí)例化StandardScaler2、通過(guò)fit_transform轉(zhuǎn)換在已有樣本足夠多的情況下比較穩(wěn)定，適合現(xiàn)代嘈雜大數(shù)據(jù)場(chǎng)景。標(biāo)準(zhǔn)化總結(jié)如何處理數(shù)據(jù)中的缺失值？缺失值缺失值處理方法刪除如果每列或者行數(shù)據(jù)缺

19、失值達(dá)到一定的比例，建議放棄整行或者整列插補(bǔ)可以通過(guò)缺失值每行或者每列的平均值、中位數(shù)來(lái)填充1、2、sklearn缺失值A(chǔ)PI: sklearn.preprocessing.ImputerImputer語(yǔ)法Imputer(missing_values=NaN,strategy=mean,axis=0)完成缺失值插補(bǔ)Imputer.fit_transform(X,y) X:numpy array格式的數(shù)據(jù)n_samples,n_features返回值：轉(zhuǎn)換后的形狀相同的array1, 2, np.nan, 3, 7, 6Imputer流程1、初始化Imputer,指定”缺失值”，指定填補(bǔ)策略，指

20、定行或列2、調(diào)用fit_transform注：缺失值也可以是別的指定要替換的值關(guān)于np.nan(np.NaN)1、 numpy的數(shù)組中可以使用np.nan/np.NaN來(lái)代替缺失值，屬于float類型2、如果是文件中的一些缺失值，可以替換成nan，通過(guò)np.array轉(zhuǎn)化成float 型的數(shù)組即可特征選擇1、特征選擇是什么2、sklearn特征選擇API3、其它特征選擇方法特征選擇原因冗余：部分特征的相關(guān)度高，容易消耗計(jì)算性能噪聲：部分特征對(duì)預(yù)測(cè)結(jié)果有負(fù)影響特征？1、羽毛顏色2、眼睛寬度3、是否有爪子4、爪子長(zhǎng)度特征選擇就是單純地從提取到的所有特征中選擇部分特征作為訓(xùn)練集特征，特征在選擇前和選

21、擇后可以改變值、也不改變值，但是選擇后的特征維數(shù)肯定比選擇前小，畢竟我們只選擇了其中的一部分特征。特征選擇是什么主要方法（三大武器）：Filter(過(guò)濾式):VarianceThreshold Embedded(嵌入式)：正則化、決策樹 Wrapper(包裹式)sklearn特征選擇APIsklearn.feature_selection.VarianceThresholdVarianceThreshold語(yǔ)法VarianceThreshold(threshold = 0.0)刪除所有低方差特征Variance.fit_transform(X,y) X:numpy array格式的數(shù)據(jù)n_sa

22、mples,n_features返回值：訓(xùn)練集差異低于threshold的特征將被刪除。默認(rèn)值是保留所有非零方差特征，即刪除所有樣本中具有相同值的特征。0, 2, 0, 3, 0, 1, 4, 3, 0, 1, 1, 3VarianceThreshold流程(代碼演示)1、初始化VarianceThreshold,指定閥值方差2、調(diào)用fit_transform其他特征選擇方法神經(jīng)網(wǎng)絡(luò)后面具體介紹sklearn降維APIsklearn. decomposition 如何最好的對(duì)一個(gè)立體的物體二維表示PCA(主成分分析)PCA是什么本質(zhì)：PCA是一種分析、簡(jiǎn)化數(shù)據(jù)集的技術(shù)目的：是數(shù)據(jù)維數(shù)壓縮，盡可

23、能降低原數(shù)據(jù)的維數(shù)（復(fù)雜度），損失少量信息。作用：可以削減回歸分析或者聚類分析中特征的數(shù)量高維度數(shù)據(jù)容易出現(xiàn)的問(wèn)題特征之間通常是線性相關(guān)的數(shù)據(jù)：(-1,-2)(-1, 0)( 0, 0)( 2, 1)( 0, 1)要求：將這個(gè)二維的數(shù)據(jù)簡(jiǎn)化成一維？通過(guò)公式計(jì)算(只做了解)矩陣運(yùn)算得出P為PCA語(yǔ)法PCA(n_components=None)將數(shù)據(jù)分解為較低維數(shù)空間PCA.fit_transform(X) X:numpy array格式的數(shù)據(jù)n_samples,n_features返回值：轉(zhuǎn)換后指定維度的array2,8,4,5,6,3,0,8,5,4,9,1PCA流程(代碼演示)1、初始化PC

24、A,指定減少后的維度2、調(diào)用fit_transform探究：用戶對(duì)物品類別的喜好細(xì)分降維數(shù)據(jù)：products.csv 商品信息order_products_prior.csv 訂單與商品信息orders.csv 用戶的訂單信息 aisles.csv 商品所屬具體物品類別其它降維方法線性判別分析LDA特征選擇與降維的比較？機(jī)器學(xué)習(xí)基礎(chǔ)1、機(jī)器學(xué)習(xí)開發(fā)流程2、機(jī)器學(xué)習(xí)模型是什么3、機(jī)器學(xué)習(xí)算法分類（1）算法是核心，數(shù)據(jù)和計(jì)算是基礎(chǔ)需明確幾點(diǎn)問(wèn)題：（2）找準(zhǔn)定位大部分復(fù)雜模型的算法設(shè)計(jì)都是算法工程師在做，而我們分析很多的數(shù)據(jù)分析具體的業(yè)務(wù)應(yīng)用常見的算法特征工程、調(diào)參數(shù)、優(yōu)化我們應(yīng)該怎么做學(xué)會(huì)分析問(wèn)題，使用機(jī)器學(xué)習(xí)算法的目的，想要算法完成何種任務(wù)掌握算法基本思想，學(xué)會(huì)對(duì)問(wèn)題用相應(yīng)的算法解決學(xué)會(huì)利用庫(kù)或者框架解決問(wèn)題機(jī)器學(xué)習(xí)開發(fā)流程機(jī)器學(xué)習(xí)模型是什么定義：通過(guò)一種映射關(guān)系將輸入值到輸出值模型學(xué)習(xí)特征值、目