數(shù)據(jù)標(biāo)準(zhǔn)應(yīng)用實(shí)例

數(shù)據(jù)標(biāo)準(zhǔn)主講：孫靜化歸一化描述：將數(shù)據(jù)映射到指定的范圍，如：把數(shù)據(jù)映射到0～1或-1~1的范圍之內(nèi)處理。作用：數(shù)據(jù)映射到指定的范圍內(nèi)進(jìn)行處理，更加便捷快速。把有量綱表達(dá)式變成無量綱表達(dá)式，便于不同單位或量級(jí)的指標(biāo)能夠進(jìn)行比較和加權(quán)。經(jīng)過歸一化后，將有量綱的數(shù)據(jù)集變成純量，還可以達(dá)到簡(jiǎn)化計(jì)算的作用。常見做法：min-max歸一化歸一化min-max歸一化python實(shí)現(xiàn)：--（1） 導(dǎo)入數(shù)據(jù)并刪除我們不要的列：importnumpyasnpimportpandasaspddf=pd.read_excel('C://Users/Administrator/Desktop/data_py.xlsx',sheet_name='廣州',encoding='utf-8')df.drop(columns="時(shí)間",axis=1,inplace=True)df.set_index([[2010,2011,2012,2013,2014,2015,2016,2017,2018]],inplace=True)df.drop(columns=['第二產(chǎn)業(yè)產(chǎn)值占比','第三產(chǎn)業(yè)產(chǎn)值占比','一般工業(yè)固體廢物綜合利用率'],axis=1,inplace=True)歸一化min-max歸一化python實(shí)現(xiàn)：（2） 查看數(shù)據(jù)：數(shù)據(jù)不同列的數(shù)據(jù)量級(jí)差別較大。如果這個(gè)時(shí)候我們想要利用這個(gè)數(shù)據(jù)表來衡量廣州市的發(fā)展情況時(shí)，地區(qū)生產(chǎn)總值、公共財(cái)政收入、人均生產(chǎn)總值這三項(xiàng)特征就會(huì)起到主導(dǎo)作用從而遮蓋住其他的特征，這樣的模型效果是很差的，因此我們可以通過歸一化來解決這個(gè)問題。歸一化min-max歸一化python實(shí)現(xiàn)：（3） Min-Max歸一化：foriinlist(df.columns):#獲取各個(gè)指標(biāo)的最大值和最小值Max=np.max(df[i])Min=np.min(df[i])df[i]=(df[i]-Min)/(Max-Min)歸一化min-max歸一化python實(shí)現(xiàn)：（4） 查看歸一化結(jié)果：標(biāo)準(zhǔn)化數(shù)據(jù)標(biāo)準(zhǔn)化方法有多種，如：直線型方法(如極值法、標(biāo)準(zhǔn)差法)、折線型方法(如三折線法)、曲線型方法(如半正態(tài)性分布)。不同的標(biāo)準(zhǔn)化方法，對(duì)系統(tǒng)的評(píng)價(jià)結(jié)果會(huì)產(chǎn)生不同的影響。其中，最常用的是Z-Score標(biāo)準(zhǔn)化。Z-Score標(biāo)準(zhǔn)化：--將原數(shù)據(jù)轉(zhuǎn)換為符合均值為0，標(biāo)準(zhǔn)差為1的標(biāo)準(zhǔn)正態(tài)分布

的新數(shù)據(jù)。

為數(shù)據(jù)均值（mean），為標(biāo)準(zhǔn)差（std）標(biāo)準(zhǔn)化-作用1、提升模型的收斂速度（加快梯度下降的求解速度）2、提升模型的精度（消除量級(jí)和量綱的影響）3、簡(jiǎn)化計(jì)算（與歸一化的簡(jiǎn)化原理相同）標(biāo)準(zhǔn)化-python-實(shí)現(xiàn)fromsklearnimportpreprocessingdf=pd.read_excel('C://Users/Administrator/Desktop/data_py.xlsx',sheet_name='廣州',encoding='utf-8')df.drop(columns="時(shí)間",axis=1,inplace=True)df.set_index([[2010,2011,2012,2013,2014,2015,2016,2017,2018]],inplace=True)df.drop(columns=['第二產(chǎn)業(yè)產(chǎn)值占比','第三產(chǎn)業(yè)產(chǎn)值占比','一般工業(yè)固體廢物綜合利用率'],axis=1,inplace=True)Z-Score標(biāo)準(zhǔn)化，最簡(jiǎn)便、也是L推薦的方法是用：sklearn庫(kù)里的StandardScaler()。標(biāo)準(zhǔn)化-python實(shí)例化實(shí)例化：zscore=preprocessing.StandardScaler()#zscore標(biāo)準(zhǔn)化zscore=zscore.fit_transform(df)查看標(biāo)準(zhǔn)化后的數(shù)據(jù)：df_zscore=pd.DataFrame(zscore,index=df.index,columns=df.columns)df_zscore標(biāo)準(zhǔn)化-小結(jié)歸一化/標(biāo)準(zhǔn)化實(shí)質(zhì)是一種線性變換，線性變換有很多良好的性質(zhì)，這些性質(zhì)決定了對(duì)數(shù)據(jù)改變后不會(huì)造成“失效”，反而能提高數(shù)據(jù)的表現(xiàn)，這些性質(zhì)是歸一化/標(biāo)準(zhǔn)化的前提。比如有一個(gè)很重要的性質(zhì)：線性變換不會(huì)改變?cè)紨?shù)據(jù)的數(shù)值排序。用Min-Max還是用Z-Score？1、數(shù)據(jù)的分布本身就服從正態(tài)分布，使用Z-Score。2、有離群值的情況：使用Z-Score。注：這里不是說有離群值時(shí)使用Z-Score不受影響，而是，Min-Max對(duì)于離群值十分敏感，因?yàn)殡x群值的出現(xiàn)，會(huì)影響數(shù)據(jù)中max或min值，從而使Min-Max的效果很差。相比之下，雖然使用Z-Score計(jì)算方差和均值的時(shí)候仍然會(huì)受到離群值的影響，但是相比于Min-Max法，影響會(huì)小一點(diǎn)。標(biāo)準(zhǔn)化中的robustRobust：計(jì)算機(jī)科學(xué)中，健壯性（英語：Robustness）是指一個(gè)計(jì)算機(jī)系統(tǒng)在執(zhí)行過程中處理錯(cuò)誤，以及算法在遭遇輸入、運(yùn)算等異常時(shí)繼續(xù)正常運(yùn)行的能力。諸如模糊測(cè)試之類的形式化方法中，必須通過制造錯(cuò)誤的或不可預(yù)期的輸入來驗(yàn)證程序的健壯性。三個(gè)層面概念：一是模型具有較高的精度或有效性，這也是對(duì)于機(jī)