大數(shù)據(jù)技術(shù)與應(yīng)用項目R語言數(shù)據(jù)預(yù)處理原理

大數(shù)據(jù)技術(shù)與應(yīng)用項目——

R語言數(shù)據(jù)預(yù)處理原理

項目來自北京諾程佳華教育科技有限公司教學目標

?熟悉數(shù)據(jù)預(yù)處理的方法；?熟悉在R語言中做常用數(shù)據(jù)預(yù)處理的方法。

R語言數(shù)據(jù)預(yù)處理原理

1.數(shù)據(jù)標準化有些預(yù)測變量的數(shù)值分布會比較特殊，比如傾斜嚴重或不同變量的范圍差異較大，因此需要轉(zhuǎn)換為更適合預(yù)測算法的分布或數(shù)值范圍。最基本的標準化方法有：?中心化：將字段的每一個數(shù)值減去該字段的均值；?縮放：將字段的每一個數(shù)值除以該字段的標準差；?歸一化：對字段的每一個數(shù)值做中心化和縮放處理，使得每一個數(shù)值代表其與均值相差的標準差的倍數(shù)。需要注意的是，如果在訓練模型時對訓練集的變量做了標準化處理，則對測試集的變量也需要做同樣的標準化處理，即使用訓練集變量的均值和方差。

R語言數(shù)據(jù)預(yù)處理原理R語言中可調(diào)用程序包caret函數(shù)train(y~x,data=training,preProcess=c("center","scale"))在訓練模型前做歸一化處理，也可調(diào)用函數(shù)preProcess(trainingData,method=c("center","scale")做歸一化處理。對于連續(xù)變量，可以采用Box-Cox變換通過最大似然方法將其變換為近似正態(tài)分布。R語言中可調(diào)用程序包caret函數(shù)preProcess(trainingData,method=c("BoxCox"))在訓練模型前做Box-Cox變換。

R語言數(shù)據(jù)預(yù)處理原理2.缺失值處理有一些預(yù)測模型會限制輸入數(shù)據(jù)不能有缺失值，或者會在有缺失值的情況下性能顯著下降。一種處理缺失值的方法是直接去除包含缺失值的記錄。還有一些方法可以直接推定缺失值，最常用的便是knn（knearestneighbors）算法，其基本思想是，用離包含缺失值記錄最近的k條記錄推定填補缺失值。R語言中可調(diào)用程序包caret函數(shù)preProcess(trainingData,method=c("knnImpute")做knn數(shù)據(jù)推定，默認k=5。

R語言數(shù)據(jù)預(yù)處理原理3.主成分分析在一些預(yù)測模型中，我們有時不需要用到所有預(yù)測變量，而可以用多個預(yù)測變量的加權(quán)組合。主成分分析的目的就是挑選出這樣的預(yù)測變量的加權(quán)組合，使其能夠攜帶最大可能的信息量。主成分分析既能夠減少預(yù)測變量的數(shù)量，又能夠減小模型噪聲。

R語言數(shù)據(jù)預(yù)處理原理R語言中可調(diào)用函數(shù)prcomp(data)做主成分分析，該函數(shù)返回一個類型為prcomp的對象，包含方差和旋度（rotation）等信息，其屬性rotations即是所有變量線性組合的特征向量（eigenvector），即主成分所包含的各變量線性組合的系數(shù)。經(jīng)常的做法是，將變量的值加1并做對數(shù)變換，然后再做主成分分析。做對數(shù)變換可以減小數(shù)據(jù)傾斜和數(shù)據(jù)的奇怪分布，而加1是為了處理值為0的字段值。

R語言數(shù)據(jù)預(yù)處理原理4.實驗數(shù)據(jù)本實驗所用數(shù)據(jù)為惠普實驗室收集的4,601封垃圾郵件和非垃圾郵件，位于程序包kernlab中名稱為spam，包含了58個字段，其中前48個字段表示某單詞或數(shù)字在郵件中出現(xiàn)的頻率，第49到54個字段表示符號“;”、“(”、“[”、“$”和“#”在郵件中出現(xiàn)的頻率，第55到57個字段表示平均