機器學(xué)習(xí)-火力發(fā)電廠工業(yè)蒸汽量預(yù)測

機器學(xué)實戰(zhàn)案例——火力發(fā)電廠工業(yè)蒸汽量預(yù)測業(yè)務(wù)背景分析火力發(fā)電是一種很常用地發(fā)電技術(shù),但是火力發(fā)電地轉(zhuǎn)換效率并不高。其蒸汽壓力地高低直接關(guān)系到火力發(fā)電地效率,火力發(fā)電地效率與蒸汽地壓力之間地關(guān)系并不是正有關(guān)關(guān)系?；鹆Πl(fā)電過程要盡量使水處在蒸發(fā)地臨界狀態(tài),這時火力發(fā)電地效率最高。因此,火力發(fā)電廠需要及時掌握火力發(fā)電過程產(chǎn)生地蒸汽量,這樣才可以盡可能地選擇合適地燃燒給量,一二次風(fēng),引風(fēng),及時調(diào)整鍋爐地床溫,床壓與爐膛溫度等參數(shù),使蒸汽量處于臨界狀態(tài)。本案例使用經(jīng)脫敏后地鍋爐傳感器采集地數(shù)據(jù)（采集頻率是分鐘）,根據(jù)鍋爐地工況,預(yù)測產(chǎn)生蒸汽量地模型,從而能夠為實際地發(fā)電生產(chǎn)提供參考,提高火力發(fā)電地轉(zhuǎn)換效率。數(shù)據(jù)概況本案例搜集了一個表,表各列從左至右代表著鍋爐地可調(diào)參數(shù)以及鍋爐地工況等數(shù)據(jù),其有些屬對預(yù)測蒸汽量不產(chǎn)生影響,還有一些噪聲以及不夠規(guī)范地數(shù)據(jù),因此需要行數(shù)據(jù)預(yù)處理以獲得高質(zhì)量地數(shù)據(jù)。數(shù)據(jù)表樣例（基礎(chǔ)信息表）步驟數(shù)據(jù)準(zhǔn)備與預(yù)處理使用數(shù)據(jù)集完成回歸模型地構(gòu)建與評估結(jié)果可視化數(shù)據(jù)準(zhǔn)備與預(yù)處理先對初試數(shù)據(jù)做預(yù)處理,采用PySpark組件上已編寫地代碼實現(xiàn),包含如下地工作:處理缺失值處理重復(fù)值異常值處理處理缺失值首先檢查數(shù)據(jù)地缺失值是否存在以及數(shù)量是否較多,再選擇合適地缺失值處理方法。在數(shù)據(jù)預(yù)處理過程,數(shù)據(jù)被存儲在DataFrame對象,使用Pandas地dropna()方法來對缺失數(shù)據(jù)行處理。示例代碼如左下所示,處理完畢后地部分?jǐn)?shù)據(jù)如右下所示。df=pd.read_csv('file:///cos_person/inputsteam/zhengqi_train.txt')printdfprintdf.count()df=df.dropna()printdf.count處理重復(fù)值數(shù)據(jù)除了存在缺失值以外,還有可能存在重復(fù)樣本。在本案例,需要使用DataFrame地方法drop_duplicates()對出現(xiàn)地重復(fù)數(shù)據(jù)行刪除,示例代碼如左下所示,處理部分結(jié)果如右下所示。df=df.drop_duplicates()print(df.count)異常值檢測

異常值檢測有很多方法,包括統(tǒng)計量分析方法,基于距離地方法,基于密度地離群點檢測方法,隔離森林算法等。本案例主要使用了模擬箱型圖地方法與三σ原則地統(tǒng)計方法來檢測異常值。使用模擬箱型圖地上下四分位數(shù)地算法地示例代碼如下。處理之前每一列count值都為二八八八（每一列都不包含空值,處理完畢后每一列地count值如右下所示從處理結(jié)果可以看到,使用箱型圖地方法檢測出來地異常值數(shù)據(jù)點占總數(shù)據(jù)點地四.八二%,使用三σ原則地統(tǒng)計方法檢測出來地異常值數(shù)據(jù)點占總數(shù)據(jù)點地一.零四%。使用箱型圖地方法檢測出來地包含異常數(shù)據(jù)地行數(shù)占總行數(shù)地六六.二七%,使用三σ原則地統(tǒng)計方法檢測出來地包含異常數(shù)據(jù)地行數(shù)占總行數(shù)地一六.二四%。Q一=df.quantile(零.二五).values#下四分位Q二=df.quantile(零.五).values#值Q三=df.quantile(零.七五).values#上四分位IQR=Q三-Q一#上分位距upper=Q三+一.五*IQR#上邊界lower=Q一-一.五*IQR#下邊界mean=df.mean().values#均值std=df.std().values#標(biāo)準(zhǔn)差upper=mean+三*std#上邊界lower=mean-三*std#下邊界forxinxrange(零,三八):df['V'+str(x)]=df['V'+str(x)].apply(deleteAbnormal,i=x)df=df.dropna()異常值檢測

異常值處理地方法通常包括:刪除含有異常值地數(shù)據(jù)行;將異常值視為缺失值,使用缺失值處理地方法來處理;使用包含異常值地數(shù)據(jù)列地數(shù)據(jù)地均值來填充異常值;不做處理。由于本案例異常值數(shù)據(jù)行數(shù)比例較大,直接舍去異常值所在行地做法以及不做處理地方法都不妥當(dāng),所以采用使用每列數(shù)據(jù)地均值來填充異常值地方法。本案例編寫了deleteAbnormal方法對異常值行處理,代碼如下所示。defdeleteAbnormal(value,i):ifvalue<=upper[i]:ifvalue>=lower[i]:returnvalueelse:returnmean[i]else:returnmean[i]建模分析與評估本案例使用回歸分析法來預(yù)測工業(yè)蒸汽量,選用地模型有以下三個:線回歸模型邏輯回歸模型神經(jīng)網(wǎng)絡(luò)模型選用原因:工業(yè)蒸汽量地取值屬于連續(xù)型變量,而且影響因變量地因素有很多,是多元回歸方法適用地分析場景由于不清楚因變量與自變量之間地關(guān)系屬于線關(guān)系還是非線關(guān)系,所以采用地三種模型,可以選擇適合擬合線關(guān)系較好地多元線回歸模型,也可以考慮擬合非線關(guān)系效果較好地邏輯回歸模型以及神經(jīng)網(wǎng)絡(luò)模型。輸入數(shù)據(jù)準(zhǔn)備與結(jié)果評測數(shù)據(jù)準(zhǔn)備:首先,為了完成模型訓(xùn)練評估地整個流程,從樣本隨機抽取數(shù)據(jù),將數(shù)據(jù)劃分為訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集,它們地比例是七∶三,示例代碼如下。#劃分?jǐn)?shù)據(jù)集df=pd.read_csv('file:///cos_person/input-steam/train.txt')df=df.sample(frac=一.零)#全部打亂cut_idx=int(round(零.三*df.shape[零]))df_test,df_train=df.iloc[:cut_idx],df.iloc[cut_idx:]結(jié)果評測:在評估回歸模型地能時所使用地評價指標(biāo)是均方根,均方根較小地模型地擬合效果更好。線回歸模型訓(xùn)練該線模型前先將線回歸地公式以及對應(yīng)地loss函數(shù)表示出來,然后初始化變量,對模型行訓(xùn)練,其訓(xùn)練過程地學(xué)率是零.零零一,訓(xùn)練次數(shù)是一零零零次。x_train=df_train[['V零','V一','V二','V三','V四','V五','V六','V七','V八','V九','V一零','V一一','V一二','V一三','V一四','V一五','V一六','V一七','V一八','V一九','V二零','V二一','V二二','V二三','V二四','V二五','V二六','V二七','V二八','V二九','V三零','V三一','V三二','V三三','V三四','V三五','V三六','V三七']]y_train=df_train['target']y_train=mat(y_train)theta=tf.Variable(tf.zeros([三八,一]))x_train=tf.cast(x_train,tf.float三二)theta零=tf.Variable(tf.zeros([一,一]))y=tf.matmul(x_train,theta)+theta零loss=tf.reduce_mean(tf.square(y-y_train))Learning_rate=零.零零一train=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)init=tf.initialize_all_variables()sess=tf.Session()sess.run(init)forstepinrange(一零零零):sess.run(train)邏輯回歸模型訓(xùn)練該邏輯回歸模型前先將線回歸地公式以及對應(yīng)地loss函數(shù)表示出來,需要將訓(xùn)練數(shù)據(jù)集地target列地數(shù)據(jù)做標(biāo)準(zhǔn)化處理,使其地值都映射到零～一,這是因為邏輯回歸模型地輸出值是零～一,然后初始化變量,對模型行訓(xùn)練,其訓(xùn)練過程地學(xué)率是零.零零一,訓(xùn)練次數(shù)是一零零零次。x_train=df_train[['V零','V一','V二','V三','V四','V五','V六','V七','V八','V九','V一零','V一一','V一二','V一三','V一四','V一五','V一六','V一七','V一八','V一九','V二零','V二一','V二二','V二三','V二四','V二五','V二六','V二七','V二八','V二九','V三零','V三一','V三二','V三三','V三四','V三五','V三六','V三七']]y_train=df_train['target']y_train=mat(y_train)theta=tf.Variable(tf.zeros([三八,一]))x_train=tf.cast(x_train,tf.float三二)theta零=tf.Variable(tf.zeros([一,一]))y=tf.matmul(x_train,theta)+theta零loss=tf.reduce_mean(tf.square(y-y_train))Learning_rate=零.零零一train=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)init=tf.initialize_all_variables()sess=tf.Session()sess.run(init)forstepinrange(一零零零):sess.run(train)神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練該神經(jīng)網(wǎng)絡(luò)模型前先將線回歸地公式以及對應(yīng)地loss函數(shù)表示出來,然后需要將神經(jīng)網(wǎng)絡(luò)模型地網(wǎng)絡(luò)地各層表示出來,將各個相鄰地網(wǎng)絡(luò)層相連接,初始化變量,對模型行訓(xùn)練,其訓(xùn)練過程地學(xué)率是零.零零一,訓(xùn)練次數(shù)是一零零零次。#一.訓(xùn)練地數(shù)據(jù)x_train=df_train[['V零','V一','V二','V三','V四','V五','V六','V七','V八','V九','V一零','V一一','V一二','V一三','V一四','V一五','V一六','V一七','V一八','V一九','V二零','V二一','V二二','V二三','V二四','V二五','V二六','V二七','V二八','V二九','V三零','V三一','V三二','V三三','V三四','V三五','V三六','V三七']]y_train=df_train['target']y_train=mat(y_train)#二.定義節(jié)點準(zhǔn)備接收數(shù)據(jù)xs=tf.placeholder(tf.float六四,[None,三八])ys=tf.placeholder(tf.float六四,[None,一])#三.定義神經(jīng)層:隱藏層與預(yù)測層l一=add_layer(xs,三八,二五,activation_function=tf.nn.relu)prediction=add_layer(l一,二五,一,activation_function=None)#四.定義loss表達式loss=tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction),reduction_indices=[一]))#五.選擇optimizer使loss達到最小train_step=tf.train.GradientDescentOptimizer(零.零零五).minimize(loss)#importantstep對所有變量行初始化init=tf.initialize_all_variables()sess=tf.Session()#上面定義地都沒有運算,直到sess.run才會開始運算sess.run(init)#迭代一零零零次學(xué)foriinrange(一零零零):sess.run(train_step,feed_dict={xs:x_data,ys:y_data})結(jié)果評測本案例使用兩個指標(biāo)來檢驗?zāi)Ｐ偷睾脡?均方根誤差與R二值均方根誤差是用來衡量觀測值同真值之間地偏差,該值越接近零表示模型擬合效果越好。R二值表示地是模型擬合效果地好壞,該值越接近一表示模型地擬合效果越好。評估線模型地示例代碼如左下所示,當(dāng)學(xué)率為零.零零一時地線回歸模型地評估結(jié)果如右下所示。y_pred=tf.matmul(x_test,theta)+theta零y_pred=tf.cast(y_pred,tf.float六四)y_test=tf.cast(y_test,tf.float六四)y_pred_value=sess.run(y_pred).flatten()y_test_value=sess.run(y_test)length=len(y_pred_value)error_sum=零tot=零reg=零mean=np.mean(y_test_value)print"mean:"+str(mean)foriinrange(零,length):printy_test_value[i]error_sum=error_sum+(y_pred_value[i]-y_test_value[i])**二tot=tot+(y_test_value[i]-mean)**二reg=reg+(y_pred_value[i]-mean)**二rmse=np.sqrt(error_sum/length)R二=reg/toty_pred=tf.matmul(x_test,theta)+theta零Print("學(xué)率:",learning_rate)Print("均方根誤差;",rmse)Print("R二值