基于天氣數(shù)據(jù)集的XGBoost分類預(yù)測(cè)

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

目錄

1引言...................................................................................................................1

1.1XGBoost的介紹與應(yīng)用.........................................................................1

1.2原理介紹................................................................................................1

1.3相關(guān)流程................................................................................................2

2開發(fā)環(huán)境和工具...............................................................................................3

2.1使用平臺(tái)................................................................................................3

2.1.1ModelWhale..................................................................................3

2.1.2Python簡(jiǎn)介..................................................................................3

2.1.3Python第三方庫(kù)簡(jiǎn)介..................................................................4

3數(shù)據(jù)采集與處理...............................................................................................4

3.1數(shù)據(jù)加載................................................................................................4

3.2可視化描述............................................................................................8

3.3特征向量編碼........................................................................................9

4模型構(gòu)建與評(píng)估優(yōu)化.....................................................................................10

4.1模型的構(gòu)建..........................................................................................10

4.1.1定義與訓(xùn)練模型.......................................................................10

4.1.2模型評(píng)估...................................................................................11

4.2特征選擇..............................................................................................12

4.3網(wǎng)格調(diào)參法..........................................................................................13

5總結(jié).................................................................................................................14

參考資料.............................................................................................................16

I

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

基于天氣數(shù)據(jù)集的XGBoost分類預(yù)測(cè)

1引言

1.1XGBoost的介紹與應(yīng)用

XGBoost是2016年由華盛頓大學(xué)陳天奇老師帶領(lǐng)開發(fā)的一個(gè)可擴(kuò)展機(jī)器

學(xué)習(xí)系統(tǒng)。嚴(yán)格意義上講XGBoost并不是一種模型，而是一個(gè)可供用戶輕松解

決分類、回歸或排序問題的軟件包。它內(nèi)部實(shí)現(xiàn)了梯度提升樹(GBDT)模型，并

對(duì)模型中的算法進(jìn)行了諸多優(yōu)化，在取得高精度的同時(shí)又保持了極快的速度，

在一段時(shí)間內(nèi)成為了國(guó)內(nèi)外數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)領(lǐng)域中的大規(guī)模殺傷性武器。

更重要的是，XGBoost在系統(tǒng)優(yōu)化和機(jī)器學(xué)習(xí)原理方面都進(jìn)行了深入的考

慮。毫不夸張的講，XGBoost提供的可擴(kuò)展性，可移植性與準(zhǔn)確性推動(dòng)了機(jī)器

學(xué)習(xí)計(jì)算限制的上限，該系統(tǒng)在單臺(tái)機(jī)器上運(yùn)行速度比當(dāng)時(shí)流行解決方案快十

倍以上，甚至在分布式系統(tǒng)中可以處理十億級(jí)的數(shù)據(jù)。

XGBoost在機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘領(lǐng)域有著極為廣泛的應(yīng)用。據(jù)統(tǒng)計(jì)在2015

年Kaggle平臺(tái)上29個(gè)獲獎(jiǎng)方案中，17只隊(duì)伍使用了XGBoost；在2015年

KDD-Cup中，前十名的隊(duì)伍均使用了XGBoost，且集成其他模型比不上調(diào)節(jié)

XGBoost的參數(shù)所帶來的提升。這些實(shí)實(shí)在在的例子都表明，XGBoost在各種

問題上都可以取得非常好的效果。

同時(shí)，XGBoost還被成功應(yīng)用在工業(yè)界與學(xué)術(shù)界的各種問題中。例如商店

銷售額預(yù)測(cè)、高能物理事件分類、web文本分類;用戶行為預(yù)測(cè)、運(yùn)動(dòng)檢測(cè)、廣

告點(diǎn)擊率預(yù)測(cè)、惡意軟件分類、災(zāi)害風(fēng)險(xiǎn)預(yù)測(cè)、在線課程退學(xué)率預(yù)測(cè)。雖然領(lǐng)

域相關(guān)的數(shù)據(jù)分析和特性工程在這些解決方案中也發(fā)揮了重要作用，但學(xué)習(xí)者

與實(shí)踐者對(duì)XGBoost的一致選擇表明了這一軟件包的影響力與重要性。

1.2原理介紹

XGBoost底層實(shí)現(xiàn)了GBDT算法，并對(duì)GBDT算法做了一系列優(yōu)化：

1、對(duì)目標(biāo)函數(shù)進(jìn)行了泰勒展示的二階展開，可以更加高效擬合誤差。

2、提出了一種估計(jì)分裂點(diǎn)的算法加速CART樹的構(gòu)建過程，同時(shí)可以處理

稀疏數(shù)據(jù)。

1

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

3、提出了一種樹的并行策略加速迭代。

4、為模型的分布式算法進(jìn)行了底層優(yōu)化。

XGBoost是基于CART樹的集成模型，它的思想是串聯(lián)多個(gè)決策樹模型共

同進(jìn)行決策。它有兩個(gè)特點(diǎn)：

（1）CART樹，是一顆二叉樹；

（2）回歸樹，最后擬合結(jié)果是連續(xù)值。

XGBoost模型可以表示為以下形式，我們約定ft(x)表示前t顆樹的和，ht(x)

表示第t顆決策樹，模型定義如下：

ft(x)=∑t=1Tht(x)

由于模型遞歸生成，第t步的模型由第t?1步的模型形成，可以寫成：

ft(x)=ft?1(x)+ht(x)

每次需要加上的樹ht(x)是之前樹求和的誤差：

rt,i=yi?fm?1(xi)

我們每一步只要擬合一顆輸出為rt,i的CART樹加到ft?1(x)就可以了。

1.3相關(guān)流程

1、了解XGBoost的參數(shù)與相關(guān)知識(shí)

2、掌握XGBoost的Python調(diào)用并將其運(yùn)用到天氣數(shù)據(jù)集預(yù)測(cè)

Part1基于天氣數(shù)據(jù)集的XGBoost分類實(shí)踐

Step1:庫(kù)函數(shù)導(dǎo)入

Step2:數(shù)據(jù)讀取/載入

Step3:數(shù)據(jù)信息簡(jiǎn)單查看

Step4:可視化描述

Step5:對(duì)離散變量進(jìn)行編碼

Step6:利用XGBoost進(jìn)行訓(xùn)練與預(yù)測(cè)

Step7:利用XGBoost進(jìn)行特征選擇

2

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

Step8:通過調(diào)整參數(shù)獲得更好的效果

2開發(fā)環(huán)境和工具

2.1使用平臺(tái)

2.1.1ModelWhale

ModelWhale，和鯨科技旗下數(shù)據(jù)科學(xué)平臺(tái)。將數(shù)據(jù)管理、建模分析、模型

訓(xùn)練管理、算力資源管理、任務(wù)管理等功能深度整合，支持Python和R語(yǔ)言，

通過逐級(jí)開放的數(shù)據(jù)基礎(chǔ)設(shè)施、JupyterNotebook交互式和anvas拖拽式兩種分

析界面、即開即用的云端分析環(huán)境，為科研工作者及團(tuán)隊(duì)解決數(shù)據(jù)安全應(yīng)用、

底層工程繁復(fù)、研究成果流轉(zhuǎn)復(fù)現(xiàn)困難等問題，使數(shù)據(jù)驅(qū)動(dòng)的研究更便捷高效。

簡(jiǎn)化工程復(fù)雜度以契合科研工作者工程力的產(chǎn)品設(shè)計(jì)理念，為用戶帶來流

暢的使用體驗(yàn)，使ModelWhale在科研領(lǐng)域得到廣泛關(guān)注、高度評(píng)價(jià)。目前已

有眾多頂尖科研機(jī)構(gòu)30.000+用戶通過ModeWhale進(jìn)行數(shù)十萬次科研分析，

典型應(yīng)用場(chǎng)景涵蓋數(shù)據(jù)分析、開放協(xié)作、科研管理、教學(xué)管理、數(shù)據(jù)算力等資

源管理。

圖2-1ModelWhale平臺(tái)展示圖

2.1.2Python簡(jiǎn)介

Python是一門優(yōu)雅而健壯的編程語(yǔ)言，它繼承了傳統(tǒng)編譯語(yǔ)言的強(qiáng)大性和

通用性，同時(shí)也借鑒了腳本語(yǔ)言和解釋語(yǔ)言的易用性。

Python是完全面向?qū)ο蟮木幊陶Z(yǔ)言，函數(shù)、模塊、數(shù)字、字符串等內(nèi)置類

3

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

型都是對(duì)象。它的類支持多態(tài)、操作符重載、和多重繼承等高級(jí)OOP概念，并

且Python特有的簡(jiǎn)潔的語(yǔ)法和類型使得OOP十分易于使用。當(dāng)然OOP只是

Python的一個(gè)選擇而已，就像C++一樣，Python既支持面向?qū)ο缶幊?，也支?/p>

面向過程編程的模式。

2.1.3Python第三方庫(kù)簡(jiǎn)介

在實(shí)踐的最開始，我們首先需要導(dǎo)入一些基礎(chǔ)的函數(shù)庫(kù)包括：numpy，pandas，

matplotlib和seaborn繪圖。

Numpy：是Python進(jìn)行科學(xué)計(jì)算的基礎(chǔ)軟件包。

Pandas：是一種快速，強(qiáng)大，靈活且易于使用的開源數(shù)據(jù)分析和處理工具。

Matplotlib：繪圖庫(kù)，主要是偏向于二維繪圖包括折線圖、條形圖、扇形圖、

散點(diǎn)圖、直方圖等等

Seaborn：是基于Python且非常受歡迎的圖形可視化庫(kù)，在Matplotlib的

基礎(chǔ)上，進(jìn)行了更高級(jí)的封裝，使得作圖更加方便快捷。

Keras：是一個(gè)用Python編寫的高級(jí)神經(jīng)網(wǎng)絡(luò)API，它能夠以

TensorFlow,CNTK,或者Theano作為后端運(yùn)行。

3數(shù)據(jù)采集與處理

3.1數(shù)據(jù)加載

圖3-1數(shù)據(jù)集部分展示圖

數(shù)據(jù)集是直接從網(wǎng)站上下載到本地的，如圖3-1所示。地址為：

/DSW/7XGBoost/train.c，其中包括

4

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

日期（Date）、地區(qū)（Location）、最低溫度（MinTemp）、最高溫度

（MaxTemp）、降雨量（Rainfall）等字段。其中測(cè)試集大小為20%，訓(xùn)練集為80%。

Step1：函數(shù)庫(kù)導(dǎo)入

圖3-2導(dǎo)入庫(kù)代碼圖

本次我們選擇天氣數(shù)據(jù)集進(jìn)行方法的嘗試訓(xùn)練，現(xiàn)在有一些由氣象站提供

的每日降雨數(shù)據(jù)，我們需要根據(jù)歷史降雨數(shù)據(jù)來預(yù)測(cè)明天會(huì)下雨的概率。樣例

涉及到的測(cè)試集數(shù)據(jù)test.csv與train.csv的格式完全相同，但其RainTomorrow

未給出，為預(yù)測(cè)變量。

數(shù)據(jù)的各個(gè)特征描述如下：

特征名稱意義取值范圍

Date日期字符串

Location氣象站的地址字符串

MinTemp最低溫度實(shí)數(shù)

MaxTemp最高溫度實(shí)數(shù)

Rainfall降雨量實(shí)數(shù)

Evaporation蒸發(fā)量實(shí)數(shù)

Sunshine光照時(shí)間實(shí)數(shù)

WindGustDir最強(qiáng)的風(fēng)的方向字符串

5

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

特征名稱意義取值范圍

WindGustSpeed最強(qiáng)的風(fēng)的速度實(shí)數(shù)

WindDir9am早上9點(diǎn)的風(fēng)向字符串

WindDir3pm下午3點(diǎn)的風(fēng)向字符串

WindSpeed9am早上9點(diǎn)的風(fēng)速實(shí)數(shù)

WindSpeed3pm下午3點(diǎn)的風(fēng)速實(shí)數(shù)

Humidity9am早上9點(diǎn)的濕度實(shí)數(shù)

Humidity3pm下午3點(diǎn)的濕度實(shí)數(shù)

Pressure9am早上9點(diǎn)的大氣壓實(shí)數(shù)

Pressure3pm早上3點(diǎn)的大氣壓實(shí)數(shù)

Cloud9am早上9點(diǎn)的云指數(shù)實(shí)數(shù)

Cloud3pm早上3點(diǎn)的云指數(shù)實(shí)數(shù)

Temp9am早上9點(diǎn)的溫度實(shí)數(shù)

Temp3pm早上3點(diǎn)的溫度實(shí)數(shù)

RainToday今天是否下雨No，Yes

RainTomorrow明天是否下雨No，Yes

表3-1數(shù)據(jù)的特征描述

Step2：數(shù)據(jù)讀取/載入

這里我們利用Pandas自帶的read_csv函數(shù)讀取并轉(zhuǎn)化為DataFrame格式

data=pd.read_csv('train.csv')

Step3：數(shù)據(jù)信息簡(jiǎn)單查看

6

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

這里利用.info()查看數(shù)據(jù)的整體信息()

圖3-3數(shù)據(jù)整體信息查看結(jié)果

然后我們進(jìn)行簡(jiǎn)單的數(shù)據(jù)查看，是利用的.head()頭部.tail()尾部進(jìn)行簡(jiǎn)單

查看。

圖3-4簡(jiǎn)單數(shù)據(jù)查看

這里我們發(fā)現(xiàn)數(shù)據(jù)集中存在NaN，一般的我們認(rèn)為NaN在數(shù)據(jù)集中代表了

缺失值，可能是數(shù)據(jù)采集或處理時(shí)產(chǎn)生的一種錯(cuò)誤。這里我們采用-1將缺失值

進(jìn)行填補(bǔ)，還有其他例如“中位數(shù)填補(bǔ)、平均數(shù)填補(bǔ)”的缺失值處理方法

7

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖3-5采用-1將缺失值進(jìn)行填補(bǔ)展示圖

利用value_counts函數(shù)查看訓(xùn)練集標(biāo)簽的數(shù)量

圖3-6訓(xùn)練集標(biāo)簽數(shù)量查看圖

從查看圖中我們發(fā)現(xiàn)數(shù)據(jù)集中的負(fù)樣本數(shù)量遠(yuǎn)大于正樣本數(shù)量，這種常見

的問題叫做“數(shù)據(jù)不平衡”問題，在某些情況下需要進(jìn)行一些特殊處理。

3.2可視化描述

圖3-7數(shù)據(jù)可視化代碼

然后我們進(jìn)行可視化描述步驟。為了方便，我們先紀(jì)錄數(shù)字特征與非數(shù)字

特征，再選取三個(gè)特征與標(biāo)簽組合的散點(diǎn)進(jìn)行可視化。

8

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖3-8可視化結(jié)果展示

從上圖可以發(fā)現(xiàn)，在2D情況下不同的特征組合對(duì)于第二天下雨與不下雨的

散點(diǎn)分布，以及大概的區(qū)分能力。相對(duì)的Sunshine與其他特征的組合更具有區(qū)

分能力。

利用箱型圖我們也可以得到不同類別在不同特征上的分布差異情況。我們

可以發(fā)現(xiàn)Sunshine,Humidity3pm,Cloud9am,Cloud3pm的區(qū)分能力較強(qiáng)。

3.3特征向量編碼

Step5:對(duì)離散變量進(jìn)行編碼

由于XGBoost無法處理字符串類型的數(shù)據(jù)，我們需要一些方法講字符串?dāng)?shù)

據(jù)轉(zhuǎn)化為數(shù)據(jù)。一種最簡(jiǎn)單的方法是把所有的相同類別的特征編碼成同一個(gè)值，

例如女=0，男=1，狗狗=2，所以最后編碼的特征值是在特征數(shù)量[0,特征數(shù)量?1]

之間的整數(shù)。除此之外，還有獨(dú)熱編碼、求和編碼、留一法編碼等等方法可以

獲得更好的效果。

9

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖3-9代碼展示效果

圖3-10相同類別的特征編碼

4模型構(gòu)建與評(píng)估優(yōu)化

4.1模型的構(gòu)建

4.1.1定義與訓(xùn)練模型

我們利用XGBoost進(jìn)行訓(xùn)練與預(yù)測(cè)，為了正確評(píng)估模型性能，將數(shù)據(jù)劃分

為訓(xùn)練集和測(cè)試集，并在訓(xùn)練集上訓(xùn)練模型，在測(cè)試集上驗(yàn)證模型性能。

其中我們選擇其類別為0和1的樣本（不包括類別為2的樣本），然后將測(cè)試

集大小為20%，訓(xùn)練集為80%進(jìn)行劃分。

首先查看標(biāo)簽數(shù)據(jù)，將替換Yes為1，No為0，然后打印修改后的結(jié)果。

10

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖4-1打印修改后的結(jié)果圖

然后導(dǎo)入XGBoost模型，定義XGBoost模型，接著在訓(xùn)練集上訓(xùn)練

XGBoost模型。

圖4-2模型定義與訓(xùn)練代碼展示圖

4.1.2模型評(píng)估

接著在訓(xùn)練集和測(cè)試集上分別利用訓(xùn)練好的模型進(jìn)行預(yù)測(cè)，用accuracy（預(yù)

測(cè)正確的樣本數(shù)目占總預(yù)測(cè)樣本數(shù)目的比例）評(píng)估模型效果，然后查看混淆矩

陣(預(yù)測(cè)值和真實(shí)值的各類情況統(tǒng)計(jì)矩陣)，再利用熱力圖對(duì)結(jié)果進(jìn)行可視化.

圖4-3模型評(píng)估代碼展示

11

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖4-4輸出結(jié)果展示圖

圖4-5熱力圖可視化

根據(jù)結(jié)果我們可以發(fā)現(xiàn)共有15759+2306個(gè)樣本預(yù)測(cè)正確，2470+794個(gè)樣

本預(yù)測(cè)錯(cuò)誤。

4.2特征選擇

Step7:利用XGBoost進(jìn)行特征選擇

圖4-6特征的重要度圖

12

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

XGBoost的特征選擇屬于特征選擇中的嵌入式方法，在XGboost中可以用

屬性feature_importances_去查看特征的重要度。

從圖中我們可以發(fā)現(xiàn)下午3點(diǎn)的濕度與今天是否下雨是決定第二天是否下

雨最重要的因素。

4.3網(wǎng)格調(diào)參法

調(diào)節(jié)模型參數(shù)的方法有貪心算法、網(wǎng)格調(diào)參、貝葉斯調(diào)參等。這里我們采用

網(wǎng)格調(diào)參，它的基本思想是窮舉搜索：在所有候選的參數(shù)選擇中，通過循環(huán)遍

歷，嘗試每一種可能性，表現(xiàn)最好的參數(shù)就是最終的結(jié)果。

首先從sklearn庫(kù)中導(dǎo)入網(wǎng)格調(diào)參函數(shù)，然后進(jìn)行網(wǎng)格搜索，可以得出網(wǎng)格

搜索后的最好參數(shù)為圖4-7所展示的。

圖4-7網(wǎng)格搜索代碼

圖4-8最佳參數(shù)展示代碼

13

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖4-9得出的最好參數(shù)展示圖

然后再一次進(jìn)行模型訓(xùn)練和評(píng)估，對(duì)結(jié)果進(jìn)行可視化。

圖4-10優(yōu)化參數(shù)后可視化結(jié)果

根據(jù)可視化結(jié)果可以知道，原本有2470+790個(gè)錯(cuò)誤，現(xiàn)在有2112+939

個(gè)錯(cuò)誤，帶來了明顯的正確率提升。

5總結(jié)

XGBoost的主要優(yōu)點(diǎn)：

簡(jiǎn)單易用。相對(duì)其他機(jī)器學(xué)習(xí)庫(kù)，用戶可以輕松使用XGBoost并獲得相當(dāng)

不錯(cuò)的效果。

高效可擴(kuò)展。在處理大規(guī)模數(shù)據(jù)集時(shí)速度快效果好，對(duì)內(nèi)存等硬件資源要

求不高。

魯棒性強(qiáng)。相對(duì)于深度學(xué)習(xí)模型不需要精細(xì)調(diào)參便能取得接近的效果。

XGBoost內(nèi)部實(shí)現(xiàn)提升樹模型，可以自動(dòng)處理缺失值。

14

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

XGBoost主要缺點(diǎn)：

相對(duì)于深度學(xué)習(xí)模型無法對(duì)時(shí)空位置建模，不能很好地捕獲圖像、語(yǔ)音、文本

等高維數(shù)據(jù)。

X-gboost是將多個(gè)樹模型（若分類器）集成一個(gè)強(qiáng)分類器?？捎糜诜诸悊栴}，

也可用于預(yù)測(cè)值問題，只是不同問題使用的樹模型不一樣:

分類問題：