C4.5算法在一個(gè)學(xué)生成績管理系統(tǒng)中的應(yīng)用

1、C4.5 算法在一個(gè)學(xué)生成績管理系統(tǒng)中的應(yīng)用0 引言智能化管理手段在高校教學(xué)管理中應(yīng)用越來越普及， 但大多 數(shù)系統(tǒng)功能單一技術(shù)陳舊， 缺乏歸納推算及決策功能。 高校管理 者迫切希望能夠從系統(tǒng)大量的數(shù)據(jù)中自動(dòng)發(fā)現(xiàn)規(guī)律、 研究數(shù)據(jù)間 深層次的聯(lián)系， 制定規(guī)則，幫助管理者更有依據(jù)的制定教學(xué)決策， 調(diào)整教學(xué)計(jì)劃。本文將討論如何應(yīng)用 C4.5 算法數(shù)據(jù)挖掘技術(shù) ID3 算法 的改良算法， 通過對(duì)學(xué)生已經(jīng)修過的專業(yè)基礎(chǔ)課構(gòu)造決策樹， 創(chuàng) 建規(guī)則，使學(xué)生成績管理系統(tǒng)具有能夠預(yù)測學(xué)生后續(xù)專業(yè)課程成 績的功能。1 C4.5 算法在 ID3 算法上的改進(jìn)ID3 算法在實(shí)際應(yīng)用時(shí)，一些問題出現(xiàn)了。學(xué)生成績數(shù)據(jù)是 連

2、續(xù)的，而 ID3 算法要求數(shù)據(jù)必須是離散的某些課程的總體成績 偏高或者偏低， ID3 算法無法計(jì)算信息增益時(shí)偏向選擇取值較多 的屬性。因此在 C4.5 算法是在 ID3 算法上進(jìn)行了優(yōu)化的決策樹 生成算法。和 ID3 相比，它作了如下改進(jìn) 1 ：1）用信息增益率取代信息增益，克服了以往偏向選擇取值 多的屬性作為分裂屬性的不足；2）在數(shù)構(gòu)造過程中或構(gòu)造完成后進(jìn)行剪枝；3）能夠?qū)崿F(xiàn)連續(xù)的屬性的離散化處理；4）能夠?qū)缥粗膶傩灾颠M(jìn)行不完整數(shù)據(jù)處理；5）能夠最終生成產(chǎn)生式規(guī)則。2 用 C4.5 算法構(gòu)建決策樹下面抽取本校軟件開發(fā)專業(yè)的 14 名學(xué)生成績作為樣本集，其中高等數(shù)學(xué)、C語言程序設(shè)計(jì)、數(shù)據(jù)

3、結(jié)構(gòu)為先導(dǎo)課程，算法思 想為學(xué)生還未修的后續(xù)課程，通過 C4.5 算法構(gòu)建決策樹，建立 規(guī)則，找出這三門課程對(duì)“算法思想”的影響程度并對(duì)該門課程 作出成績預(yù)測。“高等數(shù)學(xué)”、“C 語言程序設(shè)計(jì)”、“數(shù)據(jù)結(jié) 構(gòu)”為決策屬性集， 表 1中“1”代表該門課程及格，“0”代表該門課程不及格。選定數(shù)據(jù)模型Score （高等數(shù)學(xué)、C語言程序設(shè)計(jì)、數(shù)據(jù)結(jié)構(gòu)、算法思想），選取訓(xùn)練樣本集為：Score （高等數(shù)學(xué)、C語言程序設(shè)計(jì)、數(shù)據(jù)結(jié)構(gòu)、算法思想）1 ， 0， 1， 1， 1， 1， 1， 1， 0， 1， 0， 0 ， 0 ， 1， 1， 1， 0， 0， 0， 0， 1， 1， 0， 1， 1， 0， 1

4、， 1， 1 ， 0， 0， 1， 1， 1， 0， 0， 1 ， 1， 0，0， 0， 1， 1， 0 ， 0， 1， 1， 1， 0 ， 1， 1， 1， 1， 1， 1， 1 。2.1 構(gòu)造決策樹 21）信息熵的計(jì)算：算法思想及格 9 人，不及格 5 人。2）條件熵的計(jì)算：高等數(shù)學(xué)的條件熵計(jì)算。3）信息增益：高等數(shù)學(xué)的信息增益。5）信息增益率：高等數(shù)學(xué)信息增益率。同理計(jì)算出C語言程序設(shè)計(jì)的信息增益率是0.0174，數(shù)據(jù)結(jié)構(gòu)的信息增益率是 0.2396 ，因此選取信息增益率最大的“數(shù) 據(jù)結(jié)構(gòu)”作為決策樹的根節(jié)點(diǎn)。樹的左分支表示數(shù)據(jù)結(jié)構(gòu)不及格導(dǎo)致算法思想不及格， 左分 支的準(zhǔn)確度達(dá)到了 7/

5、8=87.5%，因此對(duì)左分支停止分割。繼續(xù)對(duì) 右分支進(jìn)行分割。2.2 選取決策樹的分支屬性右分支還有 6 個(gè)樣本， 因?yàn)閿?shù)據(jù)結(jié)構(gòu)已被選做根節(jié)點(diǎn)， 所以 在C語言程序設(shè)計(jì)和高等數(shù)學(xué)中選一個(gè)作為右分支的根節(jié)點(diǎn)。1） 信息熵的計(jì)算：右支中算法思想及格2 人，不及格 4 人。2）條件熵的計(jì)算：高等數(shù)學(xué)的條件熵計(jì)算。4）屬性V的信息屬性：高等數(shù)學(xué)的信息增益屬性。率已經(jīng)達(dá)到 2/2=100%，停止對(duì)右分支繼續(xù)分割。對(duì)于左分支，三個(gè)屬性：高等數(shù)學(xué)、C語言程序設(shè)計(jì)、數(shù)據(jù)結(jié)構(gòu)現(xiàn)在只有 C語言程序 設(shè)計(jì)還未被用， 因而用該屬性繼續(xù)對(duì)子樹左分支進(jìn)行分割， 如圖 1。2.3 對(duì)決策樹的剪枝分析以C語言程序設(shè)計(jì)為根節(jié)點(diǎn)

6、的子樹的右分支，準(zhǔn)確率為0/1=0%，左分支準(zhǔn)確率為 1/3=33.3%，為此進(jìn)一步對(duì)此樹進(jìn)行修剪3。對(duì)于決策樹C語言程序設(shè)計(jì)屬性節(jié)點(diǎn)右分支用葉節(jié)點(diǎn)代替此分支，如圖 2，此時(shí)其準(zhǔn)確率為 2/4=50%3 用決策樹制定規(guī)則規(guī)則 1，如果“數(shù)據(jù)結(jié)構(gòu)”及格，則算法思想也及格；準(zhǔn)確 度=7/8=87.5% ；覆蓋率 =8/14=57.1%。規(guī)則 2，如果“數(shù)據(jù)結(jié)構(gòu)”不及格，并且“高等數(shù)學(xué)”也不 及格，則算法思想不及格；準(zhǔn)確度 =2/2=100%；覆蓋率 =8/14=57.1%。規(guī)則 3，如果“數(shù)據(jù)結(jié)構(gòu)”不及格，但“高等數(shù)學(xué)”及格， 則算法思想及格；準(zhǔn)確度 =2/4=50%；覆蓋率 =4/14=28.6% 。通過決策樹規(guī)則就能通過“高等數(shù)學(xué)”、“C語言程序設(shè)計(jì)”、“數(shù)據(jù)結(jié)構(gòu)”這三門課成績預(yù)測學(xué)生的“算法思想”是否 能夠及格。幫助教師及時(shí)調(diào)整教學(xué)方法，同時(shí)也給學(xué)生以警示。4 結(jié)束語C4.5 算法還可以