數(shù)據(jù)分析展現(xiàn)與語言

法律【

】

和幻燈片為煉數(shù)成金網(wǎng)絡(luò)課程的教學資料，所有資料只能在課程內(nèi)使用，不得在課程以外范圍散播，違者將可能被法律和經(jīng)濟責任。課程詳情

煉數(shù)成金培訓http:

2013.3.312DATAGURU專業(yè)數(shù)據(jù)分析分類：分類的意義傳統(tǒng)意義下的分類：生物物種：天氣預報決策：yes

or

no分類的傳統(tǒng)模型分類（判別分析）與聚類有什么差別？2013.3.313DATAGURU專業(yè)數(shù)據(jù)分析常見分類模型與算法線性判別法距離判別法分類器決策樹支持向量機(SVM)神經(jīng)網(wǎng)絡(luò)2013.3.314DATAGURU專業(yè)數(shù)據(jù)分析線性判別法（Fisher）例子：天氣預報數(shù)據(jù)G=c(1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,2)x1=c(-1.9,-6.9,5.2,5.0,7.3,6.8,0.9,-12.5,1.5,3.8,0.2,-0.1,0.4,2.7,2.1,-4.6,-1.7,-2.6,2.6,-2.8)x2=c(3.2,0.4,2.0,2.5,0.0,12.7,-5.4,-2.5,1.3,6.8,6.2,7.5,14.6,8.3,0.8,4.3,10.9,13.1,12.8,10.0)a=data.frame(G,x1,x2)plot(x1,x2)text(x1,x2,G,adj=-0.5)2013.3.315DATAGURU專業(yè)數(shù)據(jù)分析線性判別法的原理用一條直線來劃分學習集（這條直線一定存在嗎？）然后根據(jù)待測點在直線的哪一邊決定它的分類2013.3.316DATAGURU專業(yè)數(shù)據(jù)分析MASS包與線性判別函數(shù)lda()library(MASS)ld=lda(G~x1+x2)ld2013.3.317DATAGURU專業(yè)數(shù)據(jù)分析分類判斷z=predict(ld)newG=z$classnewG[1]

11

1

1

1

2

11

1

1

2

22

2

1

2

2

2

2

2Levels:

1

2cbind=(G,z$x,newG)y=cbind(G,z$x,newG)y2013.3.318DATAGURU專業(yè)數(shù)據(jù)分析距離判別法原理：計算待測點與各類的距離，取最短者為其所屬分類馬氏距離（

p445，為什么不用歐氏距離？），計算函數(shù)mahalanobis(

)2013.3.319DATAGURU專業(yè)數(shù)據(jù)分析算法情形一（p445）2013.3.3110DATAGURU專業(yè)數(shù)據(jù)分析算法情形二（例子（p447）p449）2013.3.3111DATAGURU專業(yè)數(shù)據(jù)分析分類器原理（p455)2013.3.3112DATAGURU專業(yè)數(shù)據(jù)分析結(jié)果對于總體協(xié)方差矩陣相同的情形2013.3.3113DATAGURU專業(yè)數(shù)據(jù)分析結(jié)果對于總體協(xié)方差矩陣不同的情形2013.3.3114DATAGURU專業(yè)數(shù)據(jù)分析程序與例子利用P457分類器判斷

郵件2013.3.3115DATAGURU專業(yè)數(shù)據(jù)分析多分類的情況多分類下的距離判別法（多分類下的

（p452）p460）2013.3.3116DATAGURU專業(yè)數(shù)據(jù)分析決策樹decision

tree決策樹輸入：學習集輸出：分類規(guī)則（決策樹）2013.3.3117DATAGURU專業(yè)數(shù)據(jù)分析例子用SNS社區(qū)中不真實賬號檢測的例子說明如何使用ID3算法構(gòu)造決策樹。為了簡單起見，

假設(shè)訓練集合包含10個元素。其中s、m和l分別表示小、中和大。2013.3.3118DATAGURU專業(yè)數(shù)據(jù)分析信息增益設(shè)L、F、H和R表示日志密度、好友密度、是否使用真實頭像和賬號是否真實，下面計算各屬性的信息增益。2013.3.3119DATAGURU專業(yè)數(shù)據(jù)分析根據(jù)信息增益選擇

屬性因此日志密度的信息增益是0.276。用同樣方法得到H和F的信息增益分別為0.033和0.553。因為F具有最大的信息增益，所以第一次

選擇F為

屬性，

后的結(jié)果如下圖表示：2013.3.3120DATAGURU專業(yè)數(shù)據(jù)分析遞歸+分而治之屬性，最終就可以得到整個在上圖的基礎(chǔ)上，再遞歸使用這個方法計算子節(jié)點的決策樹。這個方法稱為ID3算法，還有其它的算法也可以產(chǎn)生決策樹對于特征屬性為連續(xù)值，可以如此使用ID3算法：先將D中元素按照特征屬性排序，則每兩個相鄰元素的中間點可以看做潛在

點，從第一個潛在

點開始，

D并計算兩個集合的期望信息，具有最小期望信息的點稱為這個屬性的最佳

點，其信息期望作為此屬性的信息期望。2013.3.3121DATAGURU專業(yè)數(shù)據(jù)分析R語言實現(xiàn)決策樹：rpart擴展包以鳶尾花數(shù)據(jù)集作為算例說明iris.rp

=

rpart(Species~.,

data=iris,method="class")plot(iris.rp,

uniform=T,branch=0,margin=0.1,

main=“

ClassificationTree\nIris

Species

by

Petal

and

SepalLength")text(iris.rp,

use.n=T,

fancy=T,

col="blue")Rule

1:

if

Petal.Length>=2.45&Petal.Width<1.75,

then

it

is

versicolor(0/49/5)Rule2:

if

Petal.Length>=2.45&Petal.Width>=1.75,

then

it

is

virginica

(0/1/45)Rule

3:

if

Petal.Length<2.45,

then

it

is

setosa

(50/0/0)2013.3.3122DATAGURU專業(yè)數(shù)據(jù)分析煉數(shù)成金逆向

式網(wǎng)絡(luò)課程Dataguru（煉數(shù)成金）是專業(yè)數(shù)據(jù)分析，提供教育，，內(nèi)容，社區(qū)，，數(shù)據(jù)分析業(yè)務(wù)等服務(wù)。的課程采用新興的互聯(lián)網(wǎng)教育形式，獨創(chuàng)地發(fā)展了逆向式網(wǎng)絡(luò)培訓課程模式。既繼承傳統(tǒng)教育重學習氛圍，重競爭壓力的特點，同時又發(fā)揮互聯(lián)網(wǎng)的打破時空限制，把天南地北志同道合的朋友組織在一起交流學習，使到原先孤立的學習組