Clementine__神經(jīng)網(wǎng)絡(luò)實(shí)例

1、一、利用神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行欺詐探測(cè)利用clementine系統(tǒng)提供的數(shù)據(jù)來(lái)進(jìn)行挖掘，背景是關(guān)于農(nóng)業(yè)發(fā)展貸款的申請(qǐng)。每一條記錄描述的是某一個(gè)農(nóng)場(chǎng)對(duì)某種具體貸款類型的申請(qǐng)。本例主要考慮兩種貸款類型：土地開(kāi)發(fā)貸款和退耕貸款。本例使用虛構(gòu)的數(shù)據(jù)來(lái)說(shuō)明如何使用神經(jīng)網(wǎng)絡(luò)來(lái)檢測(cè)偏離常態(tài)的行為，重點(diǎn)為標(biāo)識(shí)那些異常和需要更深一步調(diào)查的記錄。更要解決的問(wèn)題是找出那些就農(nóng)場(chǎng)類型和大小來(lái)說(shuō)申請(qǐng)貸款過(guò)多的農(nóng)場(chǎng)主。1.定義數(shù)據(jù)源使用一個(gè)“變相文件節(jié)點(diǎn)連接到數(shù)據(jù)集grantfraudN.db。在“變相文件節(jié)點(diǎn)之后增加一個(gè)“類型”節(jié)點(diǎn)到數(shù)據(jù)流中，雙擊“類型”節(jié)點(diǎn)，打開(kāi)該節(jié)點(diǎn)，觀察其數(shù)據(jù)字段構(gòu)成，如圖1-1所示。s讀取佰唐陰值

2、潔除所有值宇段婪型缺失檢譽(yù)方聞回囚囲|00影國(guó)idnameregionfarrrjsizerainfalllandqualityfarmincomemaintrop查看當(dāng)前字段o查看未使用的宇段設(shè)置裘型格式注解確走取消應(yīng)用M圖1-12.理解數(shù)據(jù)在建模之前，需要了解數(shù)據(jù)中有哪些字段，這些字段如何分布，它們之間是否隱含著某種相關(guān)性信息。只有了解這些信息后才能決定使用哪些字段，應(yīng)用何種挖掘算法和算法參數(shù)。這個(gè)過(guò)程就是一個(gè)理解數(shù)據(jù)的過(guò)程。3.準(zhǔn)備數(shù)據(jù)為了更直觀的觀察數(shù)據(jù)，以便于分析哪些數(shù)據(jù)節(jié)點(diǎn)有用，哪些數(shù)據(jù)對(duì)建模沒(méi)用，可以使用探索性的圖形節(jié)點(diǎn)進(jìn)行分析，這有助于形成一些對(duì)建模有用的假設(shè)。首先考慮數(shù)據(jù)中有

3、可能存在欺詐的類型，有一種可能是一個(gè)農(nóng)場(chǎng)多次申請(qǐng)貸款援助，對(duì)于多次的情況，假設(shè)在數(shù)據(jù)集上每個(gè)農(nóng)場(chǎng)主有一個(gè)唯一的標(biāo)識(shí)符，那么計(jì)算出每個(gè)標(biāo)示符出現(xiàn)的次數(shù)是件容易的事。3.1在數(shù)據(jù)流中連接條形圖節(jié)點(diǎn)并選擇字段名為name的字段，如圖1-2所示。圖1-23.2選擇name字段后，單擊執(zhí)行按鈕，結(jié)果如圖1-3所示。為了探索其他可能的欺詐形式,可以先不考慮多次申請(qǐng)的情況。先關(guān)注那些只申請(qǐng)一次的記錄。圖1-33.3在數(shù)據(jù)流區(qū)域中添加一個(gè)選擇節(jié)點(diǎn)，把該節(jié)點(diǎn)連接到數(shù)據(jù)流中，該節(jié)點(diǎn)的目的是為了刪除相應(yīng)的記錄。雙擊該節(jié)點(diǎn)，對(duì)該節(jié)點(diǎn)的設(shè)置如圖1-4。模式選擇丟棄單選按鈕、條件文本框中輸入”name=name618or

4、name=name777”。圖1-43.4以農(nóng)場(chǎng)大小、主要作物類型、土壤質(zhì)量等為自變量建立一個(gè)回歸模型來(lái)估計(jì)一個(gè)農(nóng)場(chǎng)的收入是多少。在建模以前，還需要添加一個(gè)導(dǎo)出節(jié)點(diǎn)，以便使用clem語(yǔ)言來(lái)生成一個(gè)新的字段，如圖1-5所示，圖中的表達(dá)式farmsize*rainfall*landquality是用來(lái)估計(jì)農(nóng)場(chǎng)收入的。導(dǎo)出字段為estincome。導(dǎo)出為;公式公式設(shè)置注解確定estincone圖1-5farmsize*rainfall*landquality導(dǎo)出亭段:導(dǎo)出曲取消estintom已應(yīng)用重置字段類型:石餉公式3.5為了發(fā)現(xiàn)那些偏離估計(jì)值的農(nóng)場(chǎng)，可以生成一個(gè)字段-dlfl，代表估計(jì)值與實(shí)際

5、值偏離餓百分?jǐn)?shù)。在數(shù)據(jù)流中增加一個(gè)導(dǎo)出節(jié)點(diǎn)，如圖1-6所示。diff辱出芮式字段類型迓式取消應(yīng)用導(dǎo)出為:僉式模式：卑個(gè)寥乍導(dǎo)出字段:Cabs(farminconne-estincome)/farmincome)比100注解確定重置導(dǎo)出圖1-636流中增加一個(gè)直方圖節(jié)點(diǎn)，目的是希望能由diff的直方圖中幫助發(fā)現(xiàn)偏離餓特征。雙擊直方圖節(jié)點(diǎn)，將直方圖按照claimtype進(jìn)行層疊，設(shè)置情況如圖1-7。3.7.設(shè)置完成之后，單擊“執(zhí)行”按鈕，顯示如圖1-7所示。uX|so2i?3O0206u圖形aif的直方圖IS立件編輯竹生成曲視険clainttypedif注解二Iarable_devridecomi

6、iLissi&rLland圖1-78.從圖1-8可以看出，所以較大的偏差都發(fā)生在arable_dev類型的申請(qǐng)上。因此我們可以只選擇arable_dv類貸款申請(qǐng)作為研究對(duì)象。為此，選擇一個(gè)選擇節(jié)點(diǎn)添加到導(dǎo)出節(jié)點(diǎn)diff的后面，使用clem表達(dá)式claimtype=arable_dev來(lái)進(jìn)行篩選，設(shè)置如圖1-8所示。2d取消模式；，；赳括丟棄claimtype=arable_(iev案件:設(shè)置注解選擇圖1-8應(yīng)用重置三、建模經(jīng)過(guò)數(shù)據(jù)準(zhǔn)備階段，發(fā)現(xiàn)將真實(shí)值和通過(guò)一系列因變量的期望值進(jìn)行比較似乎是有用的。神經(jīng)網(wǎng)絡(luò)也可以用來(lái)處理此類問(wèn)題。神經(jīng)網(wǎng)絡(luò)使用數(shù)據(jù)中的變量，對(duì)目標(biāo)變量或響應(yīng)進(jìn)行預(yù)測(cè)。使用預(yù)測(cè)的結(jié)

7、果，我們可以探索偏離正常值的記錄或記錄組。3.1將一個(gè)類型節(jié)點(diǎn)添加到數(shù)據(jù)流中，對(duì)數(shù)據(jù)集中數(shù)據(jù)進(jìn)行設(shè)置。因?yàn)樾枰脭?shù)據(jù)集中的變量來(lái)預(yù)測(cè)所申請(qǐng)的貸款金額，所以將claimtype的方向設(shè)置為輸出，id、name、farmincome的方向設(shè)置為無(wú)，其他字段設(shè)置為輸入，如圖1-9所示。讀取值涪除值活除所有蓿-類型肓:缺失柚查A|TOanarri已A|regionQfarmsizerainfall；landquality:farmincomeamaintopaclaimtypetlaimvalue?eslincome?diff限儀皿限典跟限慎以哄慎3耳S3耳耳耳耳耳耳耳讀讀讀讀讀讀讀讀讀讀讀LrLrL

8、ErLAAAAAA出AA兒無(wú)輸輸輸輸無(wú)輸輸輸輸輸(3查看當(dāng)前字段O查看耒愎用的宇段設(shè)豊類型格式注解確定取消應(yīng)用重置圖1-93.2單擊確定按鈕之后，下一步就可以添加模型節(jié)點(diǎn)了。雙擊神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)，在數(shù)據(jù)流上添加一個(gè)神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)。添加完成之后，執(zhí)行此數(shù)據(jù)流。神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練后，會(huì)產(chǎn)生一個(gè)模型。將產(chǎn)生的模型加入到數(shù)據(jù)流中。然后在數(shù)據(jù)流中再增加一個(gè)散點(diǎn)圖節(jié)點(diǎn)，對(duì)散點(diǎn)圖節(jié)點(diǎn)進(jìn)行設(shè)置，如圖1-10所示。estiiLCQBefclaiavaluexf1f1X:estincorVie?:：daimyalueL0題字段:護(hù)Qtincpme即字段:aimvalue克疊字段類型：，無(wú)平滑器匚:函數(shù)選頂外觀輸出注解區(qū)k

9、執(zhí)行取消確定應(yīng)用重置estiiLCQBefclaiavaluexfestiiLCQBefclaiavaluexf所示。圖1-10mamcropuapeseetlOwheatJmN込epatatoes3.3設(shè)置完成之后，單擊執(zhí)行按鈕，得出預(yù)測(cè)值與真實(shí)聲明值的對(duì)照?qǐng)D，如圖1-11I|FJesincoBevclaiBvaJ-iie的散點(diǎn)團(tuán)#1Ei立件編輯號(hào)生成或視劇同乓鉄匕X|/岡峨圖邑！*/靈1F/nO500,000100,ooo-300,000-200,000100,ooo-o-500,0001,000,0001,500,0002,000,estincoBt圖形注解確走圖1-113.4從圖1-1

10、1可以看出，對(duì)大多數(shù)的樣本來(lái)說(shuō)，擬合效果看上去不錯(cuò)。不過(guò)，需要進(jìn)行深一步的分析。在該數(shù)據(jù)流中增加一個(gè)導(dǎo)出節(jié)點(diǎn)，雙擊該節(jié)點(diǎn)，對(duì)該節(jié)點(diǎn)進(jìn)行設(shè)置，如圖1-12所示。在導(dǎo)出字段框中給字段命名為“claimdiff”,，導(dǎo)出為下拉列表中選擇公式。在下面公式框中輸入clem表達(dá)式(abs(claimvalue-$N-claimtype)/claimtype)*100。為了說(shuō)明真實(shí)值和估計(jì)值之間的差距，可以參考claimdiff的直方圖，主要對(duì)那些由神經(jīng)網(wǎng)絡(luò)得出的申請(qǐng)超出預(yù)期的人感興趣。導(dǎo)出字段B導(dǎo)出為:公式3.5在數(shù)據(jù)流中加入一個(gè)直方圖節(jié)點(diǎn)。雙擊打開(kāi)該節(jié)點(diǎn)，在字段下拉列表框中選擇claimdif，f單擊執(zhí)

11、行按鈕，運(yùn)行結(jié)果如圖1-13所示。複式3單荒霎令tlaimdiff辱出対：公式字段類型:(abs(claimvalue-,N:c1aimvalue,)rlaimvalue,)-*100設(shè)置注解取消應(yīng)用重置圖1-133.6增加一個(gè)分隔帶到直方圖中，右擊帶區(qū)生成一個(gè)選擇節(jié)點(diǎn)進(jìn)一步查看那些claimdiff值較大的數(shù)據(jù)，如圖1-14所示。圖1-143.7靈件確定腿消應(yīng)用重置複式：包括丟棄clainndiff=50.45711239306088設(shè)置注解帶狀醫(yī)錢E選擇生成帶狀區(qū)域的選擇節(jié)點(diǎn)命令后，在數(shù)據(jù)流區(qū)域就會(huì)出現(xiàn)一個(gè)帶狀區(qū)域1的選擇節(jié)點(diǎn)。把他添加到claimdiff節(jié)點(diǎn)后，雙擊該節(jié)點(diǎn)，如圖1-15所示。圖1-153.8值計(jì)數(shù)注解maB*的分布在該數(shù)據(jù)流中再增加一個(gè)條形圖節(jié)點(diǎn)，雙擊該節(jié)點(diǎn)，在字段下拉列表中選擇name字段,單擊執(zhí)行按鈕，得出結(jié)果如圖1-16所示。Jnlxl圖1-16本例中建立的數(shù)據(jù)流全貌如圖1-17所示。name61314創(chuàng)name628n