下載本文檔
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
1、【W(wǎng)ord版本下載可任意編輯】 GT4的聚類分析算法分析 1.引言 計算機(jī)網(wǎng)絡(luò)技術(shù)的普及與應(yīng)用給人們的生活帶來了翻天覆地的變化,同時在網(wǎng)絡(luò)上產(chǎn)生了大量雜亂無章的數(shù)據(jù)。而網(wǎng)格技術(shù)、Web技術(shù)的發(fā)展,為人們從分布的網(wǎng)絡(luò)資源中尋找有價值的信息提供了新的技術(shù)支持,同時也產(chǎn)生了許多基于網(wǎng)格的數(shù)據(jù)挖掘系統(tǒng)。而數(shù)據(jù)挖掘算法又是決定一個數(shù)據(jù)挖掘系統(tǒng)性能的主要衡量指標(biāo)。任何軟件系統(tǒng)的設(shè)計都離不開算法,數(shù)據(jù)挖掘技術(shù)的執(zhí)行效率也與數(shù)據(jù)挖掘算法有關(guān),隨著數(shù)據(jù)庫技術(shù)與數(shù)據(jù)挖掘技術(shù)的成熟與發(fā)展,像分類、聚類、決策樹、關(guān)聯(lián)等等數(shù)據(jù)挖掘算法已相當(dāng)成熟,可以研究借鑒現(xiàn)有數(shù)據(jù)挖掘方法、數(shù)據(jù)挖掘模式、數(shù)據(jù)挖掘流程,建立一個基于網(wǎng)格
2、的數(shù)據(jù)挖掘系統(tǒng)。筆者以眾多數(shù)據(jù)挖掘算法中的聚類分析算法為例,介紹基于GT4(Globus Tookit 4.0的簡稱,GT4的開發(fā)工具包(Java Web Service Core)的數(shù)據(jù)挖掘算法的設(shè)計過程。 聚類分析(Clustering Analysis)是一個應(yīng)用比較廣泛的數(shù)據(jù)挖掘算法,算法的理論研究與實(shí)踐應(yīng)用都已經(jīng)很成熟,把這一成熟的理論應(yīng)用于基于網(wǎng)格的分布式系統(tǒng)中,會大大提高數(shù)據(jù)挖掘的效率。本文主要研究如何將聚類分析的CURE(Cluster Using Representation)算法和K-平均方法算法應(yīng)用于基于GT4數(shù)據(jù)挖掘系統(tǒng)中。 2.系統(tǒng)構(gòu)造設(shè)計 基于GT4數(shù)據(jù)挖掘系統(tǒng)的數(shù)
3、據(jù)源是分布式數(shù)據(jù)源,分布式數(shù)據(jù)源是指在物理上分布而邏輯上集中的數(shù)據(jù)源系統(tǒng)。在該系統(tǒng)中,處在這個網(wǎng)格中的每臺計算機(jī)就是這個網(wǎng)格的一個節(jié)點(diǎn),稱之為網(wǎng)格節(jié)點(diǎn)。在眾多的節(jié)點(diǎn)中,要有一個網(wǎng)格節(jié)點(diǎn)來控制和管理其他的節(jié)點(diǎn),這個節(jié)點(diǎn)就叫做網(wǎng)格中心控制節(jié)點(diǎn),決策支持都是由網(wǎng)格中心控制節(jié)點(diǎn)完成的。如果要完成某個數(shù)據(jù)挖掘任務(wù),則可以由空閑的網(wǎng)格節(jié)點(diǎn)先按挖掘需求來完成本節(jié)點(diǎn)的挖掘任務(wù),再由網(wǎng)格中心控制節(jié)點(diǎn)來匯總每個節(jié)點(diǎn)的數(shù)據(jù)挖掘情況。局部網(wǎng)格節(jié)點(diǎn)管理的信息具有局限性,涉及的范圍較小,主要完成單個節(jié)點(diǎn)數(shù)據(jù)的管理,對局部的數(shù)據(jù)挖掘結(jié)果開展匯總分析,但是這些局部節(jié)點(diǎn)的數(shù)據(jù)與全局節(jié)點(diǎn)的數(shù)據(jù)又是有一定關(guān)聯(lián)的。根據(jù)以上的分析可知
4、,網(wǎng)格平臺下的數(shù)據(jù)挖掘任務(wù)由全局?jǐn)?shù)據(jù)挖掘與局部數(shù)據(jù)挖掘共同完成。 3.算法的Web Service設(shè)計 3.1 全局聚類算法的Web Service設(shè)計 網(wǎng)格環(huán)境下的全局控制網(wǎng)格節(jié)點(diǎn)與局部網(wǎng)格節(jié)點(diǎn)間的關(guān)系我們可以理解為上下層的關(guān)系,這樣就可以借鑒基于層次的聚類分析算法,按照層次的自底向上的聚類方式,把全局控制節(jié)點(diǎn)當(dāng)成是層次聚類的頂層。本課題全局聚類算法借鑒傳統(tǒng)的利用代表點(diǎn)聚類算法CURE. CURE算法將層次方法與劃分方法結(jié)合到一起,選用有代表性的、固定數(shù)目的空間點(diǎn)來表示一個聚類。算法在開始時,每個點(diǎn)都是一個簇,然后將距離近的簇結(jié)合,一直到簇的個數(shù)為要求的K.首先把每個數(shù)據(jù)點(diǎn)即局部網(wǎng)格節(jié)點(diǎn)看成
5、一個聚類,然后再以一個特定的收縮因子向中心收縮它們。 CURE算法的主要執(zhí)行步驟如下: (1)從數(shù)據(jù)源樣本對象中隨機(jī)抽取樣本集,生成一個樣本集合S; (2)將樣本集合S分割為一組劃分,每個劃分大小為S/p; (3)對每個劃分部分開展局部聚類; (4)通過隨機(jī)采樣剔除聚類增長太慢的異常數(shù)據(jù); (5)對局部聚類開展聚類,落在每個新形成的聚類中的代表性點(diǎn),則根據(jù)用戶定義的收縮因子收縮或移向聚類中心; (6)用相應(yīng)的標(biāo)記對聚類中的數(shù)據(jù)標(biāo)上聚類號。 有了數(shù)據(jù)挖掘算法,就可以完成數(shù)據(jù)挖掘任務(wù)了。全局聚類算法的主要功能是響應(yīng)用戶的數(shù)據(jù)挖掘請求,將對應(yīng)的請求發(fā)送給局部網(wǎng)格節(jié)點(diǎn),將局部網(wǎng)格節(jié)點(diǎn)的挖掘結(jié)果整理輸出
6、。全局聚類算法Web Service資源的構(gòu)造包括算法Web Service接口、算法資源屬性文檔、算法功能實(shí)現(xiàn)和算法功能發(fā)布四個部分。 利用傳統(tǒng)的聚類算法完成全局的數(shù)據(jù)的并行挖掘重要的一步就是將全局聚類算法部署到GT4中,完成全局聚類算法的Web Service設(shè)計要經(jīng)過過以下幾步: 步:用WSDL(Web Service描述語言,是Web Service提供的XLM語言)來描述數(shù)據(jù)挖掘服務(wù)接口,該服務(wù)接口可以用Java來定義,利用Java-to-WSDL工具把Java定義的接口轉(zhuǎn)為WSDL文件。 第二步:用Java編寫全局聚類算法(CURE)代碼; 第三步:用WSDD配置文件和JNDI(G
7、T4自帶文件)部署文件; 第四步:用Ant工具打包上面的所有文件,生成一個GAR文件; 第五步:向Web Service容器部署全局?jǐn)?shù)據(jù)挖掘服務(wù)。 3.2 局部聚類算法的Web Service設(shè)計 局部聚類算法的主要功能是完成局部網(wǎng)格節(jié)點(diǎn)的數(shù)據(jù)挖掘任務(wù),并把數(shù)據(jù)挖掘結(jié)果上傳到全局控制節(jié)點(diǎn)。局部網(wǎng)格節(jié)點(diǎn)的數(shù)據(jù)挖掘任務(wù)與傳統(tǒng)的單機(jī)數(shù)據(jù)挖掘任務(wù)類似,本課題局部聚類算法使用傳統(tǒng)的聚類算法K-平均方法,以K為參數(shù),把N個對象分為K個簇,簇內(nèi)具有較高的相似度,而簇間的相似度較低.本論文的數(shù)據(jù)挖掘任務(wù)主要是由局部網(wǎng)格節(jié)點(diǎn)實(shí)現(xiàn)的,下面就詳細(xì)的介紹K-平均算法的主要執(zhí)行過程如下: (1)從數(shù)據(jù)集中任意選擇K個對
8、象作為各個簇的初始中心。 (2)根據(jù)現(xiàn)有的簇中心情況,利用距離公式計算其他對象到各個簇中心的距離。(可選的距離公式有:歐幾里、行德公式、距離公式、曼哈坦距離公式、明考斯基距離公式)。 (3)根據(jù)所得各個對象的距離值,將對象分配給距離近的中心所對應(yīng)的簇。 (4)重新生成各個簇的中心。 (5)判斷是否收斂。如果收斂,即簇不在發(fā)生變化,那么停止劃分,否則,重復(fù)(2)到(5)。 K-平均算法是一個經(jīng)典的聚類算法,將K-平均算法部署到GT4中,完成局部聚類算法的Web Service設(shè)計,部署方法與全局算法相似。 4.結(jié)論 基于GT4的數(shù)據(jù)挖掘系統(tǒng)中的數(shù)據(jù)挖掘服務(wù)資源有網(wǎng)格的中心控制節(jié)點(diǎn)(即全局節(jié)點(diǎn))開展統(tǒng)一的管理,在局部網(wǎng)格節(jié)點(diǎn)挖掘過程中,根據(jù)其處理能力分配的數(shù)據(jù)集給局部節(jié)點(diǎn),從而使整個系統(tǒng)的計算
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 社區(qū)治理實(shí)戰(zhàn)“小切口”如何發(fā)揮“大作用”
- 4.2 凝聚法治共識 課件-2024-2025學(xué)年統(tǒng)編版道德與法治九年級上冊
- 2024上半年小游戲出海報告
- 5月快閃店洞察分析報告
- 夫妻和平離婚協(xié)議書書范文
- 房屋改造協(xié)議書合同書范本
- 安裝工程施工安全協(xié)議書書
- 2009年上海車展網(wǎng)民關(guān)注度報告
- 公司物業(yè)管理委托服務(wù)合同書書
- 《2024年 結(jié)構(gòu)化學(xué)混合式教學(xué)與小班課教學(xué)介紹-晶體結(jié)構(gòu)部分》范文
- 南京市2023-2024學(xué)年九年級上學(xué)期期末數(shù)學(xué)模擬試卷
- 2024產(chǎn)品銷售代理合作合同協(xié)議書
- 血液透析營養(yǎng)管理
- SY-T 5333-2023 鉆井工程設(shè)計規(guī)范
- 2024年(茅臺學(xué)院)四級品酒師職業(yè)理論考試題庫-下(多選、判斷題)
- 冠脈介入進(jìn)修匯報
- 門診管理醫(yī)療質(zhì)量控制指標(biāo)2024版學(xué)習(xí)課件
- 2024云南紅河州個舊市城市發(fā)展集團(tuán)限公司招聘工作人員2人公開引進(jìn)高層次人才和急需緊缺人才筆試參考題庫(共500題)答案詳解版
- 新概念英語第一冊
- 記敘文標(biāo)題的作用+++課件-++2024年中考語文二輪專題
- 河南省城市生命線安全工程建設(shè)指引V1
評論
0/150
提交評論