基于Unix系統(tǒng)的通用數(shù)據(jù)挖掘 系統(tǒng)的設(shè)計(jì)

1、本科學(xué)生畢業(yè)論文（設(shè)計(jì)）題目(中 文)基于Unix系統(tǒng)的通用數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)英 文)The Design of General Data MiningSystem Based on Unix姓 名 學(xué) 號 院 （系）電子工程系專業(yè)、年級電子信息工程 級指導(dǎo)教師 湖南科技學(xué)院本科畢業(yè)論文（設(shè)計(jì)）誠信聲明本人鄭重聲明：所呈交的本科畢業(yè)論文（設(shè)計(jì)），是本人在指導(dǎo)老師的指導(dǎo)下，獨(dú)立進(jìn)行研究工作所取得的成果，成果不存在知識產(chǎn)權(quán)爭議，除文中已經(jīng)注明引用的內(nèi)容外，本論文不含任何其他個(gè)人或集體已經(jīng)發(fā)表或撰寫過的作品成果。對本文的研究做出重要貢獻(xiàn)的個(gè)人和集體均已在文中以明確方式標(biāo)明。本人完全意識到本聲明的法律

2、結(jié)果由本人承擔(dān)。 本科畢業(yè)論文（設(shè)計(jì)）作者簽名：二 一 三 年 月 日 畢業(yè)論文（設(shè)計(jì)）任務(wù)書 課題名稱： 基于Unix系統(tǒng)的通用數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)學(xué)生姓名： 系 別：電子工程系專 業(yè)：電子信息工程指導(dǎo)教師： 1、主題詞、關(guān)鍵詞：Unix 日報(bào)表 月報(bào)表 年報(bào)表 數(shù)據(jù)采集 數(shù)據(jù)挖掘 數(shù)據(jù)匹配2、畢業(yè)論文（設(shè)計(jì)）內(nèi)容要求： 為了將大量的數(shù)據(jù)進(jìn)行分析、理解并使數(shù)據(jù)以可理解的信息表示出來，為了解決傳統(tǒng)分析方法的不足,并針對大規(guī)模數(shù)據(jù)的分析處理的難題。數(shù)據(jù)挖掘通過在大量數(shù)據(jù)的基礎(chǔ)上解決了以上問題,為了實(shí)現(xiàn)這個(gè)能功，論文設(shè)計(jì)大致如以下步驟：（1） 解釋有關(guān)名詞以及選題目的；（2） 系統(tǒng)架構(gòu)綜述以及功能模

3、塊的組成；（3） 靜態(tài)結(jié)構(gòu)設(shè)計(jì)和數(shù)據(jù)庫表的創(chuàng)建；（4） 總體類的設(shè)計(jì)和創(chuàng)建方法；（5） 異常設(shè)計(jì)和數(shù)據(jù)整合，得出測試結(jié)果；3、文獻(xiàn)查閱指引：1 周楊. 基于復(fù)雜結(jié)構(gòu)的數(shù)據(jù)挖掘技術(shù)研究D.重慶：重慶大學(xué)，2005，12-15.2 譚浩強(qiáng). C+程序設(shè)計(jì)（第三版）M. 北京：清華大學(xué)出版社，2005，32-42.3 Parata S. C+ Primer Plus（第五版）M. 北京：人民郵電出版社，2005， 156-200.4 曠平劍. 數(shù)據(jù)采掘與知識發(fā)現(xiàn)綜述J. 現(xiàn)代計(jì)算機(jī)，2002(6)，10-13.5 童中明. 數(shù)據(jù)采集設(shè)備網(wǎng)絡(luò)即插即用技術(shù)研究D. 武漢：華中科技大學(xué)， 2007，45-

4、67.6 Molay B. Unix/Linux編程實(shí)踐教程（第一版）M. 北京：清華大學(xué)出版社， 1999，24-45. 4、畢業(yè)論文（設(shè)計(jì)）進(jìn)度安排：（1） 第7學(xué)期的寒假，查文獻(xiàn)，熟悉C語言的使用，學(xué)會文本文件的讀寫；（2） 第8學(xué)期的第1周，查文獻(xiàn)熟悉unix操作系統(tǒng)；（3） 第23周，把握項(xiàng)目的整體架構(gòu)，嘗試畫出簡略的項(xiàng)目總體架構(gòu)圖；（4） 第4周，完成對客戶端讀取部分的設(shè)計(jì)，先完成讀取部分涉及到的異常設(shè)計(jì)；（5） 第5周，完成日志文件的讀取，以及流程中細(xì)節(jié)的分析；（6） 第6周，完成LogReader 類的功能，重點(diǎn)在于備份日志文件和清空日志文件，再完成讀取日志文件和包裝數(shù)據(jù)存入集

5、合之后，完成日志的匹配工作；（7） 改造服務(wù)端，把原來的單線程模式，改成多線程模式，以來完成多任務(wù)的需求，初步編寫論文內(nèi)容；（8） 第7周完成把結(jié)果存入文件，初步完成程序，迎接中期檢查，填寫中期檢查表；進(jìn)一步補(bǔ)充畢業(yè)論文內(nèi)容；（9） 第8周進(jìn)行程序結(jié)果的測試，修改程序并進(jìn)一步完善畢業(yè)論文內(nèi)容；（10）第9周完成畢業(yè)論文初稿；（11）第10周(2013年5月8日)畢業(yè)論文定稿，填寫相關(guān)表格；（12）第11周畢業(yè)論文裝訂，準(zhǔn)備答辯。教研室意見： 負(fù)責(zé)人簽名： 注：本任務(wù)書一式三份，由指導(dǎo)教師填寫，經(jīng)教研室審批后一份下達(dá)給學(xué)生，一份交指導(dǎo)教師，一份留系里存檔。湖南科技學(xué)院本科畢業(yè)論文（設(shè)計(jì)）開題報(bào)告

6、書論文（設(shè)計(jì)）題目基于Unix系統(tǒng)的通用數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)作 者 姓 名沈云凱所屬系、專業(yè)、年級 電子工程系 電子信息工程 專業(yè) 2009 年級指導(dǎo)教師姓名、職稱梁曉琳 講師預(yù)計(jì)字?jǐn)?shù)10000開題日期2012-12-25選題的根據(jù)：1）說明本選題的理論、實(shí)際意義 2）綜述國內(nèi)外有關(guān)本選題的研究動(dòng)態(tài)和自己的見解1）本選題的理論、實(shí)際意義 描述數(shù)據(jù)挖掘系統(tǒng)結(jié)構(gòu)，數(shù)據(jù)實(shí)體，類的定義，類功能的實(shí)現(xiàn)，運(yùn)行環(huán)境等內(nèi)容，從大規(guī)模數(shù)據(jù)庫中(或從其他來源)取得數(shù)據(jù)；選擇合適的特征屬性；挑選合適的樣本策略；剔除數(shù)據(jù)中不正常的數(shù)據(jù)并補(bǔ)足不夠的部分；用恰當(dāng)?shù)慕稻S、變換使數(shù)據(jù)挖掘過程與數(shù)據(jù)模型相適合或相匹配；辨別所得到

7、的是否是知識則需將得到的結(jié)果信息化或可視化，然后與現(xiàn)有的知識相結(jié)合比較。2）國內(nèi)外有關(guān)本選題的研究動(dòng)態(tài)和自己的見解目前，在需要處理大數(shù)據(jù)量的科研領(lǐng)域中，數(shù)據(jù)挖掘受到越來越多的關(guān)注。同時(shí)，在實(shí)際問題中，大量成功運(yùn)用數(shù)據(jù)挖掘的實(shí)例說明了數(shù)據(jù)挖掘?qū)茖W(xué)研究具有很大的促進(jìn)作用。在我個(gè)人看來，數(shù)據(jù)挖掘可以幫助人們對大規(guī)模數(shù)據(jù)進(jìn)行高效的分析處理，以節(jié)約時(shí)間，將更多的精力投入到更高層的研究中，從而提高科研工作的效率。主要內(nèi)容：1 基本名詞介紹系統(tǒng)運(yùn)行環(huán)境2 系統(tǒng)基礎(chǔ)架構(gòu)和幾個(gè)基本模塊3 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)和數(shù)據(jù)庫的創(chuàng)建4 異常處理和數(shù)據(jù)整合，得出測試結(jié)果研究方法：1、 完成模塊設(shè)計(jì)和系統(tǒng)架構(gòu)。2、 代碼的編寫，初

8、步完成數(shù)據(jù)的傳送和整合。3、 做出模擬效果圖，提高研究效率。4、 查閱國內(nèi)外最新資料，開拓視野，對已有的成果加以分析利用。虛心向?qū)熀屯瑢W(xué)學(xué)習(xí)，不斷積累知識，再運(yùn)用所學(xué)知識，完成論文。完成期限和采取的主要措施：1、完成期限：2013.1.1-2013.5.8 (1) 第7學(xué)期的暑假，查文獻(xiàn)，熟悉C語言的使用，學(xué)會編寫類，結(jié)構(gòu)體，線程通信等； (2) 第8學(xué)期的第1周，查文獻(xiàn)學(xué)會socket通信，然后寫好任務(wù)安排和詳細(xì)設(shè)計(jì)； (3) 第23周，完成系統(tǒng)構(gòu)建的框架和系統(tǒng)建模； (4) 第4周，對于客戶端的消費(fèi)者數(shù)據(jù)的提取，對于數(shù)據(jù)的整理和匹配，發(fā)送數(shù)據(jù)到客戶端； (5) 第6周，初步完成本論文的代

9、碼編寫，實(shí)現(xiàn)基本的信息通信，進(jìn)一步編寫論文； (6) 第7周，完成把整合好的結(jié)果存入文件，初步完成程序，迎接中期檢查，填寫中期檢查表； (7) 第8周，進(jìn)行程序結(jié)果的測試，修改程序并進(jìn)一步完善畢業(yè)論文內(nèi)容； (8) 第9周，完成畢業(yè)論文初稿； (9) 第10周，定稿，填寫相關(guān)表格； (10) 第11周，畢業(yè)論文裝訂，準(zhǔn)備答辯。2、采取的主要措施：(1) 密切聯(lián)系本組設(shè)計(jì)成員及畢業(yè)設(shè)計(jì)指導(dǎo)導(dǎo)師，尋求有關(guān)畢業(yè)設(shè)計(jì)信息，確定設(shè)計(jì)課題方向與設(shè)計(jì)內(nèi)容；(2) 充分利用圖書館和網(wǎng)絡(luò)查閱相關(guān)資料，廣泛獲取必要的知識，了解最新研究動(dòng)態(tài)。(3) 虛心向老師請教和同學(xué)進(jìn)行學(xué)習(xí)交流，保障畢業(yè)設(shè)計(jì)的順利完成。主要參考

10、資料：1 周楊. 基于復(fù)雜結(jié)構(gòu)的數(shù)據(jù)挖掘技術(shù)研究D.重慶：重慶大學(xué)，2005，12-15.2 譚浩強(qiáng). C+程序設(shè)計(jì)（第三版）M. 北京：清華大學(xué)出版社，2005，32-42.3 Parata S. C+ Primer Plus（第五版）M. 北京：人民郵電出版社，2005，156-200.4 曠平劍. 數(shù)據(jù)采掘與知識發(fā)現(xiàn)綜述J. 現(xiàn)代計(jì)算機(jī)，2002(6)，10-13.5 童中明. 數(shù)據(jù)采集設(shè)備網(wǎng)絡(luò)即插即用技術(shù)研究D. 武漢：華中科技大學(xué)， 2007，45-67.6 Molay B. Unix/Linux編程實(shí)踐教程（第一版）M. 北京：清華大學(xué)出版社， 1999，24-45.指導(dǎo)教師意見：

11、指導(dǎo)教師簽名： 教研室意見：簽 名： 年 月 日開 題 報(bào) 告 會 紀(jì) 要時(shí)間 2012年12月25日地點(diǎn)三教103與會人員姓 名職務(wù)（職稱）姓 名職務(wù)（職稱）姓 名職務(wù)（職稱）張新安教授潘海軍高級實(shí)驗(yàn)師唐云講師梁曉琳講師李榮講師張丹碩士會議記錄摘要：1 為什么要選這個(gè)題，有何意義？ (張新安老師)答：大量成功運(yùn)用數(shù)據(jù)挖掘的實(shí)例說明了數(shù)據(jù)挖掘?qū)茖W(xué)研究具有很大的促進(jìn)作用。數(shù)據(jù)挖掘可以幫助人們對大規(guī)模數(shù)據(jù)進(jìn)行高效的分析處理,以節(jié)約時(shí)間,將更多的精力投入到更高層的研究中,從而提高科研工作的 效率。2關(guān)于代碼部分使用何種語言編寫，為什么選擇這種語言？（潘海軍老師）答：我選擇的語言是C+，因?yàn)镃+ 語

12、言是一種優(yōu)秀的面向?qū)ο蟪绦蛟O(shè)計(jì)語言。面向?qū)ο蟮脑O(shè)計(jì)思想是在原來結(jié)構(gòu)化程序設(shè)計(jì)方法基礎(chǔ)上的一個(gè)質(zhì)的飛躍，C+完美地體現(xiàn)了面向?qū)ο蟮母鞣N特性。 3程序是如何實(shí)現(xiàn)數(shù)據(jù)傳送的？（唐云老師）答：由服務(wù)端開啟一個(gè)線程，創(chuàng)建一個(gè)socket通信等待客戶端信息的發(fā)送，再由客戶端創(chuàng)建一個(gè)socket通信，和服務(wù)端進(jìn)行端口匹配，進(jìn)行鏈接，成功后就可以進(jìn)行數(shù)據(jù)的傳送會議主持人：記 錄 人：年 月 日指導(dǎo)小組意見負(fù)責(zé)人簽名： 年 月 日系部意見負(fù)責(zé)人簽名：年月日注：此表由學(xué)生本人填寫，一式三份，一份留系里存檔，指導(dǎo)老師和本人各保存一份湖南科技學(xué)院畢業(yè)論文（設(shè)計(jì)）中期檢查表畢業(yè)論文（設(shè)計(jì)）題 目基于Unix系統(tǒng)的通用數(shù)

13、據(jù)挖掘系統(tǒng)的設(shè)計(jì)學(xué)生姓名沈云凱學(xué) 號3系 別電子工程系專 業(yè)電子信息工程指導(dǎo)教師梁曉琳檢查日期2013.4.12指導(dǎo)教師檢查情況記載及修改意見：已經(jīng)完成的工作：1、學(xué)習(xí)模板的使用，學(xué)習(xí)文本文件的讀寫；2、初步完成了各個(gè)模塊的功能實(shí)現(xiàn)；3、完成了部分類的創(chuàng)建；4、基本完成了服務(wù)端和客戶端的連接；5、初步完成了數(shù)據(jù)庫的創(chuàng)建和使用；6、論文大部分內(nèi)容已經(jīng)完成。 下一步的工作：1、進(jìn)一步完善各個(gè)功能模塊之間的交互關(guān)系；2、對于數(shù)據(jù)傳送異常的處理達(dá)到更加完善3、進(jìn)行代碼調(diào)試，確保數(shù)據(jù)挖掘系統(tǒng)正常運(yùn)行；4、將數(shù)據(jù)整合好的數(shù)據(jù)輸出，達(dá)到課題目的；5、同時(shí)繼續(xù)論文的寫作工作，找出錯(cuò)誤，完善論文。簽名： 注：此

14、表用于指導(dǎo)教師在學(xué)生畢業(yè)論文（設(shè)計(jì)）初稿完成后對學(xué)生執(zhí)行任務(wù)書情況進(jìn)行中期檢查時(shí)用，由指導(dǎo)教師填寫。湖南科技學(xué)院畢業(yè)設(shè)計(jì)（論文）指導(dǎo)過程記錄表畢業(yè)論文(設(shè)計(jì))題目基于Unix系統(tǒng)的通用數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)學(xué)生姓名沈云凱學(xué)號3專業(yè)班級電信0903指導(dǎo)教師梁曉琳職稱講師系（教研室）電子工程系（信息技術(shù)教研室）指導(dǎo)過程記錄指導(dǎo)內(nèi)容記錄(一)討論論文實(shí)現(xiàn)的步驟，布置暑假收集和了解相關(guān)資料學(xué) 生 簽 名： 2013年 1月4 日 指導(dǎo)教師簽名： 2013 年 1月4 日指導(dǎo)內(nèi)容記錄(二)完成系統(tǒng)的初步架構(gòu)和模塊的創(chuàng)建。學(xué) 生 簽 名： 2013年 2月 2 日 指導(dǎo)教師簽名： 2013 年 2月 2 日指

15、導(dǎo)內(nèi)容記錄（三)講解Unix系統(tǒng)的特點(diǎn)和客戶端與服務(wù)端之間的聯(lián)系。學(xué) 生 簽 名： 2013年2 月 20 日 指導(dǎo)教師簽名： 2013年2 月 20 日指導(dǎo)內(nèi)容記錄(四)講解socket通信原理和線程的創(chuàng)建基礎(chǔ)知識。學(xué) 生 簽 名： 2013年 3 月 5 日 指導(dǎo)教師簽名： 2013年 3 月 5 日指導(dǎo)過程記錄指導(dǎo)內(nèi)容記錄(五)初步開始論文文字部分（原理）的寫作，討論數(shù)據(jù)傳送模式的細(xì)節(jié)問題。學(xué) 生 簽 名： 2013年3 月23日 指導(dǎo)教師簽名： 2013年3月 23日指導(dǎo)內(nèi)容記錄(六)修改數(shù)據(jù)讀取模塊中的對于文件讀取方式的小錯(cuò)誤。學(xué) 生 簽 名： 2013年 4 月 12 日 指導(dǎo)教師

16、簽名： 2013年 4 月 12 日指導(dǎo)內(nèi)容記錄(七)幫助修改數(shù)據(jù)整合模塊中的對于數(shù)據(jù)處理的修改和論文的格式修改學(xué) 生 簽 名： 2013年 4 月 20 日 指導(dǎo)教師簽名： 2013年 4 月 20 日指導(dǎo)內(nèi)容記錄(八)論文初步定稿。學(xué) 生 簽 名： 2013 年 5 月 3 日 指導(dǎo)教師簽名： 2013 年5 月 3 日答辯小組組長意見(對情況是否屬實(shí)做出意見)組長(簽名)： 年 月 日注：本表與畢業(yè)論文一起裝訂存檔。湖南科技學(xué)院本科畢業(yè)論文（設(shè)計(jì)）評審表論文題目基于Unix系統(tǒng)的通用數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)作者姓名沈云凱所屬系、專業(yè)、年級電子工程系 電子信息工程 專業(yè) 2009年級指導(dǎo)教師姓名

17、、職稱梁曉琳 講師字 數(shù)10000定稿日期2013.5.8中 文 摘 要在電信的業(yè)務(wù)中，有一種Unix實(shí)驗(yàn)室出租業(yè)務(wù)。只要用戶向電信運(yùn)營商申請一個(gè)Unix帳號，就可以遠(yuǎn)程登錄Unix實(shí)驗(yàn)室，并使用Unix系統(tǒng)。 本文根據(jù)市場需要完成了Unix系統(tǒng)的通用數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)。數(shù)據(jù)采集系統(tǒng)能夠采集如下信息：登錄用戶名，登錄的時(shí)間，登出的時(shí)間，登錄總的在線時(shí)間，登錄的實(shí)驗(yàn)室IP，用戶的終端IP等信息。數(shù)據(jù)采集系統(tǒng)就是通過讀取Unix系統(tǒng)日志文件中用戶登入/登出信息，并找出匹配的登入/登出記錄，得到用戶登錄實(shí)驗(yàn)室的登入時(shí)刻、登出時(shí)刻、登錄時(shí)間長度等電信用戶收費(fèi)需要使用的數(shù)據(jù)，然后發(fā)送給數(shù)據(jù)采集服務(wù)器，在

18、服務(wù)器端將這些數(shù)據(jù)以日期為單位保存在數(shù)據(jù)庫中，然后整合這些數(shù)據(jù)形成日報(bào)表，月報(bào)表和年報(bào)表，做為電信收費(fèi)依據(jù)。關(guān)鍵詞數(shù)據(jù)采集 數(shù)據(jù)挖掘 數(shù)據(jù)匹配 英文摘要In the telecommunication businesses, there is a kind of service about Unix laboratory rent. As long as the user applys for a Unix account to telecom operators, you can log in Unix labs and use Unix system.This paper complete

19、d the design of general Unix system data in mining system based on the needs of the market. Data acquisition system can collect the following informations: login user name, the login time, the logout time, total online time, laboratory IP login, the user terminal IP information. Data acquisition sys

20、tem gets the moment of login and logout, login time length such as telecom fee that you need to use the data by reading the Unix system user login or logout information in log files, and finding out the matching login or logout record, when the user logs in laboratory,and then sents the data acquisi

21、tion to server.The data is stored in the database for the unit at the server , and then data acquisition system integrates these data form a daily report, monthly report and annual report as telecom fee basis.關(guān)鍵詞Data acquisition Data mining Data matching指導(dǎo)教師評定成績評審基元評審要素評審內(nèi)涵滿分指導(dǎo)教師實(shí)評分選題質(zhì)量25%目的明確符合要求選題

22、符合專業(yè)培養(yǎng)目標(biāo)，體現(xiàn)學(xué)科、專業(yè)特點(diǎn)和教學(xué)計(jì)劃的基本要求，達(dá)到畢業(yè)論文（設(shè)計(jì)）綜合訓(xùn)練的目的。10理論意義或?qū)嶋H價(jià)值符合本學(xué)科的理論發(fā)展，有一定的學(xué)術(shù)意義；對經(jīng)濟(jì)建設(shè)和社會發(fā)展的應(yīng)用性研究中的某個(gè)理論或方法問題進(jìn)行研究，具有一定的實(shí)際價(jià)值。10選題恰當(dāng)題目規(guī)模適當(dāng)，難易度適中；有一定的科學(xué)性。5能力水平40%查閱文獻(xiàn)資料能力能獨(dú)立查閱相關(guān)文獻(xiàn)資料，歸納總結(jié)本論文所涉及的有關(guān)研究狀況及成果。10綜合運(yùn)用知識能力能運(yùn)用所學(xué)專業(yè)知識闡述問題；能對查閱的資料進(jìn)行整理和運(yùn)用；能對其科學(xué)論點(diǎn)進(jìn)行論證。10研究方案的設(shè)計(jì)能力整體思路清晰；研究方案合理可行。5研究方法和手段的運(yùn)用能力能運(yùn)用本學(xué)科常規(guī)研究方法及

23、相關(guān)研究手段（如計(jì)算機(jī)、實(shí)驗(yàn)儀器設(shè)備等）進(jìn)行實(shí)驗(yàn)、實(shí)踐并加工處理、總結(jié)信息。10外文應(yīng)用能力能閱讀、翻譯一定量的本專業(yè)外文資料、外文摘要和外文參考書目（特殊專業(yè)除外）體現(xiàn)一定的外語水平。5論文質(zhì)量35%文題相符較好地完成論文選題的目的要求。5寫作水平論點(diǎn)鮮明；論據(jù)充分；條理清晰；語言流暢。15寫作規(guī)范符合學(xué)術(shù)論文的基本要求。用語、格式、圖表、數(shù)據(jù)、量和單位、各種資料引用規(guī)范化、符合標(biāo)準(zhǔn)。10論文篇幅10000字左右。5實(shí)評總分 成績等級 指導(dǎo)教師評審意見：指導(dǎo)教師簽名： 說明：評定成績分為優(yōu)秀、良好、中等、及格、不及格五個(gè)等級，實(shí)評總分90100分記為優(yōu)秀，8089分記為良好，7079分記為中

24、等，6069分記為及格，60分以下記為不及格評閱教師評定成績評審基元評審要素評審內(nèi)涵滿分評閱教師實(shí)評分選題質(zhì)量25%目的明確符合要求選題符合專業(yè)培養(yǎng)目標(biāo)，體現(xiàn)學(xué)科、專業(yè)特點(diǎn)和教學(xué)計(jì)劃的基本要求，達(dá)到畢業(yè)論文（設(shè)計(jì)）綜合訓(xùn)練的目的。10理論意義或?qū)嶋H價(jià)值符合本學(xué)科的理論發(fā)展，有一定的學(xué)術(shù)意義；對經(jīng)濟(jì)建設(shè)和社會發(fā)展的應(yīng)用性研究中的某個(gè)理論或方法問題進(jìn)行研究，具有一定的實(shí)際價(jià)值。10選題恰當(dāng)題目規(guī)模適當(dāng)，難易度適中；有一定的科學(xué)性。5能力水平40%查閱文獻(xiàn)資料能力能獨(dú)立查閱相關(guān)文獻(xiàn)資料，歸納總結(jié)本論文所涉及的有關(guān)研究狀況及成果。10綜合運(yùn)用知識能力能運(yùn)用所學(xué)專業(yè)知識闡述問題；能對查閱的資料進(jìn)行整理和

25、運(yùn)用；能對其科學(xué)論點(diǎn)進(jìn)行論證。10研究方案的設(shè)計(jì)能力整體思路清晰；研究方案合理可行。5研究方法和手段的運(yùn)用能力能運(yùn)用本學(xué)科常規(guī)研究方法及相關(guān)研究手段（如計(jì)算機(jī)、實(shí)驗(yàn)儀器設(shè)備等）進(jìn)行實(shí)驗(yàn)、實(shí)踐并加工處理、總結(jié)信息。10外文應(yīng)用能力能閱讀、翻譯一定量的本專業(yè)外文資料、外文摘要和外文參考書目（特殊專業(yè)除外）體現(xiàn)一定的外語水平。5論文質(zhì)量35%文題相符較好地完成論文選題的目的要求。5寫作水平論點(diǎn)鮮明；論據(jù)充分；條理清晰；語言流暢。15寫作規(guī)范符合學(xué)術(shù)論文的基本要求。用語、格式、圖表、數(shù)據(jù)、量和單位、各種資料引用規(guī)范化、符合標(biāo)準(zhǔn)。10論文篇幅10000字左右。5實(shí)評總分 成績等級 評閱教師評審意見： 評

26、閱教師簽名： 說明：評定成績分為優(yōu)秀、良好、中等、及格、不及格五個(gè)等級，實(shí)評總分90100分記為優(yōu)秀，8089分記為良好，7079分記為中等，6069分記為及格，60分以下記為不及格。湖南科技學(xué)院本科畢業(yè)論文（設(shè)計(jì)）答辯記錄表論文題目基于Unix系統(tǒng)的通用數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)作者姓名沈云凱所屬系、專業(yè)、年級電子工程系 電子信息工程專業(yè) 2009年級指導(dǎo)教師姓名、職稱梁曉琳 講師答 辯 會 紀(jì) 要時(shí)間2013年5月18日地點(diǎn)三教103答辯小組成員姓 名職務(wù)（職稱）姓 名職務(wù)（職稱）姓 名職務(wù)（職稱）張新安教授潘海軍高級實(shí)驗(yàn)師梁曉琳講師唐云講師李榮講師張丹碩士答辯中提出的主要問題及回答的簡要情況記錄

27、：1.怎樣實(shí)現(xiàn)數(shù)據(jù)的匹配？（潘海軍老師）答：匹配可分析單個(gè)數(shù)據(jù)源的所有記錄中的重復(fù)程度，同時(shí)返回所比較的每組記錄之間的加權(quán)概率。 然后決定哪些記錄匹配，并對源數(shù)據(jù)采取適當(dāng)?shù)拇胧?.什么是數(shù)據(jù)挖掘？（梁曉琳老師）答：又稱為數(shù)據(jù)庫中知識發(fā)現(xiàn)（Knowledge Discovery from Database，簡稱KDD），它是一個(gè)從大量數(shù)據(jù)中抽取挖掘出未知的，有價(jià)值的模式或規(guī)律等知識的一個(gè)過程3.怎樣實(shí)現(xiàn)日報(bào)表？ （張丹老師）答：把每個(gè)用戶一天的使用服務(wù)器的時(shí)間做一個(gè)統(tǒng)計(jì)一個(gè)用戶一天只有一條記錄。規(guī)則是統(tǒng)計(jì)當(dāng)前對應(yīng)日期的前一天的數(shù)據(jù)并把統(tǒng)計(jì)好的數(shù)據(jù)放入對應(yīng)的天表中。會議主持人：記 錄 人：年 月

28、 日答辯小組意見評語：評定等級： 負(fù)責(zé)人（簽名）： 年 月 日系學(xué)位委員會意見評語：論文（設(shè)計(jì)）最終評定等級：負(fù)責(zé)人（簽名）： 系部（公章） 年月 日校學(xué)位委員會意見評語：評定等級： 負(fù)責(zé)人（簽名）： 年月 日目 錄緒論11 選題背景和基礎(chǔ)理論22 名稱解釋32.1 DMS32.2 系統(tǒng)架構(gòu)32.3 數(shù)據(jù)實(shí)體32.4 用戶登入/登出記錄32.5 用戶的登錄記錄32.6 匹配的登入/登出記錄32.7 未匹配的登入記錄33 系統(tǒng)架構(gòu)綜述43.1 DMS3.0由以下幾個(gè)功能模塊組成43.2 數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)流程44 靜態(tài)結(jié)構(gòu)設(shè)計(jì)54.1數(shù)據(jù)實(shí)體類54.2 登入/登出記錄類（LogRec）成員變量5

29、4.3 匹配的用戶登錄記錄類（MatchedLogRec）成員變量54.4 數(shù)據(jù)庫表設(shè)計(jì)54.4.1表結(jié)構(gòu)：54.4.2 用戶登錄記錄日報(bào)表64.4.3 用戶登錄記錄月報(bào)表：64.4.4 用戶登錄記錄年報(bào)表：65 總體類75.1 Client 類75.2 LogReader類 LogReader類封裝了日志讀取的所有功能。75.3 LogSender類85.4 Server類105.5 DataReciveThread類說明115.6 DataSaveThread類說明115.7 LogDao類說明115.8UserData類126 異常設(shè)計(jì)136.1 客戶端異常類結(jié)構(gòu)圖：136.2 客戶端異

30、常類137 數(shù)據(jù)整合147.1前置條件147.2三種類型14結(jié)論15參考文獻(xiàn)16附錄17致 謝21 基于Unix系統(tǒng)的通用數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)摘 要在電信的業(yè)務(wù)中，有一種Unix實(shí)驗(yàn)室出租業(yè)務(wù)。只要用戶向電信運(yùn)營商申請一個(gè)Unix帳號，就可以遠(yuǎn)程登錄Unix實(shí)驗(yàn)室，并使用Unix系統(tǒng)。 本文根據(jù)市場需要完成了Unix系統(tǒng)的通用數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)。數(shù)據(jù)采集系統(tǒng)能夠采集如下信息：登錄用戶名，登錄的時(shí)間，登出的時(shí)間，登錄總的在線時(shí)間，登錄的實(shí)驗(yàn)室IP，用戶的終端IP等信息。數(shù)據(jù)采集系統(tǒng)就是通過讀取Unix系統(tǒng)日志文件中用戶登入/登出信息，并找出成對的登入/登出記錄，得到用戶登錄實(shí)驗(yàn)室的登入時(shí)刻、登出時(shí)

31、刻、登錄時(shí)間長度等電信用戶收費(fèi)需要使用的數(shù)據(jù)，然后發(fā)送給數(shù)據(jù)采集服務(wù)器，在服務(wù)器端將這些數(shù)據(jù)以日期為單位保存在數(shù)據(jù)庫中，然后整合這些數(shù)據(jù)形成日報(bào)表，月報(bào)表和年報(bào)表，做為電信收費(fèi)依據(jù)。關(guān)鍵字：數(shù)據(jù)采集 數(shù)據(jù)挖掘 數(shù)據(jù)匹配The Design of General Data Mining System Based on UnixAbstractIn the telecommunication businesses, there is a kind of service about Unix laboratory rent. As long as the user applys for a Unix

32、 account to telecom operators, you can log in Unix labs and use Unix system.This paper completed the design of general Unix system data in mining system based on the needs of the market. Data acquisition system can collect the following informations: login user name, the login time, the logout time,

33、 total online time, laboratory IP login, the user terminal IP information. Data acquisition system gets the moment of login and logout, login time length such as telecom fee that you need to use the data by reading the Unix system user login or logout information in log files, and finding out the ma

34、tching login or logout record, when the user logs in laboratory,and then sents the data acquisition to server.The data is stored in the database for the unit at the server , and then data acquisition system integrates these data form a daily report, monthly report and annual report as telecom fee ba

35、sis.【Key words】 Data acquisition Data mining Data matching緒論對于數(shù)據(jù)挖掘的定義有多種說法，但是大多數(shù)學(xué)者比較認(rèn)同以下說法，即數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中提取隱含在其中的、人們事先不知道的但又是潛在有用的信息和知識的過程1。與數(shù)據(jù)挖掘相關(guān)的術(shù)語有數(shù)據(jù)融合、數(shù)據(jù)分析、決策支持和知識發(fā)現(xiàn)等。經(jīng)過幾年的發(fā)展，數(shù)據(jù)挖掘領(lǐng)域也提出了許多挖掘方法，如關(guān)聯(lián)分析、決策樹和統(tǒng)計(jì)學(xué)方法等2。數(shù)據(jù)是知識的源泉。但是，大量的數(shù)據(jù)與擁有許多有用的知識完全是兩回事。過去幾年中，從數(shù)據(jù)庫中發(fā)現(xiàn)知識這一領(lǐng)域發(fā)展的很快。廣闊的市場

36、和研究利益促使這一領(lǐng)域的飛速發(fā)展。計(jì)算機(jī)技術(shù)和數(shù)據(jù)收集技術(shù)的進(jìn)步使人們可以從更加廣泛的范圍和幾年前不可想象的速度收集和存儲信息。收集數(shù)據(jù)是為了得到信息，然而大量的數(shù)據(jù)本身并不意味信息3。在過去，我們常用的知識獲取方法是由知識工程師把專家經(jīng)驗(yàn)知識經(jīng)過分析、篩選、比較、綜合、再提取出知識和規(guī)則。然而，由于知識工程師所擁有知識的有局限性，所以對于獲得知識的可信度就應(yīng)該打個(gè)折扣。目前，統(tǒng)的知識獲取技術(shù)面對巨型數(shù)據(jù)倉庫無能為力，數(shù)據(jù)挖掘技術(shù)就應(yīng)運(yùn)而生。 數(shù)據(jù)的迅速增加與數(shù)據(jù)分析方法的滯后之間的矛盾越來越突出，人們希望在對已有的大量數(shù)據(jù)分析的基礎(chǔ)上進(jìn)行科學(xué)研究、商業(yè)決策或者企業(yè)管理，但是目前所擁有的數(shù)據(jù)分

37、析工具很難對數(shù)據(jù)進(jìn)行深層次的處理，使得人們只能望“數(shù)”興嘆。數(shù)據(jù)挖掘正是為了解決傳統(tǒng)分析方法的不足，并針對大規(guī)模數(shù)據(jù)的分析處理而出現(xiàn)的。目前，在需要處理大數(shù)據(jù)量的科研領(lǐng)域中，數(shù)據(jù)挖掘受到越來越多的關(guān)注。數(shù)據(jù)挖掘可以幫助人們對大規(guī)模數(shù)據(jù)進(jìn)行高效的分析處理，以節(jié)約時(shí)間，將更多的精力投入到更高層的研究中，從而提高科研工作的效率5。一般說來，它使用的語言是C+，用它編寫代碼來實(shí)現(xiàn)各個(gè)模塊的功能。另外，知識獲取(Knowledge Discovery inDatabases，簡稱KDD)稱為數(shù)據(jù)庫中知識獲取，它代表從低層次數(shù)據(jù)中提取高層次知識的全過程，包括數(shù)據(jù)信息的收集，數(shù)據(jù)原型的確定，相關(guān)函數(shù)的分析，

38、知識的抽取和數(shù)據(jù)模式分析。統(tǒng)計(jì)學(xué)中常指的是無假設(shè)證實(shí)所進(jìn)行的數(shù)據(jù)測量和分析。用恰當(dāng)?shù)慕稻S、變換使數(shù)據(jù)挖掘過程與數(shù)據(jù)模型相適合或相匹配。這些步驟是從數(shù)據(jù)到知識的必由之路。每一步驟都可能是成功的關(guān)鍵或失敗的開始6。 1 選題背景和基礎(chǔ)理論描述數(shù)據(jù)挖掘系統(tǒng)結(jié)構(gòu)，數(shù)據(jù)實(shí)體，類的定義，類功能的實(shí)現(xiàn)，運(yùn)行環(huán)境等內(nèi)容，在需要處理大數(shù)據(jù)量的科研領(lǐng)域中，數(shù)據(jù)挖掘受到越來越多的關(guān)注7。同時(shí)，在實(shí)際問題中，大量成功運(yùn)用數(shù)據(jù)挖掘的實(shí)例說明了數(shù)據(jù)挖掘?qū)茖W(xué)研究具有很大的促進(jìn)作用。數(shù)據(jù)挖掘可以幫助人們對大規(guī)模數(shù)據(jù)進(jìn)行高效的分析處理，以節(jié)約時(shí)間，將更多的精力投入到更高層的研究中，從而提高科研工作的效率。簡單地說，數(shù)據(jù)挖掘是

39、從大量數(shù)據(jù)中提取或“挖掘”知識8。該術(shù)語實(shí)際上有點(diǎn)用詞不當(dāng)。注意，從礦石或砂子挖掘黃金稱作黃金挖掘，而不是砂石挖掘。這樣，數(shù)據(jù)挖掘應(yīng)當(dāng)更正確地命名為“從數(shù)據(jù)中挖掘知識”，不幸的是它有點(diǎn)長。“知識挖掘”是一個(gè)短術(shù)語，可能不能強(qiáng)調(diào)從大量數(shù)據(jù)中挖掘。畢竟，挖掘是一個(gè)很生動(dòng)的術(shù)語，它抓住了從大量的、未加工的材料中發(fā)現(xiàn)少量金塊這一過程的特點(diǎn)。這種用詞不當(dāng)攜帶了“數(shù)據(jù)”和“挖掘”，成了流行的選擇。還有一些術(shù)語，具有和數(shù)據(jù)挖掘類似，但稍有不同的含義，如數(shù)據(jù)庫中知識挖掘、知識提取、數(shù)據(jù)/模式分析、數(shù)據(jù)考古和數(shù)據(jù)捕撈。從數(shù)據(jù)倉庫觀點(diǎn)，數(shù)據(jù)挖掘可以看作聯(lián)機(jī)分析處理（OLAP）9的高級階段。然而，通過結(jié)合更高級的數(shù)

40、據(jù)理解技術(shù)，數(shù)據(jù)挖掘比數(shù)據(jù)倉庫的匯總型分析處理走得更遠(yuǎn)。 盡管市場上已有許多“數(shù)據(jù)挖掘系統(tǒng)”，但是并非所有的都能進(jìn)行真正的數(shù)據(jù)挖掘。不能處理大量數(shù)據(jù)的數(shù)據(jù)分析系統(tǒng)，最多稱作機(jī)器學(xué)習(xí)系統(tǒng)、統(tǒng)計(jì)數(shù)據(jù)分析工具或?qū)嶒?yàn)系統(tǒng)原型。一個(gè)系統(tǒng)只能夠進(jìn)行數(shù)據(jù)或信息提取，包括在大型數(shù)據(jù)庫找出聚集值或回答演繹查詢，應(yīng)當(dāng)歸類為數(shù)據(jù)庫系統(tǒng)，或信息提取系統(tǒng)，或演繹數(shù)據(jù)庫系統(tǒng)。 數(shù)據(jù)挖掘10涉及多學(xué)科技術(shù)的集成，包括數(shù)據(jù)庫技術(shù)、統(tǒng)計(jì)、機(jī)器學(xué)習(xí)、高性能計(jì)算、模式識別、神經(jīng)網(wǎng)絡(luò)、數(shù)據(jù)可視化、信息提取、圖象與信號處理和空間數(shù)據(jù)分析。在本書討論數(shù)據(jù)挖掘時(shí)，我們采用數(shù)據(jù)庫觀點(diǎn)。著重強(qiáng)調(diào)大型數(shù)據(jù)庫中有效的和可規(guī)?；臄?shù)據(jù)挖掘技術(shù)。一個(gè)

41、算法是可規(guī)?；?，如果給定內(nèi)存和磁盤空間等可利用的系統(tǒng)資源，其運(yùn)行時(shí)間應(yīng)當(dāng)隨數(shù)據(jù)庫大小線性增加。通過數(shù)據(jù)挖掘，可以從數(shù)據(jù)庫提取有趣的知識、規(guī)律、或高層信息，并可以從不同角度觀察或?yàn)g覽。發(fā)現(xiàn)的知識可以用于決策、過程控制、信息管理、查詢處理、等等11。因此，數(shù)據(jù)挖掘被信息產(chǎn)業(yè)界認(rèn)為是數(shù)據(jù)庫系統(tǒng)5最重要的前沿之一，是信息產(chǎn)業(yè)最有前途的交叉學(xué)科。2 名稱解釋2.1 DMS數(shù)據(jù)挖掘系統(tǒng)（Data Mining System）2.2 系統(tǒng)架構(gòu)描述系統(tǒng)的核心功能組件和組件間的相互關(guān)聯(lián)。2.3 數(shù)據(jù)實(shí)體描述系統(tǒng)需要采集，處理和保存的數(shù)據(jù)的結(jié)構(gòu)。2.4 用戶登入/登出記錄在登錄日志文件中記錄的用戶登入U(xiǎn)nix系

42、統(tǒng)的日志記錄，該日志記錄包含用戶的登錄名，用戶登入U(xiǎn)nix的時(shí)刻，登錄的終端機(jī)器IP等信息。2.5 用戶的登錄記錄將用戶的登入記錄和登出記錄按照對應(yīng)關(guān)系匹配起來，形成一條完整的登錄記錄，登錄記錄中包含以下信息：用戶登錄名，登入時(shí)刻，登出時(shí)刻，登錄時(shí)長，登錄終端機(jī)器IP等。2.6 匹配的登入/登出記錄等同于戶用的登錄記錄。2.7 未匹配的登入記錄在登錄日志文件中理論上一條登入記錄跟一條登出記錄匹配，但有可能在我們采集數(shù)據(jù)時(shí)用戶還沒有登出，所以日志文件中可能出現(xiàn)沒有登出記錄與之匹配的登入記錄，這些登入記錄我們將其保存在一個(gè)指定的文件中，在下次采集時(shí)再讀取。3 系統(tǒng)架構(gòu)綜述3.1 DMS3.0由以下

43、幾個(gè)功能模塊組成DMS3.0由這些模塊組成：數(shù)據(jù)讀取模塊，數(shù)據(jù)匹配模塊，數(shù)據(jù)發(fā)送模塊， 數(shù) 據(jù)接收模塊，數(shù)據(jù)保存模塊和數(shù)據(jù)整合模塊，每個(gè)模塊的核心功能如下數(shù)據(jù)讀取模塊：負(fù)責(zé)從用戶登錄記錄文件和未匹配登錄記錄文件中讀取用戶的登錄記錄數(shù)據(jù)，將其轉(zhuǎn)化為LogRec對象，然后傳遞給數(shù)據(jù)匹配模塊匹配。 數(shù)據(jù)匹配模塊：負(fù)責(zé)將用戶登錄記錄數(shù)據(jù)，按照登入/登出的關(guān)系匹配起來，形成匹配的用戶登錄記錄數(shù)據(jù)（MatchedLogRec對象），并計(jì)算出每次登錄的時(shí)間長度。數(shù)據(jù)發(fā)送模塊：將匹配好的用戶登錄記錄通過網(wǎng)絡(luò)發(fā)送到采集系統(tǒng)服務(wù)器。數(shù)據(jù)接收模塊：服務(wù)器端接收匹配好的用戶登錄記錄數(shù)據(jù)。數(shù)據(jù)保存模塊：將接受到的用戶登

44、錄記錄數(shù)據(jù)保存到數(shù)據(jù)庫的用戶登錄記錄明細(xì)表中。數(shù)據(jù)整合模塊：將用戶登錄記錄明細(xì)表中的數(shù)據(jù)整合成日報(bào)表，月報(bào)表和年報(bào)表。3.2 數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)流程整個(gè)數(shù)據(jù)挖掘系統(tǒng)的大體流程圖如圖1所示。圖1 數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)流程圖4 靜態(tài)結(jié)構(gòu)設(shè)計(jì)4.1數(shù)據(jù)實(shí)體類根據(jù)需求分析，我們設(shè)計(jì)出以下數(shù)據(jù)實(shí)體類：LogRec：登入/登出記錄類，用來表示一條原始的用戶登入/登出記錄。MatchedLogRec：匹配的登錄記錄類，用來表示一條匹配的用戶登錄記錄。以下分別對這兩個(gè)實(shí)體類的設(shè)計(jì)作出說明：4.2 登入/登出記錄類（LogRec）成員變量 登入/登出記錄類成員變量說明如表1所示。表1 登入/登出記錄表成員變量定義

45、成員變量說明備注char logname32用戶登錄名int pid用戶登錄的進(jìn)程IDshort type登錄記錄類型7=登入；8=登出int logtime用戶登入/登出時(shí)刻(秒)原日志中數(shù)據(jù)單位是秒char logip257用戶登錄IP4.3 匹配的用戶登錄記錄類（MatchedLogRec）成員變量 匹配好的登入/登出成員變量說明如表2所示。表2 匹配好的登入/登出記錄表成員變量定義成員變量說明備注char logname32用戶登錄名char logip32用戶登錄終端IPint logoutTime用戶登出時(shí)刻(秒)原日志中數(shù)據(jù)單位是秒int durations用戶在線時(shí)間長度(秒)

46、char labip257實(shí)驗(yàn)室IP4.4 數(shù)據(jù)庫表設(shè)計(jì)4.4.1表結(jié)構(gòu)：用戶登錄記錄明細(xì)表如表3所示。表3 用戶登錄記錄明細(xì)表字段類型長度約束備注登錄記錄編號Number15PK系統(tǒng)自動(dòng)生成用戶IDchar32NOT NULL實(shí)驗(yàn)室IPchar20NOT NULL用戶終端IPchar257NOT NULL登入時(shí)間Number20NOT NULL登出時(shí)間Number20NOT NULL登錄時(shí)長Number12由登出時(shí)間-登入時(shí)間求得 4.4.2 用戶登錄記錄日報(bào)表用戶登錄記錄日報(bào)表如表4所示。表4 日報(bào)表字段類型長度約束備注用戶IDchar32PK實(shí)驗(yàn)室IPchar20PK日登錄時(shí)長Numbe

47、r12NOT NULL登出時(shí)間Date4.4.3 用戶登錄記錄月報(bào)表： 用戶登錄記錄月報(bào)表如表5所示。表5 月報(bào)表字段類型長度約束備注用戶IDchar32PK實(shí)驗(yàn)室IPchar257PK月登錄時(shí)長Number12NOT NULL登出時(shí)間Date4.4.4 用戶登錄記錄年報(bào)表： 用戶登錄記錄年報(bào)表如表6所示。表6 年報(bào)表字段類型長度約束備注用戶IDchar32PK實(shí)驗(yàn)室IPchar20PK年登錄時(shí)長Number12NOT NULL登出時(shí)間Date5 總體類5.1 Client 類Client類封裝了數(shù)據(jù)采集系統(tǒng)客戶端的所有功能。 sendLogs方法定義如表7所示表7 sendLongs的定義方

48、法原型public void sendLogs()方法功能執(zhí)行數(shù)據(jù)采集客戶端的完整過程：logReader 負(fù)責(zé)讀取數(shù)據(jù) logSender負(fù)責(zé)發(fā)送數(shù)據(jù)參數(shù)說明無返回類型void拋出異常調(diào)用類的異常5.2 LogReader類LogReader類封裝了日志讀取的所有功能。LogReader成員變量的定義如表8所示。表8 LogReader成員變量的定義成員變量定義成員變量說明char logFileName50用戶登錄日志文件名char backFileName50日志備份文件名 char failLoginsFileName50未匹配成功的登錄記錄保存文件名logins list保存登錄記錄的集合logouts list保存登出記錄的集合matches l