計算機軟件及應(yīng)用數(shù)據(jù)挖掘chap1緒論

數(shù)據(jù)挖掘原理與實踐授課教師：李霞課件地址：網(wǎng)絡(luò)課堂進入(請于1周內(nèi)注冊)email:辦公室：院系辦公樓2162023/7/10教材及參考書教材:蔣盛益,李霞,鄭琪.數(shù)據(jù)挖掘原理與實踐.北京：電子工業(yè)出版社.2021.8參考書：(美)譚,(美)斯坦巴赫著,范明等譯.數(shù)據(jù)挖掘?qū)д摗獔D靈計算機科學(xué)叢書.北京：人民郵電出版社.2006.5(印度)西蒙()等著；范明等譯.數(shù)據(jù)挖掘根底教程.北京：機械工業(yè)出版社.2021.1(加)韓家煒,堪博(Kamber,M.)著,范明,孟小峰譯.數(shù)據(jù)挖掘概念與技術(shù)(原書第2版).北京：機械工業(yè)出版社.2007.3薛薇,陳歡歌.Clementine數(shù)據(jù)挖掘方法及應(yīng)用.北京：電子工業(yè)出版社.2021.92023/7/10相關(guān)網(wǎng)站數(shù)據(jù)挖掘研究院(中科院)：:///中國統(tǒng)計網(wǎng)：://itongji/中國商業(yè)智能網(wǎng)：://課程安排30%大作業(yè)分10%平時分60%期末考試分實驗安排每一個關(guān)鍵知識點配有實驗實驗環(huán)境：ClementineWeka課程開設(shè)背景2006級開始開設(shè)?數(shù)據(jù)挖掘?課程數(shù)據(jù)挖掘興趣小組現(xiàn)有三個年級同學(xué)60余人。目前主要研究方向：web挖掘、音樂數(shù)據(jù)分析〔包含歌詞和音頻〕、社會網(wǎng)絡(luò)分析、作文自動評分等。自2006年10月份開始組建以來，數(shù)據(jù)挖掘興趣小組成員取得了系列成績：獲2021年“安利杯〞泛珠三角大學(xué)生計算機畢業(yè)設(shè)計作品大賽銀獎、廣東賽區(qū)一等獎，2021年、2021年“安利杯〞泛珠三角大學(xué)生計算機畢業(yè)設(shè)計作品大賽廣東賽區(qū)二等獎、一等獎，2021年、2021年挑戰(zhàn)杯廣東賽區(qū)二等獎、三等獎各一項；在核心期刊發(fā)表、錄用論文10余篇；科研訓(xùn)練工程立項20余項(其中廣東省大學(xué)生創(chuàng)新實驗工程省級3項、校級3項)。完成元搜索引擎、跨語言學(xué)術(shù)搜索引擎、基于文本聚類的垃圾郵件識別系統(tǒng)、增量式爬蟲等應(yīng)用系統(tǒng)。有4位同學(xué)免試攻讀本校的碩士研究生，有6位同學(xué)分別去了香港、澳大利亞和英國攻讀碩士學(xué)位。2023/7/10第1章緒論

引例數(shù)據(jù)挖掘產(chǎn)生的背景

數(shù)據(jù)挖掘任務(wù)及過程

數(shù)據(jù)挖掘應(yīng)用數(shù)據(jù)挖掘技術(shù)的前景、研究熱點2023/7/101.1引例

超市貨架的組織廣告精準(zhǔn)投放客戶流失分析智能搜索入侵檢測

2023/7/10超市貨架的組織——“啤酒與尿布〞

貨架的組織會影響商品的銷售！超市商品按什么原那么擺放？尿布與啤酒被擺在一起。為什么？原來，美國的婦女通常在家照顧孩子，所以她們經(jīng)常會囑咐丈夫在下班回家的路上為孩子買尿布，而丈夫在買尿布的同時又會順手購置自己愛喝的啤酒。這種現(xiàn)象就是賣場中商品之間的關(guān)聯(lián)性，研究“啤酒與尿布〞關(guān)聯(lián)的方法就是購物籃分析，購物籃分析是沃爾瑪秘而不宣的獨門武器，購物籃分析可以幫助超市在銷售過程中找到具有關(guān)聯(lián)關(guān)系的商品，并以此獲得銷售收益的增長！關(guān)聯(lián)銷售!2023/7/10網(wǎng)上購物——“定向營銷〞(廣告投放)

隨著Web2.0應(yīng)用的推廣，網(wǎng)絡(luò)社區(qū)效勞SNS(SocialNetworkService)已成為互聯(lián)網(wǎng)關(guān)注的熱點。通過挖掘網(wǎng)絡(luò)中潛在的社區(qū)人群，企業(yè)可以更好地搜索潛在消費者和傳播對象，將分散的目標(biāo)顧客和受眾精準(zhǔn)地聚集在一起，精確地把廣告投放給目標(biāo)客戶，這不但有效降低單人營銷費用，而且可以減少對非目標(biāo)客戶的干擾，提高廣告的滿意度，最終實現(xiàn)網(wǎng)絡(luò)廣告投放策略的真正價值。2023/7/10客戶流失分析

在劇烈競爭的市場，往往采取名目繁多的促銷活動和層出不窮的廣告宣傳來吸引新客戶、留住老客戶；研究發(fā)現(xiàn)：開展一個新客戶比保持一個老客戶的費用要高出5倍以上。客戶流失分析是以客戶的歷史消費行為數(shù)據(jù)、客戶的根底信息、客戶擁有的產(chǎn)品信息為根底，通過研究綜合考慮流失的特點和與之相關(guān)的多種因素，以此建立可以在一定時間范圍內(nèi)預(yù)測客戶流失傾向的預(yù)測模型，以便對流失進行預(yù)測、并對流失的后果進行評估2023/7/10信息檢索——“智能搜索〞

Web信息檢索，即搜索引擎，是能有效解決通過網(wǎng)絡(luò)來快速發(fā)現(xiàn)有用信息的重要工具。傳統(tǒng)的搜索引擎(百度、Google、Bing、搜搜等)，在用戶輸入關(guān)鍵詞進行查詢后，返回的是成千上萬的相關(guān)結(jié)果，往往需要用戶花費大量時間瀏覽與選擇，不能滿足用戶快速獲取信息的愿望。因此大量學(xué)者以及研究人員開始研究行業(yè)化、個性化、智能化的第三代搜索引擎。

2023/7/10

例如：?通過跨語言信息檢索可方便地檢索不同語種的網(wǎng)絡(luò)資源?通過文本聚類算法對搜索返回結(jié)果進行劃分處理，用戶可以根據(jù)聚類結(jié)果快速定位到所需資源；?通過顯式或隱式地收集用戶偏好信息，深層次地挖掘用戶個人興趣，為用戶提供個性化的搜索效勞；?通過交互的查詢擴展功能改善用戶查詢詞，同時可讓系統(tǒng)更好地理解用戶的檢索意圖。

附：由廣東外語外貿(mào)大學(xué)開發(fā)的跨語言智能學(xué)術(shù)搜索系統(tǒng)，實現(xiàn)了跨語言學(xué)術(shù)檢索、個性化檢索、搜索結(jié)果聚類和查詢擴展等內(nèi)容。(://=86)2023/7/10入侵檢測

入侵可以定義為任何威脅網(wǎng)絡(luò)資源(如用戶賬號、文件系統(tǒng)、系統(tǒng)內(nèi)核等)的完整性、機密性和可用性的行為。大多數(shù)商業(yè)入侵檢測系統(tǒng)主要使用誤用檢測策略，這種策略對類型的攻擊通過規(guī)那么可以較好地檢測，但對新的未知攻擊或攻擊的變種那么難以檢測。異常檢測通過構(gòu)建正常網(wǎng)絡(luò)行為模型(稱為特征描述)，來檢測與特征描述嚴(yán)重偏離的新的模式2023/7/101.2數(shù)據(jù)挖掘產(chǎn)生的背景2023/7/10

四種主要技術(shù)激發(fā)了人們對數(shù)據(jù)挖掘研究的興趣超大規(guī)模數(shù)據(jù)庫的出現(xiàn)，例如商業(yè)數(shù)據(jù)倉庫和計算機自動收集數(shù)據(jù)記錄手段的普及；先進的計算機技術(shù)，例如更快和更大的計算能力和并行體系結(jié)構(gòu)；對海量數(shù)據(jù)的快速訪問，例如分布式數(shù)據(jù)存儲系統(tǒng)的應(yīng)用；統(tǒng)計方法在數(shù)據(jù)處理領(lǐng)域應(yīng)用的不斷深入

2023/7/10信息的快速增長帶來的問題： (1)信息過量，難以消化； (2)信息真假難以辨識； (3)信息平安難以保證； (4)信息形式不一致，難以統(tǒng)一處理?，F(xiàn)象：“數(shù)據(jù)過剩〞、“信息爆炸〞與“知識貧乏〞苦惱:淹沒在數(shù)據(jù)中，難以制定適宜的決策!時代的挑戰(zhàn)、市場的需求

2023/7/10

在強大的商業(yè)需求驅(qū)動下，商家們開始注意到有效地解決大容量數(shù)據(jù)的利用問題具有巨大的商機；學(xué)者們開始思考如何從大容量數(shù)據(jù)集中獲取有用信息和知識的方法。然而，面對高維、復(fù)雜、異構(gòu)的海量數(shù)據(jù)，提取潛在的有用信息已經(jīng)成為巨大的挑戰(zhàn)。面對這一挑戰(zhàn)，數(shù)據(jù)挖掘和知識發(fā)現(xiàn)(DMKD)技術(shù)應(yīng)運而生，并顯示出強大的生命力。2023/7/10數(shù)據(jù)挖掘首次出現(xiàn)在1989年舉行的第十一屆國際聯(lián)合人工智能學(xué)術(shù)會議上，從1995年起，已出現(xiàn)數(shù)據(jù)挖掘方面許多的國際會議，如：ACMSIGKDD

(ACM‘sSpecialInterestGrouponKnowledgeDiscoveryandDataMining)ACMSIGMOD

(ACM‘sSpecialInterestGrouponManagementOfData)CIKM

(ACMConferenceonInformationandKnowledgeManagement)ICDM(IEEEInternationalConferenceonDataMining)ECMLPKDD(EuropeanConference

onMachineLearningandPrinciplesandPracticeofKnowledgeDiscoveryinDatabases)PAKDD(Pacific-AsiaConferenceonKnowledgeDiscoveryandDataMining)ICDE(TheIEEEInternationalConferenceonDataEngineering)VLDB(VeryLargeDataBase)ADMA(InternationalConferenceonAdvancedDataMiningandApplications)2023/7/10在國內(nèi)召開的數(shù)據(jù)挖掘?qū)W術(shù)會議如：?

中國數(shù)據(jù)挖掘會議CCDM(ChinaConferenceonDataMining)?中國機器學(xué)習(xí)會議CCML(ChinaConferenceonMachineLearning)?

全國數(shù)據(jù)庫學(xué)術(shù)會議NDBC(NationalDataBaseConferenceofChina)?

全國搜索引擎和網(wǎng)上信息挖掘?qū)W術(shù)研討會SEWM(SymposiumofSearchEngineandWebMining)。2023/7/101.3數(shù)據(jù)挖掘任務(wù)及過程2023/7/10技術(shù)層面：數(shù)據(jù)挖掘就是從大量數(shù)據(jù)中，提取潛在有用的信息和知識的過程。商業(yè)層面：數(shù)據(jù)挖掘就是一種商業(yè)信息處理技術(shù)，其主要特點是對大量業(yè)務(wù)數(shù)據(jù)進行抽取、轉(zhuǎn)換、分析和建模處理，從中提取輔助商業(yè)決策的關(guān)鍵性數(shù)據(jù)。1.3.1數(shù)據(jù)挖掘定義extractionofimplicit,previouslyunknownandpotentiallyusefulinformationfromdataExploration&analysis,byautomaticorsemi-automaticmeans,oflargequantitiesofdatainordertodiscovermeaningfulpatterns2023/7/10本質(zhì)區(qū)別：數(shù)據(jù)挖掘是在沒有明確假設(shè)的前提下去挖掘信息、發(fā)現(xiàn)知識。數(shù)據(jù)挖掘所得到的信息應(yīng)具有先前未知、有效和實用三個特征。其主要目標(biāo)就是提高決策能力，能在過去的經(jīng)驗根底上預(yù)言未來趨勢等。數(shù)據(jù)挖掘傳統(tǒng)數(shù)據(jù)分析方法(如查詢、報表、聯(lián)機應(yīng)用分析等)？1.3.2數(shù)據(jù)挖掘?qū)ο箨P(guān)系數(shù)據(jù)庫在關(guān)系數(shù)據(jù)庫模型根底上的數(shù)據(jù)庫。數(shù)據(jù)倉庫數(shù)據(jù)倉庫是一個從多個數(shù)據(jù)源收集的信息儲存庫，存放在一個一致的模式下。數(shù)據(jù)倉庫(DataWarehouse)是一個面向主題的(SubjectOriented)、集成的(Integrated)、相對穩(wěn)定的(Non-Volatile)、反映歷史變化(TimeVariant)的數(shù)據(jù)集合，用于支持管理決策(DecisionMakingSupport)；數(shù)據(jù)倉庫適合于聯(lián)機分析處理OLAP(On-LineAnalysisProcessing)。在銀行、電信等行業(yè)中數(shù)據(jù)集中后通常需要保存在數(shù)據(jù)倉庫中。1.3.2數(shù)據(jù)挖掘?qū)ο笫聞?wù)數(shù)據(jù)庫在事務(wù)數(shù)據(jù)庫中，每個記錄代表一個事務(wù)。通常，一個事務(wù)包含唯一的事務(wù)標(biāo)識號和組成該事務(wù)的項的列表〔如，在超市中購置的商品〕。超市的銷售數(shù)據(jù)是典型的事務(wù)型數(shù)據(jù)。事務(wù)數(shù)據(jù)庫可能有一些與之關(guān)聯(lián)的附加表，如包含關(guān)于銷售的其它信息：事務(wù)的日期、顧客的ID號、銷售者的ID號、連鎖分店的ID號等。1.3.2數(shù)據(jù)挖掘?qū)ο罂臻g數(shù)據(jù)庫(SpatialDatabase)空間數(shù)據(jù)庫是指在關(guān)系型數(shù)據(jù)庫內(nèi)部對地理信息進行物理存儲?？臻g數(shù)據(jù)庫中存儲的海量數(shù)據(jù)包括對象的空間拓撲特征、非空間屬性特征以及對象在時間上的狀態(tài)變化。常見的空間數(shù)據(jù)庫數(shù)據(jù)類型包括：地理信息系統(tǒng)，遙感圖像數(shù)據(jù)，醫(yī)學(xué)圖像數(shù)據(jù)?？臻g數(shù)據(jù)庫具有一些共同的特點：數(shù)據(jù)量龐大，空間數(shù)據(jù)模型復(fù)雜，屬性數(shù)據(jù)和空間數(shù)據(jù)聯(lián)合管理，應(yīng)用范圍廣泛。1.3.2數(shù)據(jù)挖掘?qū)ο髸r態(tài)數(shù)據(jù)庫和時間序列數(shù)據(jù)庫時態(tài)數(shù)據(jù)庫和時間序列數(shù)據(jù)庫都存放與時間有關(guān)的數(shù)據(jù)時態(tài)數(shù)據(jù)庫通常存放與時間相關(guān)的屬性值，如與時間相關(guān)的職務(wù)、工資等個人信息數(shù)據(jù)及個人簡歷信息數(shù)據(jù)等均屬于時態(tài)數(shù)據(jù)庫數(shù)據(jù)。時間序列數(shù)據(jù)庫存放隨時間變化的值序列，如零售行業(yè)的產(chǎn)品銷售數(shù)據(jù)、股票數(shù)據(jù)、氣象觀測數(shù)據(jù)等均為時間序列數(shù)據(jù)。對時態(tài)數(shù)據(jù)庫和時間序列數(shù)據(jù)庫的數(shù)據(jù)挖掘，通過研究事物發(fā)生開展的過程，有助于揭示事物開展的本質(zhì)規(guī)律，可以發(fā)現(xiàn)數(shù)據(jù)對象的演變特征或?qū)ο笞兓厔荨?.3.2數(shù)據(jù)挖掘?qū)ο罅鲾?shù)據(jù)與傳統(tǒng)數(shù)據(jù)庫中的靜態(tài)數(shù)據(jù)不同，流數(shù)據(jù)是連續(xù)的、有序的、變化的、快速的、大量的輸入數(shù)據(jù)。主要應(yīng)用場合包括：網(wǎng)絡(luò)監(jiān)控、網(wǎng)頁點擊流、股票市場、流媒體等。與傳統(tǒng)數(shù)據(jù)庫相比，流數(shù)據(jù)在存儲、查詢、訪問、實時性的要求等方面都有很大區(qū)別。流數(shù)據(jù)具有以下特點：數(shù)據(jù)實時到達；數(shù)據(jù)到達次序獨立，不受應(yīng)用系統(tǒng)所控制；數(shù)據(jù)規(guī)模宏大且不能預(yù)知其最大值；數(shù)據(jù)一經(jīng)處理，除非特意保存，否那么不能被再次取出處理，或者再次提取數(shù)據(jù)代價昂貴。1.3.2數(shù)據(jù)挖掘?qū)ο蠖嗝襟w數(shù)據(jù)庫主要包括圖形(graphics)、圖象(image)、音頻(audio)、視頻(video)等等，現(xiàn)代數(shù)據(jù)庫技術(shù)一般將這些多媒體數(shù)據(jù)以二進制對象的形式進行存儲。對于多媒體數(shù)據(jù)庫的數(shù)據(jù)挖掘，需要將存儲和檢索技術(shù)相結(jié)合。目前的主要方法包括：構(gòu)造多媒體數(shù)據(jù)立方體 多媒體數(shù)據(jù)庫的多特征提取 基于相似性的模式匹配1.3.2數(shù)據(jù)挖掘?qū)ο笪谋緮?shù)據(jù)(TextDatabase)文本數(shù)據(jù)庫存儲的是對對象的文字性描述。文本數(shù)據(jù)類型包括：無結(jié)構(gòu)類型(大局部的文本資料和網(wǎng)頁)半結(jié)構(gòu)類型(XML數(shù)據(jù))結(jié)構(gòu)類型(圖書館數(shù)據(jù))1.3.2數(shù)據(jù)挖掘?qū)ο笕f維網(wǎng)數(shù)據(jù)(WordWideWebData)

萬維網(wǎng)(WWW)可以被看成最大的文本數(shù)據(jù)庫。面向Web的數(shù)據(jù)挖掘比面向數(shù)據(jù)庫和數(shù)據(jù)倉庫的數(shù)據(jù)挖掘要復(fù)雜得多，這是由于互聯(lián)網(wǎng)上異構(gòu)數(shù)據(jù)源環(huán)境、數(shù)據(jù)結(jié)構(gòu)的復(fù)雜性、動態(tài)變化的應(yīng)用環(huán)境等特性所決定的。Web數(shù)據(jù)挖掘包括：Web結(jié)構(gòu)挖掘Web使用挖掘Web內(nèi)容挖掘。1.3.3數(shù)據(jù)挖掘任務(wù)預(yù)測任務(wù)：根據(jù)其它屬性的值預(yù)測特定屬性的值，如分類、回歸、離群點檢測。描述任務(wù)：尋找概括數(shù)據(jù)中潛在聯(lián)系的模式，如聚類分析、關(guān)聯(lián)分析、演化分析、序列模式挖掘。2023/7/10 (1)分類(Classification)分析 分類分析，通過分析例如數(shù)據(jù)庫中的數(shù)據(jù)為每個類別做出準(zhǔn)確的描述或建立分析模型或挖掘出分類規(guī)那么，然后用此分類規(guī)那么對其它數(shù)據(jù)庫中的記錄進行分類。

分類分析廣泛應(yīng)用于用戶行為分析(受眾分析)、風(fēng)險分析、生物科學(xué)等。例：垃圾郵件識別，銀行客戶流失分析等；

2023/7/10 (2)聚類(Clustering)分析 “物以類聚，人以群分〞。聚類分析技術(shù)試圖找出數(shù)據(jù)集中的共性和差異，并將具有共性的對象聚合在相應(yīng)的類中。聚類可以幫助決定哪些組合更有意義，廣泛應(yīng)用于客戶細分、定向營銷、信息檢索等等。例：撲克牌的劃分2023/7/10聚類與分類的主要區(qū)別：

聚類與分類是容易混淆的兩個概念，聚類是一種無指導(dǎo)的觀察式學(xué)習(xí)，沒有預(yù)先定義的類。而分類問題是有指導(dǎo)的例如式學(xué)習(xí)，預(yù)先定義有類。分類是訓(xùn)練樣本包含有分類屬性值，而聚類那么是在訓(xùn)練樣本中找到這些分類屬性值。聚類分類監(jiān)督(指導(dǎo))與否無指導(dǎo)學(xué)習(xí)(沒有預(yù)先定義的類)有指導(dǎo)學(xué)習(xí)(有預(yù)先定義的類)是否建立模型或訓(xùn)練否，旨在發(fā)現(xiàn)空間實體的屬性間的函數(shù)關(guān)系。是，具有預(yù)測功能2023/7/10(b)(a)(c)(d)例：撲克牌的劃分與垃圾郵件的識別之間的差異。撲克牌的劃分屬于聚類問題。在不同的撲克游戲中采用不同的劃分方式，圖1-2為十六張牌基于不同相似性度量(花色、點數(shù)或顏色)的劃分結(jié)果。垃圾郵件的識別屬于分類問題，所有訓(xùn)練用郵件預(yù)先被定義好類標(biāo)號信息，即訓(xùn)練集中的每封郵件預(yù)先被標(biāo)記為垃圾郵件或合法郵件信息，需要利用已有的訓(xùn)練郵件建立預(yù)測模型，然后利用預(yù)測模型來對未來未知郵件進行預(yù)測。圖1-2十六張牌基于不同相似性度量的劃分結(jié)果2023/7/10 (3)回歸(Regression)分析 回歸分析是確定兩種或兩種以上變數(shù)間相互依賴的定量關(guān)系的一種分析方法。其可應(yīng)用于風(fēng)險分析、作文自動評分等領(lǐng)域。(4)關(guān)聯(lián)(Association)分析 關(guān)聯(lián)分析，發(fā)現(xiàn)特征之間的相互依賴關(guān)系，通常是從給定的數(shù)據(jù)集中發(fā)現(xiàn)頻繁出現(xiàn)的模式知識(又稱為關(guān)聯(lián)規(guī)那么)。關(guān)聯(lián)分析廣泛用于市場營銷、事務(wù)分析等領(lǐng)域。(5)離群點(Outlier)檢測

離群點檢測就是發(fā)現(xiàn)與眾不同的數(shù)據(jù)。可應(yīng)用于商業(yè)欺詐行為的自動檢測，網(wǎng)絡(luò)入侵檢測，金融欺詐檢測，反洗錢，犯罪嫌疑人調(diào)查，海關(guān)、稅務(wù)稽查等。(6)演化(Evolving)分析

演化分析就是對隨時間變化的數(shù)據(jù)對象的變化規(guī)律和趨勢進行建模描述。如商品銷售的周期(季節(jié))性分析。2023/7/10(7)序列模式(SequentialPattern)挖掘 序列模式挖掘是指分析數(shù)據(jù)間的前后序列關(guān)系，包括相似模式發(fā)現(xiàn)、周期模式發(fā)現(xiàn)等。其應(yīng)用領(lǐng)域包括客戶購置行為模式預(yù)測、Web訪問模式預(yù)測、疾病診斷、網(wǎng)絡(luò)入侵檢測等。1.3.4數(shù)據(jù)挖掘過程數(shù)據(jù)挖掘和知識發(fā)現(xiàn)緊密相連，在認識數(shù)據(jù)挖掘過程前，先來了解知識發(fā)現(xiàn)這個概念。知識發(fā)現(xiàn)(KnowledgeDiscoveryinDatabase，KDD)是從數(shù)據(jù)中發(fā)現(xiàn)有用知識的整個過程，這個過程定義為：從數(shù)據(jù)中鑒別出有效模式的非平凡過程，該模式是新的、可能有用的和最終可理解的。2023/7/10知識發(fā)現(xiàn)(KnowledgeDiscoveryinDatabase,KDD)從技術(shù)的角度看知識發(fā)現(xiàn)過程2023/7/10知識發(fā)現(xiàn)的主要步驟：數(shù)據(jù)清洗(dataclearning)。其作用是去除數(shù)據(jù)噪聲和與挖掘主題明顯無關(guān)的數(shù)據(jù)。數(shù)據(jù)集成(dataintegration)。其作用是將來自多數(shù)據(jù)源中的相關(guān)數(shù)據(jù)組合到一起。數(shù)據(jù)轉(zhuǎn)換(datatransformation)。其作用是將數(shù)據(jù)轉(zhuǎn)換為易于進行數(shù)據(jù)挖掘的數(shù)據(jù)存儲形式。數(shù)據(jù)挖掘(datamining)。其作用是利用智能方法挖掘數(shù)據(jù)模式或規(guī)律知識。模式評估(patternevaluation)。其作用是根據(jù)一定評估標(biāo)準(zhǔn)從挖掘結(jié)果篩選出有意義的相關(guān)知識。知識表示(knowledgepresentation)。其作用是利用可視化和知識表達技術(shù)，向用戶展示所挖掘的相關(guān)知識。2023/7/10 從商業(yè)的角度看，數(shù)據(jù)挖掘過程可分為三個階段數(shù)據(jù)收集：數(shù)據(jù)收集容易且不引人注意，但卻是數(shù)據(jù)挖掘的根底。知識是從海量數(shù)據(jù)里提取出來的，因此要挖掘知識必須得收集一定量的數(shù)據(jù)。收集到的原始數(shù)據(jù)一般存在缺失值、錯誤值等問題，不能直接用作知識提取的數(shù)據(jù)源，需要進行數(shù)據(jù)預(yù)處理。知識提取：基于經(jīng)過預(yù)處理的數(shù)據(jù)，使用各種數(shù)據(jù)挖掘方法(如分類、聚類、關(guān)聯(lián)分析等)進行知識提取，這是數(shù)據(jù)挖掘的核心局部。 知識輔助決策：數(shù)據(jù)挖掘技術(shù)已被廣泛地應(yīng)用于各領(lǐng)域，其提取出來的知識可以很好地輔助決策者做出良好的決策。 2023/7/101.3.5數(shù)據(jù)挖掘軟件比較著名的商用數(shù)據(jù)挖掘軟件有：SPSSClementine、SASEnterpriseMiner、IBMIntelligentMiner、SQLServer2005DataMining、OracleDM等，它們都能夠提供常規(guī)的挖掘過程和挖掘模式。另外：Matlab，Excel(DatamininginExcel:XLMiner)等提供了數(shù)據(jù)挖掘模塊。開源數(shù)據(jù)挖掘工具有：Weka、RapidMiner(YALE)、ARMiner以及AlphaMiner等。2023/7/10商用軟件

(1)SPSSClementine Clementine是ISL(IntegralSolutionsLimited)公司的數(shù)據(jù)挖掘工具平臺。1999年SPSS公司收購了ISL公司，2021年10月，IBM收購了SPSSInc。來自KDnuggets(:///polls/)的調(diào)查報告顯示：Clementine(2000-2021)有9年摘獲數(shù)據(jù)挖掘產(chǎn)品排行榜桂冠。2023/7/10Clementine的特點：結(jié)合商業(yè)技術(shù)可以快速建立預(yù)測性模型，進而應(yīng)用到商業(yè)活動中，幫助人們改進決策過程。注重數(shù)據(jù)挖掘在整個業(yè)務(wù)流程中的應(yīng)用價值，其功能強大的數(shù)據(jù)挖掘算法，使數(shù)據(jù)挖掘貫穿業(yè)務(wù)流程的始終，在縮短投資回報周期的同時提高了投資回報率。2023/7/10(2)SAS/EnterpreiseMiner支持SAS統(tǒng)計模塊，通過大量數(shù)據(jù)挖掘算法增強了那些模塊使用SEMMA方法學(xué)以提供一個能支持包括關(guān)聯(lián)、聚類、決策樹、神經(jīng)元網(wǎng)絡(luò)和統(tǒng)計回歸在內(nèi)的數(shù)據(jù)挖掘工具既方便被初學(xué)者使用〔可視化操作〕，也能為有經(jīng)驗的用戶使用〔高效的編程〕2023/7/10SAS的特點：GUI界面是數(shù)據(jù)流驅(qū)動的，且易于理解和使用允許一個分析者通過構(gòu)造一個使用鏈接連接數(shù)據(jù)結(jié)點和處理結(jié)點的可視數(shù)據(jù)流圖建造一個模型，允許把處理結(jié)點直接插入到數(shù)據(jù)流中支持多種模型，允許用戶比較(評估)不同模型并利用評估結(jié)點選擇最適合的提供了一個能產(chǎn)生被任何SAS應(yīng)用程序所訪問的評分模型的評分結(jié)點2023/7/10 (3)IBMIntelligentMiner

IntelligentMiner采用了多種統(tǒng)計方法和挖掘算法，主要有：單變量曲線，雙變量統(tǒng)計，線性回歸，因子分析，主變量分析，分類，分群，關(guān)聯(lián)，相似序列，序列模式，預(yù)測等。

處理的數(shù)據(jù)類型有： 結(jié)構(gòu)化數(shù)據(jù)(如：數(shù)據(jù)庫表，數(shù)據(jù)庫視圖，平面文件) 半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)(如：顧客信件，在線效勞，電子郵件，網(wǎng)頁等)2023/7/10 (4)MicrosoftSQLServer2005DataMining MicrosoftSQLServer2005DataMining(數(shù)據(jù)挖掘)屬于商務(wù)智能技術(shù)，它可幫助您構(gòu)建復(fù)雜的分析模型，并使其與您的業(yè)務(wù)操作相集成。MicrosoftSQLServer2005分析效勞中構(gòu)建了新的數(shù)據(jù)挖掘平臺——一個易于使用、容易擴展、方便訪問、非常靈活的平臺。對于以前從未考慮過采用數(shù)據(jù)挖掘的組織機構(gòu)，這無疑是個非常容易接受的解決方案。2023/7/10 (5)MATLAB MATLAB和Mathematica、Maple并稱為三大數(shù)學(xué)軟件。在數(shù)學(xué)類科技應(yīng)用軟件中在數(shù)值計算方面首屈一指。MATLAB可以進行矩陣運算、繪制函數(shù)和數(shù)據(jù)、實現(xiàn)算法、創(chuàng)立用戶界面、連接其他編程語言的程序等，主要應(yīng)用于工程計算、控制設(shè)計、信號處理與通訊、圖像處理、信號檢測、金融建模設(shè)計與分析等領(lǐng)域。提供了許多數(shù)據(jù)挖掘的模塊。2023/7/10(6)XLMiner

XLMiner是將數(shù)據(jù)挖掘置于Excel中，操作介面較為容易。藉由工具列的方式呈現(xiàn)可以幫助使用者更加快速進行數(shù)據(jù)挖掘的工作，并提供多樣的方法來進行數(shù)據(jù)的分析。在功能上，XLMiner廣泛的包含了統(tǒng)計與機器學(xué)習(xí)的技巧使使用者能夠進行資料的分類、預(yù)測、數(shù)據(jù)挖掘探索與簡化。2023/7/10開源軟件(1)WekaWeka的全名是懷卡托智能分析環(huán)境(WaikatoEnvironmentforKnowledgeAnalysis)，是基于JAVA環(huán)境下開源機器學(xué)習(xí)(machinelearning)與數(shù)據(jù)挖掘(dataminining)軟件。2023/7/10Weka的特點：公開的數(shù)據(jù)挖掘工作平臺集合了大量能承擔(dān)數(shù)據(jù)挖掘任務(wù)的機器學(xué)習(xí)算法，包括對數(shù)據(jù)進行預(yù)處理，分類，回歸、聚類、關(guān)聯(lián)規(guī)那么在新的交互式界面上的可視化開發(fā)者可使用Java語言，利用Weka的架構(gòu)上開發(fā)出更多的數(shù)據(jù)挖掘算法2023/7/10(2)RapidMiner RapidMiner(前身是YALE)是基于Weka構(gòu)建的一個十分流行的開源數(shù)據(jù)挖掘軟件，它不僅提供了一個GUI的數(shù)據(jù)處理和分析環(huán)境，還提供了JavaAPI以便將它的能力嵌入其他應(yīng)用程序。(3)ARMiner ARMiner是一個專注于關(guān)聯(lián)規(guī)那么挖掘的C/S結(jié)構(gòu)應(yīng)用程序，全部是用Java語言編寫。1.4數(shù)據(jù)挖掘應(yīng)用2023/7/10數(shù)據(jù)挖掘技術(shù)應(yīng)用很廣，應(yīng)用較好的領(lǐng)域、行業(yè)有：金融保險業(yè)(CreditScoring；InsuranceEvaluation)電信(Detectingtelephonefraud)市場營銷分析(MarketingAnalysis)醫(yī)學(xué)(Detectinginappropriatemedicaltreatment)體育(IBMAdvancedScoutanalyzedNBAgamestatistics)生物信息學(xué)(Bioinformatics)等這里主要介紹在商業(yè)領(lǐng)域和計算機領(lǐng)域的應(yīng)用。2023/7/101.4.1數(shù)據(jù)挖掘在商業(yè)領(lǐng)域中的應(yīng)用1.4.2數(shù)據(jù)挖掘在計算機領(lǐng)域中的應(yīng)用1.4.3其它領(lǐng)域中的應(yīng)用1.4數(shù)據(jù)挖掘應(yīng)用2023/7/10 所謂商業(yè)智能BI(BusinessIntelligence)是能夠幫助企業(yè)確定客戶的特點，使企業(yè)能夠為客戶提供有針對性的效勞，對自身業(yè)務(wù)經(jīng)營做出正確明智決定的工具，是目前國內(nèi)外企業(yè)界和軟件開發(fā)界廣泛關(guān)注的一個研究方向。

1.4.1數(shù)據(jù)挖掘在商業(yè)領(lǐng)域中的應(yīng)用2023/7/10商業(yè)智能的核心即數(shù)據(jù)挖掘，能解決的典型商業(yè)問題包括：數(shù)據(jù)庫營銷(DatabaseMarketing)客戶群體劃分(CustomerSegmentation&Classification)客戶背景分析(ProfileAnalysis)交叉銷售(Cross-selling)客戶流失性分析(ChurnAnalysis)客戶信用記分(CreditScoring)欺詐檢測(FraudDetection)……2023/7/10(1)電子商務(wù)在電子商務(wù)領(lǐng)域，數(shù)據(jù)挖掘可以應(yīng)用于以下幾個方面：客戶細分客戶獲得客戶保持個性化效勞資源優(yōu)化數(shù)據(jù)挖掘在商業(yè)領(lǐng)域中的主要應(yīng)用2023/7/10(2)公司分析和風(fēng)險管理財務(wù)方案與資源方案現(xiàn)金流轉(zhuǎn)分析和預(yù)測；財產(chǎn)分析的偶發(fā)性需求分析；交叉區(qū)域分析和時間序列分析(財務(wù)資金比率，趨勢分析等)；總結(jié)和比較資源和花費。競爭力分析對競爭者和市場趨勢的監(jiān)控將顧客按等級分組和基于等級的定價程序?qū)⒍▋r策略應(yīng)用于競爭更劇烈的市場中2023/7/10(3)市場分析和管理 根本假定“消費者過去的行為是其今后消費傾向的最好說明〞，對特定消費群體進行特定內(nèi)容的定向營銷——向客戶有效推薦產(chǎn)品(電子商務(wù)網(wǎng)站)。消費者過去的行為數(shù)據(jù)主要來源于信用卡交易、會員卡、商家的優(yōu)惠卷、消費者投訴、公眾生活方式研究等?；谙M者的行為數(shù)據(jù)，將市場分成有意義的群組，找出具有相同特征(興趣，收入水平，消費習(xí)慣等等)的“模式〞顧客群，確定顧客群的購置模式。從而確定適合不同顧客的最正確商品，預(yù)測何種因素能夠吸引新顧客。2023/7/10(4)企業(yè)危機管理危機管理是管理領(lǐng)域新出現(xiàn)的熱點研究領(lǐng)域，數(shù)據(jù)挖掘在企業(yè)危機管理中的應(yīng)用表達在：利用Web挖掘搜集外部環(huán)境信息利用數(shù)據(jù)挖掘分析企業(yè)經(jīng)營狀況利用數(shù)據(jù)挖掘識別、分析和預(yù)防危機利用數(shù)據(jù)挖掘技術(shù)改善客戶關(guān)系管理利用數(shù)據(jù)挖掘進行信用風(fēng)險分析和欺詐甄別利用數(shù)據(jù)挖掘控制危機2023/7/10(5)欺詐行為檢測和異常模式的發(fā)現(xiàn) 利用歷史數(shù)據(jù)建立欺騙性行為模型并使用數(shù)據(jù)挖掘幫助識別同類例子。可用于以下行業(yè)：汽車保險:檢測出那些成心制造車禍而索取保險金的人；洗錢:發(fā)現(xiàn)可疑的貨幣交易行為；醫(yī)療保險:檢測出潛在的病人，呼叫醫(yī)生和證明人；銀行信用卡和保險行業(yè):檢測識別信用卡、保險欺詐者；發(fā)現(xiàn)不正確的醫(yī)學(xué)治療：澳大利亞醫(yī)療保險協(xié)會證明在許多情況下面審查測試是很需要的；電信:呼叫欺騙行為檢測(呼叫模式：呼叫目的地，持續(xù)時間，每天或每周的次數(shù)。分析與預(yù)期標(biāo)準(zhǔn)相背離的模式)。2023/7/10(1)信息平安：入侵檢測，垃圾郵件的過濾 傳統(tǒng)的信息平安系統(tǒng)概括性差，只能發(fā)現(xiàn)模式規(guī)定的、的入侵行為，難以發(fā)現(xiàn)新的入侵行為。數(shù)據(jù)挖掘能夠?qū)徲嫈?shù)據(jù)進行自動的、更高抽象層次的分析，從中提取出具有代表性、概括性的系統(tǒng)特征模式，以便減輕人們的工作量，且能自動發(fā)現(xiàn)新的入侵行為。同樣地，利用數(shù)據(jù)挖掘技術(shù)也可分析比較垃圾郵件與正常郵件的異同，建立垃圾郵件過濾模型，過濾無聊電郵和商業(yè)推銷等方面的垃圾郵件。1.4.2數(shù)據(jù)挖掘在計算機領(lǐng)域中的應(yīng)用2023/7/10(2)互聯(lián)網(wǎng)信息挖掘

利用數(shù)據(jù)挖掘技術(shù)從與WWW相關(guān)的資源和行為中抽取感興趣的、有用的模式和隱含信息，涉及Web技術(shù)、數(shù)據(jù)挖掘、計算機語言學(xué)、信息學(xué)等多個領(lǐng)域，是一項綜合技術(shù)。

互聯(lián)網(wǎng)信息挖掘可分為Web內(nèi)容挖掘、Web使用挖掘、Web結(jié)構(gòu)挖掘。2023/7/10Web結(jié)構(gòu)挖掘：挖掘Web上的鏈接結(jié)構(gòu)，即對Web文檔的結(jié)構(gòu)進行挖掘。通過Web頁面間的鏈接信息可以識別出權(quán)威頁面、平安隱患(非法鏈接)等。Web使用挖掘：通過對用戶訪問行為或Web日志的分析，獲得用戶的有用模式，建立用戶興趣模型。分析和發(fā)現(xiàn)Log日志中蘊藏的規(guī)律可以識別潛在客戶、跟蹤Web效勞的質(zhì)量以及偵探非法訪問的隱患等。Web內(nèi)容挖掘：對Web頁面內(nèi)容及后臺交易數(shù)據(jù)庫進行挖掘，Web內(nèi)容挖掘與文本挖掘(TextMining)和Web搜索引擎(SearchEngine)等領(lǐng)域密切相關(guān)。2023/7/10(3)自動問答系統(tǒng) 自動問答系統(tǒng)Q/A(automaticQuestionAnswering)采用自然語言處理技術(shù)，一方面完成對用戶疑問的理解；另一方面完成正確答案的生成。這些研究涉及到計算語言學(xué)、信息科學(xué)和人工智能學(xué)，是計算機應(yīng)用研究的熱點之一，其核心是自然語言理解技術(shù)。 如：Lexxe:// wolfrram://Baidu知道，維基百科(Wikipedia)等利用群體智慧來局部實現(xiàn)自動問答的功能。注：在2021年2月14日至16日舉行的有史以來首次廣義性人機智力大賽中，IBM超級電腦“沃森〞(Watson)擊敗美國頗受歡送的智力競賽節(jié)目Jeopardy中的兩位最成功的參賽者肯-詹寧斯(KenJennings)和布拉德-魯特(BradRutter)。2023/7/10(4)網(wǎng)絡(luò)游戲：網(wǎng)絡(luò)游戲外掛檢測、免費用戶到付費用戶的轉(zhuǎn)化在網(wǎng)絡(luò)游戲中，游戲外掛是對游戲運營商最嚴(yán)重的危害之一。所謂網(wǎng)絡(luò)游戲的外掛是指玩家利用游戲本身玩法的漏洞或通過作弊程序改變網(wǎng)絡(luò)游戲軟件。網(wǎng)絡(luò)游戲正式運營前會存在大量的注冊用戶，這些注冊用戶會在網(wǎng)絡(luò)游戲運行后存在很長一段時間。如何把這些注冊用戶轉(zhuǎn)化成付費客戶，真正為游戲運營商帶來收益呢？數(shù)據(jù)挖掘技術(shù)的應(yīng)用使網(wǎng)絡(luò)游戲運營商能夠?qū)ψ杂脩舨扇〔町惢癄I銷，對正確的注冊用戶采用適宜的營銷手段，從而提高市場營銷活動效果，使企業(yè)利潤得到最大化。2023/7/10生物信息或基因數(shù)據(jù)挖掘情報分析挖掘體育競賽天文學(xué)過程控制/質(zhì)量監(jiān)督保證……1.4.3其它領(lǐng)域中的應(yīng)用2023/7/10數(shù)據(jù)挖掘不能干什么雖然數(shù)據(jù)挖掘具有廣泛應(yīng)用，但它絕不是無所不能，首先數(shù)據(jù)挖掘僅僅是一個工具，而不是有魔力的權(quán)杖；其次數(shù)據(jù)挖掘得到的預(yù)言模型可以告訴你會如何(whatwillhappen)，但不能說明為什么會(why)；再者數(shù)據(jù)挖掘不能在缺乏指導(dǎo)的情況下自動地發(fā)現(xiàn)模型。2023/7/101.5數(shù)據(jù)挖掘技術(shù)的前景、研究熱點數(shù)據(jù)挖掘技術(shù)的價值和前景數(shù)據(jù)挖掘的研究熱點數(shù)據(jù)挖掘未來開展2023/7/10數(shù)據(jù)挖掘技術(shù)的價值和前景2000年GartnerGroup的一次高級技術(shù)調(diào)查將數(shù)據(jù)挖掘和人工智能列為“未來三到五年內(nèi)將對工業(yè)產(chǎn)生深遠影響的五大關(guān)鍵技術(shù)〞之首，并將并行處理體系和數(shù)據(jù)挖掘列為未來五年內(nèi)投資焦點的十大新興技術(shù)前兩位。(目前，在對產(chǎn)業(yè)界具有深遠影響的大型IT公司里，數(shù)據(jù)挖掘技術(shù)發(fā)揮著重要作用，如Microsoft、Google、Yahoo、Baidu、Tencent等國內(nèi)外著名IT公司)。2005年微軟將“互聯(lián)網(wǎng)搜索、數(shù)據(jù)挖掘與語音技術(shù)〞確定為亞洲研究院的3大研發(fā)領(lǐng)域之一。微軟的Excel嵌入了數(shù)據(jù)挖掘功能XLMiner，SQLServer2005增加了數(shù)據(jù)挖掘功能。美國2021年評選的12個最有前途的職業(yè)中數(shù)據(jù)挖掘師排名第四。包括IBM在內(nèi)的世界上主要數(shù)據(jù)庫廠商，紛紛在數(shù)據(jù)挖掘領(lǐng)域加大投入，把數(shù)據(jù)挖掘功能集成到其產(chǎn)品中，以提高產(chǎn)品的競爭力。2021年10月2日，IBM成功收購了SPSSInc。2023/7/10(1)數(shù)據(jù)流挖掘 通信領(lǐng)域中的記錄數(shù)據(jù)流、Web上的用戶點擊數(shù)據(jù)流、網(wǎng)絡(luò)監(jiān)測中的數(shù)據(jù)包流、各類傳感器網(wǎng)絡(luò)中的檢測數(shù)據(jù)流、金融領(lǐng)域的證券數(shù)據(jù)流、衛(wèi)星傳回的圖像數(shù)據(jù)流以及零售業(yè)務(wù)中的交易數(shù)據(jù)流等形成了一種與傳統(tǒng)數(shù)據(jù)庫中靜態(tài)數(shù)據(jù)不同的數(shù)據(jù)形態(tài)——數(shù)據(jù)流。數(shù)據(jù)流實時、連續(xù)、有序、快速到達的特點以及在線分析的應(yīng)用需求,對流數(shù)據(jù)挖掘算法提出了諸多挑戰(zhàn)，其中最主要的挑戰(zhàn)是使用小的存儲空間和少的運行時間快速地進行必要的處理，傳統(tǒng)的處理方法難以滿足這種要求。

研究熱點2023/7/10

(2)文本挖掘

文本挖掘是近幾年來數(shù)據(jù)挖掘領(lǐng)域的一個新興分支，文本挖掘也稱為文本數(shù)據(jù)庫中的知識發(fā)現(xiàn)，是從大量文本的集合或語料庫中抽取事先未知的、可理解的、有潛在實用價值的模式和知識。目前，國外的文本挖掘研究已經(jīng)從實驗性階段進入到實用化階段，著名的文本挖掘工具有：IBM的文本智能挖掘機、Autonomy公司的ConceptAgents、TelTech公司的TelTech等。但是，國內(nèi)正式引入文本挖掘的概念并開展針對中文的文本挖掘研究是從近幾年才開始的。2023/7/10(3)Web挖掘

Web挖掘定義為：從Web文檔、Web活動中抽取感興趣的、潛在的有用模式和隱藏信息。Web挖掘的研究主要有3種，即Web結(jié)構(gòu)研究、Web使用研究和Web內(nèi)容研究。

Web挖掘廣泛應(yīng)用于搜索引擎、網(wǎng)站設(shè)計和電子商務(wù)等領(lǐng)域。面向Web的數(shù)據(jù)挖掘比面向數(shù)據(jù)庫和數(shù)據(jù)倉庫的數(shù)據(jù)挖掘要復(fù)雜得多，這是由于互聯(lián)網(wǎng)上異構(gòu)數(shù)據(jù)源環(huán)境、數(shù)據(jù)結(jié)構(gòu)的復(fù)雜性、動態(tài)變化的應(yīng)用環(huán)境等特性所決定的。2023/7/10(4)生物信息數(shù)據(jù)挖掘 人類基因組方案的啟動和實施使得核酸、蛋白質(zhì)數(shù)據(jù)迅速增長，這些海量的數(shù)據(jù)需要被合理的存儲、組織和索引，信息科學(xué)被引入這一領(lǐng)域就形成了“生物信息學(xué)〞。生物信息學(xué)是定義為生命科學(xué)與數(shù)學(xué)、計算機科學(xué)和信息科學(xué)等交匯融合所形成的一門交叉學(xué)科。它應(yīng)用先進的數(shù)據(jù)管理技術(shù)、