數(shù)據(jù)挖掘技術(shù)工程管理

數(shù)據(jù)挖掘技術(shù)工程管理一、數(shù)據(jù)挖掘技術(shù)概述（1）確定業(yè)務(wù)對象：做好業(yè)務(wù)對象的明確是數(shù)據(jù)域挖掘的首要步驟，挖掘的最后結(jié)構(gòu)是不可預(yù)測的，但是探索的問題必須是有預(yù)見的，明確業(yè)務(wù)對象可以避免數(shù)據(jù)挖掘的盲目性，從而大大提高成功率。（2）數(shù)據(jù)準(zhǔn)備：首先，對于業(yè)務(wù)目標(biāo)相關(guān)的內(nèi)部和外部數(shù)據(jù)信息進行查找，從中找出可以用于數(shù)據(jù)挖掘的信息；其次，要對數(shù)據(jù)信息的內(nèi)容進行全面細致分析，確定需要進行挖掘操作的類型；然后，結(jié)合相應(yīng)的挖掘算法，將數(shù)據(jù)轉(zhuǎn)化稱為相應(yīng)的分析模型，以保證數(shù)據(jù)挖掘的順利進行。（3）數(shù)據(jù)挖掘：在對數(shù)據(jù)進行轉(zhuǎn)化后，就可以結(jié)合相應(yīng)的挖掘算法，自動完成相應(yīng)的數(shù)據(jù)分析工作。（4）結(jié)果分析：對得到的數(shù)據(jù)分析結(jié)果進行評價，結(jié)合數(shù)據(jù)挖掘操作明確分析方法，一般情況下，會用到可視化技術(shù)。（5）知識同化：對分析得到的數(shù)據(jù)信息進行整理，統(tǒng)一到業(yè)務(wù)信息系統(tǒng)的組成結(jié)構(gòu)中。這個步驟不一定能夠一次完成，而且其中部分步驟可能需要重復(fù)進行。二、數(shù)據(jù)挖掘技術(shù)在水利工程管理中的實施要點水利工程在經(jīng)濟和社會發(fā)展中是非常重要的基礎(chǔ)設(shè)施，做好水利工程管理工作，確保其功能的有效發(fā)揮，是相關(guān)管理人員需要重點考慮的問題。最近幾年，隨著社會經(jīng)濟的飛速發(fā)展，水利工程項目的數(shù)量和規(guī)模不斷擴大，產(chǎn)生的水利科學(xué)數(shù)據(jù)也在不斷增加，這些數(shù)據(jù)雖然繁瑣，但是在許多科研生產(chǎn)活動和日常生活中都是不可或缺的。例如，在對洪澇、干旱的預(yù)防以及對生態(tài)環(huán)境問題的處理方面，獲取完整的水利科學(xué)數(shù)據(jù)是首要任務(wù)。那么，針對日益繁雜的海量水利科學(xué)數(shù)據(jù)，如何對有用的信息知識進行提取呢？數(shù)據(jù)挖掘技術(shù)的應(yīng)用有效的解決了這個問題，可以從海量的數(shù)據(jù)信息中，挖掘出潛在的、有利用價值的知識，為相關(guān)決策提供必要的支持。1.強化數(shù)據(jù)庫建設(shè)要想對各類數(shù)據(jù)進行科學(xué)有效的收集和整理，就必須建立合理完善的數(shù)據(jù)庫。對于水利工程而言，應(yīng)該建立分類數(shù)據(jù)庫，如水文、河道河情、水量調(diào)度、防洪、汛情等，確保數(shù)據(jù)的合理性、全面性和準(zhǔn)確性，選擇合適的方法，對有用數(shù)據(jù)進行挖掘。2.合理選擇數(shù)據(jù)挖掘算法（1）關(guān)聯(lián)規(guī)則挖掘算法：關(guān)聯(lián)規(guī)則挖掘問題最早提出于1993年，在當(dāng)前數(shù)據(jù)挖掘領(lǐng)域，從事務(wù)數(shù)據(jù)庫中發(fā)現(xiàn)關(guān)聯(lián)規(guī)則，已經(jīng)成為一個極其重要的研究課題。關(guān)聯(lián)規(guī)則挖掘的主要目的，是尋找和挖掘隱藏在各種數(shù)據(jù)之間的相互關(guān)系，通過量化的數(shù)據(jù)，來描述事務(wù)A的出現(xiàn)對于事務(wù)B出現(xiàn)可能產(chǎn)生的影響，關(guān)聯(lián)規(guī)則挖掘就是給定一組Item以及相應(yīng)的記錄組合，通過對記錄組合的分析，推導(dǎo)出Item間存在的相關(guān)性。當(dāng)前對于關(guān)聯(lián)規(guī)則的描述，一般是利用支持度和置信度，支出度是指產(chǎn)品集A、B同時出現(xiàn)的概率，置信度則是在事務(wù)集A出現(xiàn)的前提下，B出現(xiàn)的概率。通過相應(yīng)的關(guān)聯(lián)分析，可以得出事務(wù)A、B同時出現(xiàn)的簡單規(guī)則，以及每一條規(guī)則的支持度和置信度，支持度高則表明規(guī)則被經(jīng)常使用，置信度高則表明規(guī)則相對可靠，通過關(guān)聯(lián)分析，可以明確事務(wù)A、B的關(guān)聯(lián)程度，決定兩種事務(wù)同時出現(xiàn)的情況。（2）自頂而下頻繁項挖掘算法：對于長頻繁項，如果采用關(guān)聯(lián)規(guī)則挖掘算法，需要進行大量的計算分析，不僅耗時耗力，而且影響計算的精準(zhǔn)度，這時，就可以采用自頂而下頻繁項挖掘算法，這種算法是一種相對優(yōu)秀的長頻繁項挖掘算法，利用了事務(wù)項目關(guān)聯(lián)信息表、項目約簡、關(guān)鍵項目以及投影數(shù)據(jù)庫等新概念與投影、約簡等新方法，在對候選集進行生成的過程中，應(yīng)該對重復(fù)分支進行及時修剪，提升算法的實際效率，從而有效解決了長頻繁項的挖掘問題。結(jié)合計算機實驗以及算法分析，可以看出，這種方法是相對完善的，同時也是十分有效的。不過需要注意的是，當(dāng)支持度較大、頻繁項相對較短時，利用關(guān)聯(lián)規(guī)則挖掘中典型的Apriori方法，可以起到更好的效果。（3）頻繁項雙向挖掘算法：這種算法是一種融合了自頂向下以及自底向上的雙向挖掘算法，可以較好的解決長頻繁項以及段頻繁項的挖掘問題，主挖掘方向是利用自頂向下挖掘策略，但是結(jié)合自底向上方法生成的非頻繁項集，可以對候選集進