數(shù)據(jù)挖掘課程論文

海南大學(xué)數(shù)據(jù)挖掘論文題目：股票交易日線數(shù)據(jù)挖掘?qū)W號(hào)：20100602310002姓名：專業(yè)：10信管指導(dǎo)老師：分?jǐn)?shù)：目錄8184目錄 2185561.數(shù)據(jù)挖掘目的 3155282.相關(guān)基礎(chǔ)知識(shí) 3164262.1股票基礎(chǔ)知識(shí) 3230422.2數(shù)據(jù)挖掘基礎(chǔ)知識(shí) 446282.2.2數(shù)據(jù)挖掘的任務(wù) 4166423.數(shù)據(jù)挖掘方案 6140743.1.數(shù)據(jù)挖掘軟件簡介 6297523.2.股票數(shù)據(jù)選擇 7104273.3.待驗(yàn)證的股票規(guī)律 7106054.數(shù)據(jù)挖掘流 8255554.1數(shù)據(jù)挖掘流圖 8311334.2規(guī)律驗(yàn)證 9148434.2.2規(guī)律2驗(yàn)證 10167994.2.3規(guī)律三驗(yàn)證 12166904.3主要節(jié)點(diǎn)說明 1472645.小結(jié) 15

數(shù)據(jù)挖掘目的數(shù)據(jù)挖掘的目的就是得出隱藏在數(shù)據(jù)中的有價(jià)值的信息，發(fā)現(xiàn)數(shù)據(jù)之間的內(nèi)在聯(lián)系與規(guī)律。對(duì)于本次數(shù)據(jù)挖掘來說，其目的就是學(xué)會(huì)用clementine對(duì)股票的歷史數(shù)據(jù)進(jìn)行挖掘，通過數(shù)據(jù)的分析，找出存在股票歷史數(shù)據(jù)中的規(guī)律，或者驗(yàn)證已存在的股票規(guī)律。同時(shí)也加深自己對(duì)股票知識(shí)的了解和對(duì)clementine軟件的應(yīng)用能力。為人們決策提供指導(dǎo)性信息，為公司找出其中的客戶為公司帶來利潤的規(guī)律，如二八原則、啤酒與尿布的現(xiàn)象等。2.相關(guān)基礎(chǔ)知識(shí)2.1股票基礎(chǔ)知識(shí)2.1.1股票是一種有價(jià)證券，HYPERLINK"/view/55918.htm"是股份公司在籌集資本時(shí)向出資人公開或私下發(fā)行的、用以證明出資人的股本身份和權(quán)利，并根據(jù)持有人所持有的股份數(shù)享有權(quán)益和承擔(dān)義務(wù)的憑證。股票代表著其持有人（股東）對(duì)股份公司的所有權(quán)，每一股同類型股票所代表的公司所有權(quán)是相等的，即“同股同權(quán)”。股票可以公開上市，也可以不上市。在股票市場上，股票也是投資和投機(jī)的對(duì)象。對(duì)股票的某些投機(jī)炒作行為，例如無貨沽空，可以造成金融市場的動(dòng)蕩。2.1.2開盤價(jià)開盤價(jià)又稱開市價(jià)，是指某種證券在證券交易所每個(gè)交易日開市后的第一筆買賣成交價(jià)格。世界上大多數(shù)證券交易所都采用成交額最大原則來確定開盤價(jià)。2.1.3收盤價(jià)收盤價(jià)是指某種證券在證券交易所一天交易活動(dòng)結(jié)束前最后一筆交易的成交價(jià)格。如當(dāng)日沒有成交，則采用最近一次的成交價(jià)格作為收盤價(jià)，因?yàn)槭毡P價(jià)是當(dāng)日行情的標(biāo)準(zhǔn)，又是下一個(gè)交易日開盤價(jià)的依據(jù)，可據(jù)以預(yù)測未來證券市場行情；所以投資者對(duì)行情分析時(shí)，一般采用收盤價(jià)作為計(jì)算依據(jù)。2.1.4最高價(jià)指某種證券在每個(gè)交易日從開始到收市的交易過程中所產(chǎn)生的最高價(jià)。最低價(jià)指某種證券在每個(gè)交易日從開始到收市的交易過程中所產(chǎn)生的最低價(jià)。成交量成交量是指一個(gè)時(shí)間單位內(nèi)對(duì)某項(xiàng)交易成交的數(shù)量。一般情況下，成交量大且價(jià)格上漲的股票，趨勢向好。成交量持續(xù)低迷時(shí)，一般出現(xiàn)在熊市或股票整理階段，市場交投不活躍。成交量是判斷股票走勢的重要依據(jù)，對(duì)分析主力行為提供了重要的依據(jù)。2.1.7K線K線圖這種圖表源處于日本德川幕府時(shí)代（1603～1867年），被當(dāng)時(shí)日本米市的商人用來記錄米市的行情與價(jià)格波動(dòng)，后因其細(xì)膩獨(dú)到的標(biāo)畫方式而被引入到股市及期貨市場。通過K線圖，我們能夠把每日或某一周期的市況現(xiàn)完全記錄下來，股價(jià)經(jīng)過一段時(shí)間的盤檔后，在圖上即形成一種特殊區(qū)域或形態(tài)，不同的形態(tài)顯示出不同意義。插入線、抱線和利好刺激線這三種K線組合是最常見的經(jīng)典見底形態(tài)。2.1.8日線任何一天的開盤價(jià)\收盤價(jià)\最高價(jià)\最低價(jià),劃出的一跟中間粗一些,兩端細(xì)一些的線,就是日線,日線是每天一根的K線.5PMA，10PMA,20PMA。分別代表5日、10日、20日均線。黃色的是5PMA即5日均線；紫色的是10PMA即10日均線；綠色的是20PMA即20日均線。2.2數(shù)據(jù)挖掘基礎(chǔ)知識(shí)2.2.1數(shù)據(jù)挖掘數(shù)據(jù)挖掘(DataMining)是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過程。隨著信息技術(shù)的高速發(fā)展，人們積累的數(shù)據(jù)量急劇增長，動(dòng)輒以TB計(jì)，如何從海量的數(shù)據(jù)中提取有用的知識(shí)成為當(dāng)務(wù)之急。數(shù)據(jù)挖掘就是為順應(yīng)這種需要應(yīng)運(yùn)而生發(fā)展起來的數(shù)據(jù)處理技術(shù)。是知識(shí)發(fā)現(xiàn)(KnowledgeDiscoveryinDatabase)的關(guān)鍵步驟。2.2.2數(shù)據(jù)挖掘的任務(wù)關(guān)聯(lián)分析(associationanalysis)關(guān)聯(lián)規(guī)則挖掘是由RakeshApwal等人首先提出的。兩個(gè)或兩個(gè)以上變量的取值之間存在某種規(guī)律性，就稱為關(guān)聯(lián)。數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫中存在的一類重要的、可被發(fā)現(xiàn)的知識(shí)。關(guān)聯(lián)分為簡單關(guān)聯(lián)、時(shí)序關(guān)聯(lián)和因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫中隱藏的關(guān)聯(lián)網(wǎng)。一般用支持度和可信度兩個(gè)閥值來度量關(guān)聯(lián)規(guī)則的相關(guān)性，還不斷引入興趣度、相關(guān)性等參數(shù)，使得所挖掘的規(guī)則更符合需求。(2)聚類分析(clustering)聚類是把數(shù)據(jù)按照相似性歸納成若干類別，同一類中的數(shù)據(jù)彼此相似，不同類中的數(shù)據(jù)相異。聚類分析可以建立宏觀的概念，發(fā)現(xiàn)數(shù)據(jù)的分布模式，以及可能的數(shù)據(jù)屬性之間的相互關(guān)系。(3)分類(classification)分類就是找出一個(gè)類別的概念描述，它代表了這類數(shù)據(jù)的整體信息，即該類的內(nèi)涵描述，并用這種描述來構(gòu)造模型，一般用規(guī)則或決策樹模式表示。分類是利用訓(xùn)練數(shù)據(jù)集通過一定的算法而求得分類規(guī)則。分類可被用于規(guī)則描述和預(yù)測。預(yù)測（predication）預(yù)測是利用歷史數(shù)據(jù)找出變化規(guī)律，建立模型，并由此模型對(duì)未來數(shù)據(jù)的種類及特征進(jìn)行預(yù)測。預(yù)測關(guān)心的是精度和不確定性，通常用預(yù)測方差來度量。時(shí)序模式（time-seriespattern）時(shí)序模式是指通過時(shí)間序列搜索出的重復(fù)發(fā)生概率較高的模式。與回歸一樣，它也是用己知的數(shù)據(jù)預(yù)測未來的值，但這些數(shù)據(jù)的區(qū)別是變量所處時(shí)間的不同。(6)偏差分析（deviation）在偏差中包括很多有用的知識(shí)，數(shù)據(jù)庫中的數(shù)據(jù)存在很多異常情況，發(fā)現(xiàn)數(shù)據(jù)庫中數(shù)據(jù)存在的異常情況是非常重要的。偏差檢驗(yàn)的基本方法就是尋找觀察結(jié)果與參照之間的差別。2.2.3數(shù)據(jù)挖掘方法神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)由于本身良好的魯棒性、自組織自適應(yīng)性、并行處理、分布存儲(chǔ)和高度容錯(cuò)等特性，非常適合解決數(shù)據(jù)挖掘的問題。遺傳算法遺傳算法是一種基于生物自然選擇與遺傳機(jī)理的隨機(jī)搜索算法,是一種仿生全局優(yōu)化方法。遺傳算法具有的隱含并行性、易于和其它模型結(jié)合等性質(zhì)使得它在數(shù)據(jù)挖掘中被加以應(yīng)用。決策樹方法決策樹是一種常用于預(yù)測模型的算法，它通過將大量數(shù)據(jù)有目的分類，從中找到一些有價(jià)值的，潛在的信息。它的主要優(yōu)點(diǎn)是描述簡單，分類速度快，特別適合大規(guī)模的數(shù)據(jù)處理。(4)統(tǒng)計(jì)分析方法在數(shù)據(jù)庫字段項(xiàng)之間存在兩種關(guān)系：函數(shù)關(guān)系(能用函數(shù)公式表示的確定性關(guān)系)和相關(guān)關(guān)系(不能用函數(shù)公式表示，但仍是相關(guān)確定性關(guān)系)，對(duì)它們的分析可采用統(tǒng)計(jì)學(xué)方法，即利用統(tǒng)計(jì)學(xué)原理對(duì)數(shù)據(jù)庫中的信息進(jìn)行分析。模糊集方法即利用模糊集合理論對(duì)實(shí)際問題進(jìn)行模糊評(píng)判、模糊決策、模糊模式識(shí)別和模糊聚類分析。粗集方法粗集理論是一種研究不精確、不確定知識(shí)的數(shù)學(xué)工具。粗集方法有幾個(gè)優(yōu)點(diǎn)：不需要給出額外信息;簡化輸入信息的表達(dá)空間;算法簡單，易于操作。粗集處理的對(duì)象是類似二維關(guān)系表的信息表。覆蓋正例排斥反例方法它是利用覆蓋所有正例、排斥所有反例的思想來尋找規(guī)則。首先在正例集合中任選一個(gè)種子，到反例集合中逐個(gè)比較。與字段取值構(gòu)成的選擇子相容則舍去，相反則保留。按此思想循環(huán)所有正例種子，將得到正例的規(guī)則(選擇子的合取式)。3.數(shù)據(jù)挖掘方案3.1.數(shù)據(jù)挖掘軟件簡介本次的數(shù)據(jù)挖掘所運(yùn)用的軟件是Clementine軟件。Clementine是SPSS的數(shù)據(jù)挖掘應(yīng)用工具。這種工具可把直觀的用戶圖形界面與多種分析技術(shù)相結(jié)合。這些技術(shù)包括神經(jīng)元網(wǎng)絡(luò)、關(guān)聯(lián)規(guī)則和規(guī)則歸納技術(shù)，這些分析能力由一個(gè)易于使用的可視化編程環(huán)境所提供。作為一個(gè)數(shù)據(jù)挖掘平臺(tái)，Clementine結(jié)合商業(yè)技術(shù)可以快速建立預(yù)測性模型，進(jìn)而應(yīng)用到商業(yè)活動(dòng)中，幫助人們改進(jìn)決策過程。強(qiáng)大的數(shù)據(jù)挖掘功能和顯著的投資回報(bào)率使得Clementine在業(yè)界久負(fù)盛譽(yù)。同那些僅僅著重于模型的外在表現(xiàn)而忽略了數(shù)據(jù)挖掘在整個(gè)業(yè)務(wù)流程中的應(yīng)用價(jià)值的其它數(shù)據(jù)挖掘工具相比，Clementine其功能強(qiáng)大的數(shù)據(jù)挖掘算法，使數(shù)據(jù)挖掘貫穿業(yè)務(wù)流程的始終，在縮短投資回報(bào)周期的同時(shí)極大提高了投資回報(bào)率。Clementinee所使用的圖形表現(xiàn)是在屏幕上拖動(dòng)、按下和連接功能節(jié)點(diǎn)。節(jié)點(diǎn)的類型分為數(shù)據(jù)訪問節(jié)點(diǎn)、數(shù)據(jù)操縱節(jié)點(diǎn)、數(shù)據(jù)可視化節(jié)點(diǎn)、機(jī)器學(xué)習(xí)節(jié)點(diǎn)和模型分析節(jié)點(diǎn)。模型產(chǎn)生過程由從托盤中選擇正確的節(jié)點(diǎn)、把它們放到屏幕上和連接節(jié)點(diǎn)組成。Clementinee提供了豐富的數(shù)據(jù)訪問能力，其中包括對(duì)展開文件和關(guān)系數(shù)據(jù)庫(通過ODBC)的訪問。Clementine具有通過把建模結(jié)果寫回一個(gè)與ODBC兼容的DBMS而使它們保持一致的能力。Clementine可在WindowsNT的IntelPenhum系統(tǒng)運(yùn)行。Clementine的數(shù)據(jù)可視化能力包括分布圖、線性圖和網(wǎng)絡(luò)分析。C1emetine是一個(gè)強(qiáng)大的產(chǎn)品。以公布的用戶基推測試來看，它在可伸縮性、預(yù)測準(zhǔn)確率和處理的時(shí)間方面都表現(xiàn)得很好?？偟膩碚f，C1gneBtine對(duì)小規(guī)模和大規(guī)模的分析實(shí)現(xiàn)都很合適。3.2.股票數(shù)據(jù)選擇股票的選擇是隨機(jī)選擇的。用股票代碼/67=02（我學(xué)號(hào)的后兩位）計(jì)算可得所要研究的股票（此過程運(yùn)用Excel表格的取余，然后用篩選即可選出符合條件的股票）。所以根據(jù)公式可計(jì)算出多支符合條件的股票，從中我選擇自己感興趣的股票深證萬科A（000002和上證道博股份（600132）。同時(shí)用它們的日線作為參考，對(duì)股票的數(shù)據(jù)進(jìn)行研究。3.3.待驗(yàn)證的股票規(guī)律3.3.1股市的漲跌是呈現(xiàn)周期性變化的且漲幅呈正態(tài)分布？這種現(xiàn)象指的是在股市開盤后的一種周期性的現(xiàn)象，具體表現(xiàn)在股票價(jià)格上上的周期性漲落，當(dāng)股市達(dá)到高潮后，一段時(shí)間后又將返回下跌，返回低潮。3.3.2國家對(duì)房地產(chǎn)行業(yè)的宏觀調(diào)控政策對(duì)股市中房地產(chǎn)行業(yè)是否有影響?房價(jià)上漲對(duì)地產(chǎn)股有什么影響？指近10年來，國家為了控制房地產(chǎn)的價(jià)格在一個(gè)合理的范圍內(nèi)，所出臺(tái)的一系列與房地產(chǎn)行業(yè)相關(guān)的政策，這條規(guī)律就是研究在政策出臺(tái)之后，股市中的房地產(chǎn)行業(yè)是否會(huì)受其影響而產(chǎn)生波動(dòng)。3.3.3不同類型的上市公司由于產(chǎn)業(yè)的不同企業(yè)發(fā)展的經(jīng)歷差異其所表現(xiàn)出的股價(jià)漲幅波動(dòng)也是否是有差異？數(shù)據(jù)挖掘流4.1數(shù)據(jù)挖掘流圖分別做出萬科和道博股份的數(shù)據(jù)流圖如圖1、圖2所示：圖1萬科的數(shù)據(jù)流圖圖2道博股份的數(shù)據(jù)流圖圖3萬科道博股份合并后的數(shù)據(jù)流圖4.2規(guī)律驗(yàn)證4.2.1規(guī)律一驗(yàn)證對(duì)于規(guī)律一我們可以把兩支股票的直方圖都做出來進(jìn)行比較驗(yàn)證分析股票漲幅分布中存在的規(guī)律。圖4漲幅直方圖（萬科）圖5漲幅直方圖（道博股份）由圖4圖5可以很清楚的看出兩支股票的漲幅直方圖都是滿足正態(tài)分布的由此我們可以判斷規(guī)律一是正確的。4.2.2規(guī)律2驗(yàn)證萬科是著名的大型房地產(chǎn)企業(yè)對(duì)于規(guī)律2我們可以應(yīng)用萬科的散點(diǎn)圖來驗(yàn)證圖6萬科漲幅日期散點(diǎn)圖圖7萬科時(shí)間漲幅散點(diǎn)圖通過兩個(gè)散點(diǎn)圖都可以看出05年以前萬科的漲幅波動(dòng)很小，一直很平穩(wěn)，05年以后萬科的漲幅波動(dòng)開始變的非常大時(shí)高時(shí)低。可以看出國家房地產(chǎn)政策的調(diào)整對(duì)地產(chǎn)企業(yè)的股票市場是有影響的。圖9萬科收盤散點(diǎn)圖從上圖的萬科收盤散點(diǎn)圖可以看出隨著房地產(chǎn)市場化的進(jìn)行由于商品房價(jià)格的不斷上漲，萬科地產(chǎn)的收盤股價(jià)上漲明顯，近兩年由于國家抑制房價(jià)地產(chǎn)股的收盤價(jià)又開始稍有下降。4.2.3規(guī)律三驗(yàn)證圖10萬科道博股份合并后的數(shù)據(jù)流圖圖11剔出波動(dòng)大于10后的漲幅時(shí)間散點(diǎn)圖圖12收盤價(jià)時(shí)間散點(diǎn)圖武漢道博股份有限公司是1992年10月30日經(jīng)武漢市經(jīng)濟(jì)體制改革委員會(huì)武體改[1992]44號(hào)文批準(zhǔn)，由海南省高科技開發(fā)總公司、三亞市河西城市信用社、海南宏盛實(shí)業(yè)有限公司等三家單位作為主要發(fā)起人，以定向募集方式設(shè)立的股份有限公司。萬科企業(yè)股份有限公司成立于1984年5月，是目前中國最大的專業(yè)住宅開發(fā)企業(yè)，也是股市里的代表性地產(chǎn)藍(lán)籌股?？偛吭O(shè)在廣東深圳，至2009年，已在20多個(gè)城市設(shè)立分公司。從兩個(gè)公司的介紹上我們不難看出兩個(gè)公司的差異，再看他們的漲幅散點(diǎn)圖和收盤價(jià)散點(diǎn)圖我們能發(fā)現(xiàn)05年之前萬科股價(jià)一直穩(wěn)定小幅上漲而道