背景知識and數(shù)據(jù)挖掘前準備etc

背景知識and數(shù)據(jù)挖掘前準備etc在零售圖書應用領(lǐng)域，利用數(shù)據(jù)挖掘?qū)诤芏喾矫嬗凶吭奖憩F(xiàn)：１、了解銷售全局；２、圖書分組布局；３、降低庫存成本；４、市場和趨勢分析；５、有效的圖書促銷；2第七章功能：傳統(tǒng)的統(tǒng)計分析：——銷售統(tǒng)計分析；——采購統(tǒng)計分析；Web挖掘技術(shù)實現(xiàn)：——購物籃分析；——客戶流失分析；——客戶細分；——促銷分析；——個性化推薦分析《基于WEB數(shù)據(jù)挖掘技術(shù)的書店電子商務(wù)系統(tǒng)的設(shè)計與實現(xiàn)》3《購物籃分析中若干問題的研究》零售業(yè)：收集了大量的數(shù)據(jù)：——銷售數(shù)據(jù)、顧客購買歷史數(shù)據(jù)、商品運輸數(shù)據(jù)、消費服務(wù)記錄etc；數(shù)據(jù)分析可以：——識別顧客購買行為、發(fā)現(xiàn)顧客購買模式、購買趨勢、提高顧客服務(wù)質(zhì)量etc；應用實例：——設(shè)計、構(gòu)造面向零售業(yè)數(shù)據(jù)挖掘的數(shù)據(jù)倉庫；——銷售、顧客、產(chǎn)品、時間、區(qū)域的多維數(shù)據(jù)分析；——銷售策略效果分析；——顧客忠誠度分析；——購買推薦etc.4數(shù)據(jù)挖掘面臨的挑戰(zhàn)：——人們對數(shù)據(jù)挖掘寄予了太高的期望；目前數(shù)據(jù)挖掘系統(tǒng)只建立了一些通用的算法，而人們的需求多種多樣、復雜多變，還包含了復雜的專業(yè)背景知識?！獢?shù)據(jù)挖掘與用戶目標出現(xiàn)了脫節(jié)的現(xiàn)象；數(shù)據(jù)挖掘?qū)＜覍Ｗ⒂趶囊淮蠖阉⒉皇煜さ臄?shù)據(jù)中挖掘他也不知道是否有用的知識，為了不遺漏，他們總是盡可能的挖掘出所有的知識。這樣就帶來的大量的冗余知識。用戶必須從中篩選出對他有用的，大大加重了用戶的負擔。5《數(shù)據(jù)挖掘技術(shù)在圖書館信息服務(wù)中的應用》——傳統(tǒng)的信息服務(wù)方式已不能滿足讀者的需要，資源數(shù)字化及個性化推薦系統(tǒng)的建立已成為發(fā)展趨勢；——個性化服務(wù)：通過對用戶個性、使用習慣的分析主動地向用戶提供和推薦其可能需要的信息；個性化信息服務(wù)內(nèi)容：——個性化Web網(wǎng)頁定制；——信息主動推送服務(wù)；——圖書館個性化服務(wù)系統(tǒng)MyLibrary；——專業(yè)化網(wǎng)上定題信息服務(wù)等等。傳統(tǒng)的檢索：——輸入關(guān)鍵詞后瀏覽信息；——需要讀者具備相關(guān)專業(yè)的知識，對自己的需要有著明確的認識；6圖書推薦服務(wù)：——采取主動的方式，向讀者提供他可能感興趣的信息；——降低了對讀者的要求；——節(jié)約了讀者尋找資料的時間，同時提供了更豐富的信息；4結(jié)語——數(shù)據(jù)挖掘技術(shù)應用于圖書推薦服務(wù)，比傳統(tǒng)的檢索服務(wù)有更大優(yōu)勢；——這種圖書推薦模型可以應用于其他相近領(lǐng)域，例如書店、網(wǎng)絡(luò)文獻數(shù)據(jù)庫等等；——最小支持度和最小置信度的選擇會影響到處規(guī)則的數(shù)量和規(guī)則涉及概念層的高低，權(quán)重計算公式的確定也會影響項集的支持度。7《數(shù)據(jù)挖掘技術(shù)及其在高校圖書館中的應用》2數(shù)據(jù)挖掘在高校圖書館的應用——高校圖書館的自動化系統(tǒng)積累了歷年采訪編目、借閱流通狀況、檢索請求及館藏書目庫等海量數(shù)據(jù)，為數(shù)據(jù)瓦局提供了豐富的資源；——識別讀者的借閱行為，發(fā)現(xiàn)讀者的借閱模式和趨勢，為讀者提供個性化的信息服務(wù)，達到更好的讀者保持力和滿意程度；——為圖書館的決策、管理及建設(shè)發(fā)展提供信息資源與服務(wù)；具體應用舉例如下：——分析讀者的節(jié)約變化，然后對文獻資源加以調(diào)整；——對于借閱頻率大且連續(xù)續(xù)借的數(shù)目，應增加復本，以提高服務(wù)質(zhì)量；——圖書的剔舊和大量新書入庫都會讓書庫經(jīng)常倒架排列，而增加工作人員的工作量；8——可以利用數(shù)據(jù)挖掘技術(shù)對歷年相關(guān)數(shù)據(jù)進行分析，預測較大的圖書種類并為其預留架位；——可挖掘關(guān)聯(lián)信息：借閱某種文獻的讀者很可能借閱其他一些文獻，可形成一定的借閱推薦；——借閱推薦可在高校圖書館網(wǎng)站上宣傳，幫則讀者選擇文獻，增加讀者對文獻資源的使用率；——由于經(jīng)費有限，各門學科之間如何配比、各種文獻載體形式如何均衡采購很重要；——通過對流通記錄、檢索請求及館藏書目庫進行分析和挖掘，就能有針對性地補充、豐富、優(yōu)化館藏資源；——將提問者提出的問題和解答者對問題的解答記錄在數(shù)據(jù)庫里，當未來讀者提出問題時，參考咨詢?nèi)藛T可利用數(shù)據(jù)關(guān)聯(lián)規(guī)則，從數(shù)據(jù)庫中挖掘出相關(guān)問題的答案結(jié)果，從而使讀者可以快速收到最相似的問題答案。9《關(guān)聯(lián)規(guī)則挖掘在網(wǎng)上書店系統(tǒng)中的應用》4關(guān)聯(lián)規(guī)則在網(wǎng)上書店系統(tǒng)中的應用——在網(wǎng)上書店系統(tǒng)中可以進行關(guān)聯(lián)圖書的推薦；——在購進圖書時要考慮產(chǎn)品的關(guān)聯(lián)性（對于兩種關(guān)聯(lián)程度大的圖書在庫存數(shù)據(jù)上不應該相差太大）。10《淺析數(shù)據(jù)挖掘技術(shù)及其在電子商務(wù)中的應用》3數(shù)據(jù)挖掘與電子商務(wù)的關(guān)系企業(yè)從中受益體現(xiàn)在以下四個方面：a.可以發(fā)現(xiàn)客戶和訪問者的愛好、生活模式；b.可以爭取新顧客，怎樣使產(chǎn)品適銷對路、怎樣給產(chǎn)品定價、怎樣吸引單個客戶、怎樣優(yōu)化網(wǎng)站；c.可以用相應的信息確定顧客的消費周期，針對不同的產(chǎn)品制定相應的營銷策略；d.可以確定客戶細分，為每一個客戶的獨特需求設(shè)計“量身定制”的產(chǎn)品。4數(shù)據(jù)挖掘在電子商務(wù)中的應用——數(shù)據(jù)挖掘能發(fā)現(xiàn)電子商務(wù)客戶的共性和個性的知識、必然和偶然的知識、獨立和關(guān)聯(lián)的知識、現(xiàn)實和預測的知識等；——這些知識經(jīng)過分析，能對客戶的消費行為如心理、能力、動機、需求、潛能等做出統(tǒng)計和正確的分析，為管理者提供決策依據(jù)；11——分析網(wǎng)上顧客的購買行為；——幫助管理者規(guī)劃市場；——確定商品的種類、價格、質(zhì)量等；關(guān)聯(lián)規(guī)則通常分兩類：——有意義的關(guān)聯(lián)規(guī)則：滿足最小支持度和最小可信度的規(guī)則；——泛化關(guān)聯(lián)規(guī)則：更實用，因為研究對象存在一種層次關(guān)系（如面包、蛋糕屬西點類，而西點又屬于食品類），有了層次關(guān)系后，可以幫助發(fā)現(xiàn)更多的有意義的規(guī)則。12《數(shù)據(jù)挖掘在網(wǎng)絡(luò)營銷中的應用》一、引言網(wǎng)絡(luò)營銷：——利用Internet等網(wǎng)絡(luò)進行的營銷活動，是一種結(jié)合信息技術(shù)和營銷理論的新型營銷方式；——全天候、適時、互動：迎合了現(xiàn)代顧客個性化的需要特征；——網(wǎng)站構(gòu)建：低成本、易維護、快速適應市場環(huán)境變化etc特征；——網(wǎng)絡(luò)營銷的無可比擬的優(yōu)勢：廣域性——覆蓋全球，交流通暢；適時性——即可到達，即時反饋；互動性——客戶參與，充分溝通；低成本——建設(shè)及維護費用低；支持其他營銷方式etc；——目前，我國網(wǎng)絡(luò)營銷發(fā)展的總體水平較低，仍停留在起步階段；——大多數(shù)企業(yè)的網(wǎng)絡(luò)營銷僅僅是建立網(wǎng)站，而對網(wǎng)站、DB中大量的數(shù)據(jù)卻視而不見，造成了網(wǎng)絡(luò)營銷資源的極大浪費，降低了網(wǎng)絡(luò)營銷的效果；——So，如何從這些資源中挖掘出有助于提高網(wǎng)絡(luò)營銷效果、促進企業(yè)產(chǎn)品銷售的信息，成為十分重要的研究課題。13三、網(wǎng)絡(luò)營銷中數(shù)據(jù)挖掘的一般過程14四、數(shù)據(jù)挖掘在網(wǎng)絡(luò)營銷中的應用1、提供個性化服務(wù)2、挖掘潛在的客戶群體3、交叉銷售分析4、用戶需求預測5、完善網(wǎng)站設(shè)計15二、數(shù)據(jù)挖掘技術(shù)網(wǎng)絡(luò)營銷中：——Web日志：蘊含著顧客的行為模式、市場的發(fā)展變化等信息；——Web挖掘技術(shù)：對這些數(shù)據(jù)進行分析，可以：挖掘客戶的興趣愛好；根據(jù)訪問情況，為客戶提供個性化的信息服務(wù)；挖掘客戶的消費傾向和消費群體分布，從而制定一定的營銷策略；實現(xiàn)交叉營銷；發(fā)現(xiàn)數(shù)據(jù)之間的內(nèi)在聯(lián)系，從而對客戶需求做出及時反應并進行未來預測；了解用戶的反應和動機以改進網(wǎng)站系統(tǒng)的設(shè)計；監(jiān)控競爭對手商品價格的波動，及時做出回應，使企業(yè)在激烈的市場競爭中占據(jù)有利地位。16《淺析數(shù)據(jù)挖掘的研究現(xiàn)狀及其應用》3、數(shù)據(jù)挖掘中存在的問題1、數(shù)據(jù)挖掘的基本問題就在于數(shù)據(jù)的數(shù)量和維數(shù)，數(shù)據(jù)結(jié)構(gòu)也因此顯得非常復雜，如何進行探索，選擇分析變量，也就成為首先要解決的問題；2、面對龐大的數(shù)據(jù)，直接的想法就是對數(shù)據(jù)進行抽樣。So怎么抽樣，抽取多樣的樣本，如何評價抽樣的效果，這些都是值得研究的問題；3、既然數(shù)據(jù)是海量的，那么數(shù)據(jù)中就會隱含一定的變化趨勢，在DM中也要對這個趨勢做應有的考慮和評價；4、各種不同的模型如何應用，其效果如何評價，這涉及到可靠性的問題；5、如何進行互聯(lián)網(wǎng)的數(shù)據(jù)挖掘，and文本等非標準數(shù)據(jù)的挖掘；6、數(shù)據(jù)的私有性和安全性；7、數(shù)據(jù)挖掘的結(jié)果是不確定的，要與專業(yè)知識結(jié)合才能對其作出判斷。17數(shù)據(jù)挖掘也有它無法辦到的事：——它不能告訴你某個模型對你的企業(yè)的實際價值：DM只是個工具，只是幫助商業(yè)人士更深入、更容易地分析數(shù)據(jù)，DM中得到的模型必須在現(xiàn)實生活中得到驗證；——DM不會在缺乏指導的情況下自動地發(fā)現(xiàn)模型：數(shù)據(jù)分析者必須知道你所選用的DM工具是如何工作的，采用的算法的原理是什么；——DM永遠不會代替有經(jīng)驗的商業(yè)分析師或管理人員所起的作用，它只是個強大的工具。SO，DM可以發(fā)現(xiàn)一些有用的知識，但是不會告訴你為什么，也不能保證（eg:潛在的用戶成為現(xiàn)實）。18《數(shù)據(jù)挖掘的商務(wù)應用前景》一、數(shù)據(jù)挖掘商務(wù)應用的案例——零售行業(yè)數(shù)據(jù)挖掘應用3、數(shù)據(jù)挖掘應用結(jié)論經(jīng)分析得出，零售行業(yè)數(shù)據(jù)挖掘典型的應用領(lǐng)域包括：——客戶市場細分：找到最優(yōu)價值的客戶群體；——庫存管理：平衡庫存量是所有零售商最基本工作；——促銷的效果和運營效益；——供應鏈管理和優(yōu)化。三、實施數(shù)據(jù)挖掘項目需要的專家1、領(lǐng)域?qū)＜褽g:企業(yè)的營銷主管或?qū)＜遥╤elp定義項目的方向和相關(guān)的背景知識）——一方面可讓領(lǐng)域?qū)＜抑繢M可以做哪些事情，不能做哪些事情，for數(shù)據(jù)挖掘不是萬能的；19——另一方面，可以讓領(lǐng)域?qū)＜抑繢M項目需要他們的參與和合作，他們的個人魅力和決策能力并不能被DM所取代，讓他們不至于排斥DM；領(lǐng)域?qū)＜业膮⑴c，對數(shù)據(jù)挖掘項目的重要作用有：——定義用于數(shù)據(jù)挖掘分析的有用的問題，可確定項目的大致方向；——選擇潛在的相關(guān)數(shù)據(jù)來回答這些問題；——幫助形成對原始數(shù)據(jù)的感性認識；——幫助對挖掘結(jié)果的分析和對分析結(jié)果的表達；——吸收和采納挖掘結(jié)果，做出決策，形成反饋（對挖掘結(jié)果的評估）。2、IT專家/數(shù)據(jù)庫專家——DM項目的成果與否在很大程度上取決與數(shù)據(jù)收集與數(shù)據(jù)準備的質(zhì)量的好壞，so需要IT人員的參與，因為IT人員知道如何儲存和存取數(shù)據(jù)；——現(xiàn)在很多企業(yè)開始建立數(shù)據(jù)庫來實現(xiàn)對數(shù)據(jù)的有效管理，這更突出了IT人員的重要性。3、數(shù)據(jù)分析專家/統(tǒng)計專家————數(shù)據(jù)的綜合性、易用性、數(shù)據(jù)的質(zhì)量和數(shù)據(jù)的時效性，這可能需要數(shù)據(jù)分析人員有高屋建瓴的戰(zhàn)略眼光；——如何從現(xiàn)有數(shù)據(jù)中衍生出所需要的指標，這也主要取決于數(shù)據(jù)挖掘著的分析經(jīng)驗和工具的方便性。20《數(shù)據(jù)挖掘技術(shù)發(fā)展及其應用》4、結(jié)束語——數(shù)據(jù)挖掘技術(shù)的發(fā)展以及給我們帶來利益的同時，也不能忽略它存在的問題，如：——數(shù)據(jù)挖掘方法的效率還有待提高，尤其是超大規(guī)模數(shù)據(jù)集中數(shù)據(jù)挖掘的效率；——挖掘結(jié)果的無效性；——開發(fā)適應多數(shù)據(jù)類型，容噪的挖掘方法，以解決異質(zhì)數(shù)據(jù)集的數(shù)據(jù)挖掘問題；——動態(tài)數(shù)據(jù)和知識的數(shù)據(jù)挖掘。21《數(shù)據(jù)挖掘技術(shù)與讀者個性化服務(wù)》一、數(shù)據(jù)挖掘技術(shù)的功能１、自動預測２、分析關(guān)聯(lián)３、劃分聚類４、概念描述５、偏差檢測也可見我的筆記：概念/類描述：特征化與區(qū)分、關(guān)聯(lián)分析、分類＋預測、聚類＋孤立點、演變分析。。。22二、數(shù)據(jù)挖掘技術(shù)在讀者個性化信息獲取中的應用１、讀者個性化信息概述（可通過讀者模型來描述）２、讀者個性化信息獲取方法：——關(guān)聯(lián)分析（零售業(yè)）；——組合分析法（人工神經(jīng)元網(wǎng)絡(luò)、決策樹方法結(jié)合）；——分類填表法（讀者信息的分類模型）；——智能代理方法（考察上網(wǎng)記錄）。23《Web數(shù)據(jù)挖掘技術(shù)在網(wǎng)上書店中的應用》——WWW：巨大的、分布的、異構(gòu)的、半結(jié)構(gòu)化的、動態(tài)的及基于超鏈接的超媒體文檔構(gòu)成的DB；Web數(shù)據(jù)挖掘技術(shù)在網(wǎng)上書店的應用：２Web數(shù)據(jù)挖掘面臨的問題２、１非技術(shù)性問題——網(wǎng)頁相關(guān)性分析（哪些網(wǎng)頁具有密切關(guān)系，可加上鏈接）；——用戶訪問模式分析（把用戶按行為模式分類）；——用戶歸類（根據(jù)用戶填寫信息分類，對同一類別的用戶提供相似的服務(wù)）；24２、２技術(shù)問題——數(shù)據(jù)處理；——統(tǒng)計分析；——數(shù)據(jù)挖掘；——關(guān)聯(lián)規(guī)則；——聚集（就是用戶的聚類）；——歸類（即用戶的分類）；——序列模式；３Web數(shù)據(jù)挖掘的分類——Web內(nèi)容挖掘；——Web使用模式挖掘；——Web結(jié)構(gòu)挖掘；PS：可見我的暑假筆記。2526４、２Web數(shù)據(jù)挖掘技術(shù)在網(wǎng)上書店中的應用１、源數(shù)據(jù)的收集——服務(wù)器端數(shù)據(jù)的收集（日志文件）；——包檢測技術(shù)；——后臺數(shù)據(jù)庫里的原有數(shù)據(jù)（用戶信息數(shù)據(jù)表、圖書數(shù)據(jù)表、訂單數(shù)據(jù)表。。。）；２、數(shù)據(jù)的預處理——可見我的筆記；３、數(shù)據(jù)挖掘階段——確定目標樣本；——提取特征信息；——網(wǎng)絡(luò)信息獲??；——信息特征匹配。27《電子商務(wù)中WEB數(shù)據(jù)挖掘技術(shù)的應用》三類Web挖掘：——Web內(nèi)容挖掘；——Web結(jié)構(gòu)挖掘；——Web使用模式挖掘。數(shù)據(jù)源的收集：服務(wù)器數(shù)據(jù)：——Web日志文件；——查詢數(shù)據(jù)；用戶登記信息：PS：有的客戶不肯寫部分背景信息，這種情況下，就不得不從客戶的瀏覽行為中推測客戶的背景信息。28《Dataminingtechniquesforcustomerrelationshipmanagement》Oldmodel:——”design-build-sell”（aproduct-orientedview）舊模型：——“設(shè)計－建設(shè)－賣出”（面向產(chǎn)品的觀點）Newmodel:——”sell-build-redesign”(acustomer-orientedview)新模型：——“賣出－建設(shè)－重新設(shè)計”（面向客戶的觀點）Sellproductsestablishalong-termrelationshipw