背景知識(shí)and數(shù)據(jù)挖掘前準(zhǔn)備etc

背景知識(shí)and數(shù)據(jù)挖掘前準(zhǔn)備etc在零售圖書應(yīng)用領(lǐng)域，利用數(shù)據(jù)挖掘?qū)?huì)在很多方面有卓越表現(xiàn)：１、了解銷售全局；２、圖書分組布局；３、降低庫存成本；４、市場和趨勢分析；５、有效的圖書促銷；2第七章功能：傳統(tǒng)的統(tǒng)計(jì)分析：——銷售統(tǒng)計(jì)分析；——采購統(tǒng)計(jì)分析；Web挖掘技術(shù)實(shí)現(xiàn)：——購物籃分析；——客戶流失分析；——客戶細(xì)分；——促銷分析；——個(gè)性化推薦分析《基于WEB數(shù)據(jù)挖掘技術(shù)的書店電子商務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)》3《購物籃分析中若干問題的研究》零售業(yè)：收集了大量的數(shù)據(jù)：——銷售數(shù)據(jù)、顧客購買歷史數(shù)據(jù)、商品運(yùn)輸數(shù)據(jù)、消費(fèi)服務(wù)記錄etc；數(shù)據(jù)分析可以：——識(shí)別顧客購買行為、發(fā)現(xiàn)顧客購買模式、購買趨勢、提高顧客服務(wù)質(zhì)量etc；應(yīng)用實(shí)例：——設(shè)計(jì)、構(gòu)造面向零售業(yè)數(shù)據(jù)挖掘的數(shù)據(jù)倉庫；——銷售、顧客、產(chǎn)品、時(shí)間、區(qū)域的多維數(shù)據(jù)分析；——銷售策略效果分析；——顧客忠誠度分析；——購買推薦etc.4數(shù)據(jù)挖掘面臨的挑戰(zhàn)：——人們對數(shù)據(jù)挖掘寄予了太高的期望；目前數(shù)據(jù)挖掘系統(tǒng)只建立了一些通用的算法，而人們的需求多種多樣、復(fù)雜多變，還包含了復(fù)雜的專業(yè)背景知識(shí)?！獢?shù)據(jù)挖掘與用戶目標(biāo)出現(xiàn)了脫節(jié)的現(xiàn)象；數(shù)據(jù)挖掘?qū)＜覍Ｗ⒂趶囊淮蠖阉⒉皇煜さ臄?shù)據(jù)中挖掘他也不知道是否有用的知識(shí)，為了不遺漏，他們總是盡可能的挖掘出所有的知識(shí)。這樣就帶來的大量的冗余知識(shí)。用戶必須從中篩選出對他有用的，大大加重了用戶的負(fù)擔(dān)。5《數(shù)據(jù)挖掘技術(shù)在圖書館信息服務(wù)中的應(yīng)用》——傳統(tǒng)的信息服務(wù)方式已不能滿足讀者的需要，資源數(shù)字化及個(gè)性化推薦系統(tǒng)的建立已成為發(fā)展趨勢；——個(gè)性化服務(wù)：通過對用戶個(gè)性、使用習(xí)慣的分析主動(dòng)地向用戶提供和推薦其可能需要的信息；個(gè)性化信息服務(wù)內(nèi)容：——個(gè)性化Web網(wǎng)頁定制；——信息主動(dòng)推送服務(wù)；——圖書館個(gè)性化服務(wù)系統(tǒng)MyLibrary；——專業(yè)化網(wǎng)上定題信息服務(wù)等等。傳統(tǒng)的檢索：——輸入關(guān)鍵詞后瀏覽信息；——需要讀者具備相關(guān)專業(yè)的知識(shí)，對自己的需要有著明確的認(rèn)識(shí)；6圖書推薦服務(wù)：——采取主動(dòng)的方式，向讀者提供他可能感興趣的信息；——降低了對讀者的要求；——節(jié)約了讀者尋找資料的時(shí)間，同時(shí)提供了更豐富的信息；4結(jié)語——數(shù)據(jù)挖掘技術(shù)應(yīng)用于圖書推薦服務(wù)，比傳統(tǒng)的檢索服務(wù)有更大優(yōu)勢；——這種圖書推薦模型可以應(yīng)用于其他相近領(lǐng)域，例如書店、網(wǎng)絡(luò)文獻(xiàn)數(shù)據(jù)庫等等；——最小支持度和最小置信度的選擇會(huì)影響到處規(guī)則的數(shù)量和規(guī)則涉及概念層的高低，權(quán)重計(jì)算公式的確定也會(huì)影響項(xiàng)集的支持度。7《數(shù)據(jù)挖掘技術(shù)及其在高校圖書館中的應(yīng)用》2數(shù)據(jù)挖掘在高校圖書館的應(yīng)用——高校圖書館的自動(dòng)化系統(tǒng)積累了歷年采訪編目、借閱流通狀況、檢索請求及館藏書目庫等海量數(shù)據(jù)，為數(shù)據(jù)瓦局提供了豐富的資源；——識(shí)別讀者的借閱行為，發(fā)現(xiàn)讀者的借閱模式和趨勢，為讀者提供個(gè)性化的信息服務(wù)，達(dá)到更好的讀者保持力和滿意程度；——為圖書館的決策、管理及建設(shè)發(fā)展提供信息資源與服務(wù)；具體應(yīng)用舉例如下：——分析讀者的節(jié)約變化，然后對文獻(xiàn)資源加以調(diào)整；——對于借閱頻率大且連續(xù)續(xù)借的數(shù)目，應(yīng)增加復(fù)本，以提高服務(wù)質(zhì)量；——圖書的剔舊和大量新書入庫都會(huì)讓書庫經(jīng)常倒架排列，而增加工作人員的工作量；8——可以利用數(shù)據(jù)挖掘技術(shù)對歷年相關(guān)數(shù)據(jù)進(jìn)行分析，預(yù)測較大的圖書種類并為其預(yù)留架位；——可挖掘關(guān)聯(lián)信息：借閱某種文獻(xiàn)的讀者很可能借閱其他一些文獻(xiàn)，可形成一定的借閱推薦；——借閱推薦可在高校圖書館網(wǎng)站上宣傳，幫則讀者選擇文獻(xiàn)，增加讀者對文獻(xiàn)資源的使用率；——由于經(jīng)費(fèi)有限，各門學(xué)科之間如何配比、各種文獻(xiàn)載體形式如何均衡采購很重要；——通過對流通記錄、檢索請求及館藏書目庫進(jìn)行分析和挖掘，就能有針對性地補(bǔ)充、豐富、優(yōu)化館藏資源；——將提問者提出的問題和解答者對問題的解答記錄在數(shù)據(jù)庫里，當(dāng)未來讀者提出問題時(shí)，參考咨詢?nèi)藛T可利用數(shù)據(jù)關(guān)聯(lián)規(guī)則，從數(shù)據(jù)庫中挖掘出相關(guān)問題的答案結(jié)果，從而使讀者可以快速收到最相似的問題答案。9《關(guān)聯(lián)規(guī)則挖掘在網(wǎng)上書店系統(tǒng)中的應(yīng)用》4關(guān)聯(lián)規(guī)則在網(wǎng)上書店系統(tǒng)中的應(yīng)用——在網(wǎng)上書店系統(tǒng)中可以進(jìn)行關(guān)聯(lián)圖書的推薦；——在購進(jìn)圖書時(shí)要考慮產(chǎn)品的關(guān)聯(lián)性（對于兩種關(guān)聯(lián)程度大的圖書在庫存數(shù)據(jù)上不應(yīng)該相差太大）。10《淺析數(shù)據(jù)挖掘技術(shù)及其在電子商務(wù)中的應(yīng)用》3數(shù)據(jù)挖掘與電子商務(wù)的關(guān)系企業(yè)從中受益體現(xiàn)在以下四個(gè)方面：a.可以發(fā)現(xiàn)客戶和訪問者的愛好、生活模式；b.可以爭取新顧客，怎樣使產(chǎn)品適銷對路、怎樣給產(chǎn)品定價(jià)、怎樣吸引單個(gè)客戶、怎樣優(yōu)化網(wǎng)站；c.可以用相應(yīng)的信息確定顧客的消費(fèi)周期，針對不同的產(chǎn)品制定相應(yīng)的營銷策略；d.可以確定客戶細(xì)分，為每一個(gè)客戶的獨(dú)特需求設(shè)計(jì)“量身定制”的產(chǎn)品。4數(shù)據(jù)挖掘在電子商務(wù)中的應(yīng)用——數(shù)據(jù)挖掘能發(fā)現(xiàn)電子商務(wù)客戶的共性和個(gè)性的知識(shí)、必然和偶然的知識(shí)、獨(dú)立和關(guān)聯(lián)的知識(shí)、現(xiàn)實(shí)和預(yù)測的知識(shí)等；——這些知識(shí)經(jīng)過分析，能對客戶的消費(fèi)行為如心理、能力、動(dòng)機(jī)、需求、潛能等做出統(tǒng)計(jì)和正確的分析，為管理者提供決策依據(jù)；11——分析網(wǎng)上顧客的購買行為；——幫助管理者規(guī)劃市場；——確定商品的種類、價(jià)格、質(zhì)量等；關(guān)聯(lián)規(guī)則通常分兩類：——有意義的關(guān)聯(lián)規(guī)則：滿足最小支持度和最小可信度的規(guī)則；——泛化關(guān)聯(lián)規(guī)則：更實(shí)用，因?yàn)檠芯繉ο蟠嬖谝环N層次關(guān)系（如面包、蛋糕屬西點(diǎn)類，而西點(diǎn)又屬于食品類），有了層次關(guān)系后，可以幫助發(fā)現(xiàn)更多的有意義的規(guī)則。12《數(shù)據(jù)挖掘在網(wǎng)絡(luò)營銷中的應(yīng)用》一、引言網(wǎng)絡(luò)營銷：——利用Internet等網(wǎng)絡(luò)進(jìn)行的營銷活動(dòng)，是一種結(jié)合信息技術(shù)和營銷理論的新型營銷方式；——全天候、適時(shí)、互動(dòng)：迎合了現(xiàn)代顧客個(gè)性化的需要特征；——網(wǎng)站構(gòu)建：低成本、易維護(hù)、快速適應(yīng)市場環(huán)境變化etc特征；——網(wǎng)絡(luò)營銷的無可比擬的優(yōu)勢：廣域性——覆蓋全球，交流通暢；適時(shí)性——即可到達(dá)，即時(shí)反饋；互動(dòng)性——客戶參與，充分溝通；低成本——建設(shè)及維護(hù)費(fèi)用低；支持其他營銷方式etc；——目前，我國網(wǎng)絡(luò)營銷發(fā)展的總體水平較低，仍停留在起步階段；——大多數(shù)企業(yè)的網(wǎng)絡(luò)營銷僅僅是建立網(wǎng)站，而對網(wǎng)站、DB中大量的數(shù)據(jù)卻視而不見，造成了網(wǎng)絡(luò)營銷資源的極大浪費(fèi)，降低了網(wǎng)絡(luò)營銷的效果；——So，如何從這些資源中挖掘出有助于提高網(wǎng)絡(luò)營銷效果、促進(jìn)企業(yè)產(chǎn)品銷售的信息，成為十分重要的研究課題。13三、網(wǎng)絡(luò)營銷中數(shù)據(jù)挖掘的一般過程14四、數(shù)據(jù)挖掘在網(wǎng)絡(luò)營銷中的應(yīng)用1、提供個(gè)性化服務(wù)2、挖掘潛在的客戶群體3、交叉銷售分析4、用戶需求預(yù)測5、完善網(wǎng)站設(shè)計(jì)15二、數(shù)據(jù)挖掘技術(shù)網(wǎng)絡(luò)營銷中：——Web日志：蘊(yùn)含著顧客的行為模式、市場的發(fā)展變化等信息；——Web挖掘技術(shù)：對這些數(shù)據(jù)進(jìn)行分析，可以：挖掘客戶的興趣愛好；根據(jù)訪問情況，為客戶提供個(gè)性化的信息服務(wù)；挖掘客戶的消費(fèi)傾向和消費(fèi)群體分布，從而制定一定的營銷策略；實(shí)現(xiàn)交叉營銷；發(fā)現(xiàn)數(shù)據(jù)之間的內(nèi)在聯(lián)系，從而對客戶需求做出及時(shí)反應(yīng)并進(jìn)行未來預(yù)測；了解用戶的反應(yīng)和動(dòng)機(jī)以改進(jìn)網(wǎng)站系統(tǒng)的設(shè)計(jì)；監(jiān)控競爭對手商品價(jià)格的波動(dòng)，及時(shí)做出回應(yīng)，使企業(yè)在激烈的市場競爭中占據(jù)有利地位。16《淺析數(shù)據(jù)挖掘的研究現(xiàn)狀及其應(yīng)用》3、數(shù)據(jù)挖掘中存在的問題1、數(shù)據(jù)挖掘的基本問題就在于數(shù)據(jù)的數(shù)量和維數(shù)，數(shù)據(jù)結(jié)構(gòu)也因此顯得非常復(fù)雜，如何進(jìn)行探索，選擇分析變量，也就成為首先要解決的問題；2、面對龐大的數(shù)據(jù)，直接的想法就是對數(shù)據(jù)進(jìn)行抽樣。So怎么抽樣，抽取多樣的樣本，如何評(píng)價(jià)抽樣的效果，這些都是值得研究的問題；3、既然數(shù)據(jù)是海量的，那么數(shù)據(jù)中就會(huì)隱含一定的變化趨勢，在DM中也要對這個(gè)趨勢做應(yīng)有的考慮和評(píng)價(jià)；4、各種不同的模型如何應(yīng)用，其效果如何評(píng)價(jià)，這涉及到可靠性的問題；5、如何進(jìn)行互聯(lián)網(wǎng)的數(shù)據(jù)挖掘，and文本等非標(biāo)準(zhǔn)數(shù)據(jù)的挖掘；6、數(shù)據(jù)的私有性和安全性；7、數(shù)據(jù)挖掘的結(jié)果是不確定的，要與專業(yè)知識(shí)結(jié)合才能對其作出判斷。17數(shù)據(jù)挖掘也有它無法辦到的事：——它不能告訴你某個(gè)模型對你的企業(yè)的實(shí)際價(jià)值：DM只是個(gè)工具，只是幫助商業(yè)人士更深入、更容易地分析數(shù)據(jù)，DM中得到的模型必須在現(xiàn)實(shí)生活中得到驗(yàn)證；——DM不會(huì)在缺乏指導(dǎo)的情況下自動(dòng)地發(fā)現(xiàn)模型：數(shù)據(jù)分析者必須知道你所選用的DM工具是如何工作的，采用的算法的原理是什么；——DM永遠(yuǎn)不會(huì)代替有經(jīng)驗(yàn)的商業(yè)分析師或管理人員所起的作用，它只是個(gè)強(qiáng)大的工具。SO，DM可以發(fā)現(xiàn)一些有用的知識(shí)，但是不會(huì)告訴你為什么，也不能保證（eg:潛在的用戶成為現(xiàn)實(shí)）。18《數(shù)據(jù)挖掘的商務(wù)應(yīng)用前景》一、數(shù)據(jù)挖掘商務(wù)應(yīng)用的案例——零售行業(yè)數(shù)據(jù)挖掘應(yīng)用3、數(shù)據(jù)挖掘應(yīng)用結(jié)論經(jīng)分析得出，零售行業(yè)數(shù)據(jù)挖掘典型的應(yīng)用領(lǐng)域包括：——客戶市場細(xì)分：找到最優(yōu)價(jià)值的客戶群體；——庫存管理：平衡庫存量是所有零售商最基本工作；——促銷的效果和運(yùn)營效益；——供應(yīng)鏈管理和優(yōu)化。三、實(shí)施數(shù)據(jù)挖掘項(xiàng)目需要的專家1、領(lǐng)域?qū)＜褽g:企業(yè)的營銷主管或?qū)＜遥╤elp定義項(xiàng)目的方向和相關(guān)的背景知識(shí)）——一方面可讓領(lǐng)域?qū)＜抑繢M可以做哪些事情，不能做哪些事情，for數(shù)據(jù)挖掘不是萬能的；19——另一方面，可以讓領(lǐng)域?qū)＜抑繢M項(xiàng)目需要他們的參與和合作，他們的個(gè)人魅力和決策能力并不能被DM所取代，讓他們不至于排斥DM；領(lǐng)域?qū)＜业膮⑴c，對數(shù)據(jù)挖掘項(xiàng)目的重要作用有：——定義用于數(shù)據(jù)挖掘分析的有用的問題，可確定項(xiàng)目的大致方向；——選擇潛在的相關(guān)數(shù)據(jù)來回答這些問題；——幫助形成對原始數(shù)據(jù)的感性認(rèn)識(shí)；——幫助對挖掘結(jié)果的分析和對分析結(jié)果的表達(dá)；——吸收和采納挖掘結(jié)果，做出決策，形成反饋（對挖掘結(jié)果的評(píng)估）。2、IT專家/數(shù)據(jù)庫專家——DM項(xiàng)目的成果與否在很大程度上取決與數(shù)據(jù)收集與數(shù)據(jù)準(zhǔn)備的質(zhì)量的好壞，so需要IT人員的參與，因?yàn)镮T人員知道如何儲(chǔ)存和存取數(shù)據(jù)；——現(xiàn)在很多企業(yè)開始建立數(shù)據(jù)庫來實(shí)現(xiàn)對數(shù)據(jù)的有效管理，這更突出了IT人員的重要性。3、數(shù)據(jù)分析專家/統(tǒng)計(jì)專家————數(shù)據(jù)的綜合性、易用性、數(shù)據(jù)的質(zhì)量和數(shù)據(jù)的時(shí)效性，這可能需要數(shù)據(jù)分析人員有高屋建瓴的戰(zhàn)略眼光；——如何從現(xiàn)有數(shù)據(jù)中衍生出所需要的指標(biāo)，這也主要取決于數(shù)據(jù)挖掘著的分析經(jīng)驗(yàn)和工具的方便性。20《數(shù)據(jù)挖掘技術(shù)發(fā)展及其應(yīng)用》4、結(jié)束語——數(shù)據(jù)挖掘技術(shù)的發(fā)展以及給我們帶來利益的同時(shí)，也不能忽略它存在的問題，如：——數(shù)據(jù)挖掘方法的效率還有待提高，尤其是超大規(guī)模數(shù)據(jù)集中數(shù)據(jù)挖掘的效率；——挖掘結(jié)果的無效性；——開發(fā)適應(yīng)多數(shù)據(jù)類型，容噪的挖掘方法，以解決異質(zhì)數(shù)據(jù)集的數(shù)據(jù)挖掘問題；——?jiǎng)討B(tài)數(shù)據(jù)和知識(shí)的數(shù)據(jù)挖掘。21《數(shù)據(jù)挖掘技術(shù)與讀者個(gè)性化服務(wù)》一、數(shù)據(jù)挖掘技術(shù)的功能１、自動(dòng)預(yù)測２、分析關(guān)聯(lián)３、劃分聚類４、概念描述５、偏差檢測也可見我的筆記：概念/類描述：特征化與區(qū)分、關(guān)聯(lián)分析、分類＋預(yù)測、聚類＋孤立點(diǎn)、演變分析。。。22二、數(shù)據(jù)挖掘技術(shù)在讀者個(gè)性化信息獲取中的應(yīng)用１、讀者個(gè)性化信息概述（可通過讀者模型來描述）２、讀者個(gè)性化信息獲取方法：——關(guān)聯(lián)分析（零售業(yè)）；——組合分析法（人工神經(jīng)元網(wǎng)絡(luò)、決策樹方法結(jié)合）；——分類填表法（讀者信息的分類模型）；——智能代理方法（考察上網(wǎng)記錄）。23《Web數(shù)據(jù)挖掘技術(shù)在網(wǎng)上書店中的應(yīng)用》——WWW：巨大的、分布的、異構(gòu)的、半結(jié)構(gòu)化的、動(dòng)態(tài)的及基于超鏈接的超媒體文檔構(gòu)成的DB；Web數(shù)據(jù)挖掘技術(shù)在網(wǎng)上書店的應(yīng)用：２Web數(shù)據(jù)挖掘面臨的問題２、１非技術(shù)性問題——網(wǎng)頁相關(guān)性分析（哪些網(wǎng)頁具有密切關(guān)系，可加上鏈接）；——用戶訪問模式分析（把用戶按行為模式分類）；——用戶歸類（根據(jù)用戶填寫信息分類，對同一類別的用戶提供相似的服務(wù)）；24２、２技術(shù)問題——數(shù)據(jù)處理；——統(tǒng)計(jì)分析；——數(shù)據(jù)挖掘；——關(guān)聯(lián)規(guī)則；——聚集（就是用戶的聚類）；——?dú)w類（即用戶的分類）；——序列模式；３Web數(shù)據(jù)挖掘的分類——Web內(nèi)容挖掘；——Web使用模式挖掘；——Web結(jié)構(gòu)挖掘；PS：可見我的暑假筆記。2526４、２Web數(shù)據(jù)挖掘技術(shù)在網(wǎng)上書店中的應(yīng)用１、源數(shù)據(jù)的收集——服務(wù)器端數(shù)據(jù)的收集（日志文件）；——包檢測技術(shù)；——后臺(tái)數(shù)據(jù)庫里的原有數(shù)據(jù)（用戶信息數(shù)據(jù)表、圖書數(shù)據(jù)表、訂單數(shù)據(jù)表。。。）；２、數(shù)據(jù)的預(yù)處理——可見我的筆記；３、數(shù)據(jù)挖掘階段——確定目標(biāo)樣本；——提取特征信息；——網(wǎng)絡(luò)信息獲取；——信息特征匹配。27《電子商務(wù)中WEB數(shù)據(jù)挖掘技術(shù)的應(yīng)用》三類Web挖掘：——Web內(nèi)容挖掘；——Web結(jié)構(gòu)挖掘；——Web使用模式挖掘。數(shù)據(jù)源的收集：服務(wù)器數(shù)據(jù)：——Web日志文件；——查詢數(shù)據(jù)；用戶登記信息：PS：有的客戶不肯寫部分背景信息，這種情況下，就不得不從客戶的瀏覽行為中推測客戶的背景信息。28《Dataminingtechniquesforcustomerrelationshipmanagement》Oldmodel:——”design-build-sell”（aproduct-orientedview）舊模型：——“設(shè)計(jì)－建設(shè)－賣出”（面向產(chǎn)品的觀點(diǎn)）Newmodel:——”sell-build-redesign”(acustomer-orientedview)新模型：——“賣出－建設(shè)－重新設(shè)計(jì)”（面向客戶的觀點(diǎn)）Sellproductsestablishalong-termrelationshipw