企業(yè)實(shí)踐報(bào)告-

1、.企業(yè)實(shí)踐報(bào)告( 2017- 2018年度第1學(xué)期)數(shù)據(jù)挖掘在電子商務(wù)中的應(yīng)用專業(yè)物聯(lián)網(wǎng)工程學(xué)生姓名班級(jí)學(xué)號(hào)指導(dǎo)教師完成日期2017.12.6；.目 錄目 錄21 概 述31.1 企業(yè)實(shí)踐目的31.2 企業(yè)實(shí)踐內(nèi)容與要求31.3 相關(guān)開(kāi)發(fā)技術(shù)與開(kāi)發(fā)環(huán)境搭建32 系統(tǒng)需求分析42.1 系統(tǒng)目標(biāo)42.2 系統(tǒng)功能需求43 系統(tǒng)概要設(shè)計(jì)53.1 系統(tǒng)的功能模塊劃分53.2 系統(tǒng)流程54 系統(tǒng)詳細(xì)設(shè)計(jì)64.1 模塊流程65 代碼調(diào)試75.1 遇到的問(wèn)題及其解決方法76 軟件運(yùn)行與測(cè)試86.1 軟件運(yùn)行流程86.2 軟件測(cè)試87 小結(jié)10；.1 概 述1.1 企業(yè)實(shí)踐目的1為了將自己所學(xué)知識(shí)運(yùn)用在實(shí)踐中

2、，在實(shí)踐中鞏固自己的知識(shí)，調(diào)節(jié)理論與實(shí)踐之間的關(guān)系，培養(yǎng)實(shí)際工作能力和分析能力，以達(dá)到學(xué)以致用的目的。2獲得更多與自己專業(yè)相關(guān)的知識(shí)，擴(kuò)寬知識(shí)面，增加社會(huì)閱歷。3接觸更多的人，在實(shí)踐中鍛煉膽量，提升自己的溝通能力和其他社交能力。4培養(yǎng)更好的職業(yè)道德，樹立好正確的職業(yè)道德觀1.2 企業(yè)實(shí)踐內(nèi)容與要求這幾年伴隨移動(dòng)互聯(lián)網(wǎng)的轉(zhuǎn)型發(fā)展，傳統(tǒng)的貿(mào)易下經(jīng)歷一次重大的變革，電子商務(wù)顯示出巨大的市場(chǎng)價(jià)值和發(fā)展?jié)摿?。電子商?wù)是商業(yè)領(lǐng)域的一種新興商務(wù)模式，它是以網(wǎng)絡(luò)為平臺(tái)、現(xiàn)代信息技術(shù)為手段、以經(jīng)濟(jì)效益為中心的現(xiàn)代化商業(yè)運(yùn)轉(zhuǎn)模式，其最終目標(biāo)是實(shí)現(xiàn)商務(wù)活動(dòng)的網(wǎng)絡(luò)化、自動(dòng)化與智能化。這幾年中國(guó)互聯(lián)網(wǎng)迎來(lái)了理性數(shù)據(jù)驅(qū)動(dòng)

3、和價(jià)值回歸之年。于是，在這個(gè)數(shù)據(jù)爆炸卻又用戶增量趨于飽和的時(shí)代，如何借助智能數(shù)據(jù)挖掘、商務(wù)智能等大數(shù)據(jù)技術(shù)，充分利用數(shù)據(jù)價(jià)值解決現(xiàn)實(shí)問(wèn)題、制定企業(yè)日常決策，在現(xiàn)有流量基礎(chǔ)上真正實(shí)現(xiàn)“存量掘金”成為了企業(yè)亟需解決的的重要命題。數(shù)據(jù)分析的目的：一方面是發(fā)現(xiàn)問(wèn)題，并且找到問(wèn)題的根源，最終通過(guò)切實(shí)可行的辦法解決存在的問(wèn)題；另一方面，基于以往的數(shù)據(jù)分析，總結(jié)發(fā)展趨勢(shì)，為網(wǎng)絡(luò)營(yíng)銷決策提供支持。1.3 相關(guān)開(kāi)發(fā)技術(shù)與開(kāi)發(fā)環(huán)境搭建Python的安裝主要介紹了電子商務(wù)及關(guān)聯(lián)規(guī)則中的經(jīng)典算法Apriofi算法，以及Apriofi算法的代碼和執(zhí)行過(guò)程，指出了Apriori算法的瓶頸和改進(jìn)方法。隨著數(shù)據(jù)庫(kù)管理系統(tǒng)的廣

4、泛應(yīng)用，各個(gè)領(lǐng)域的數(shù)據(jù)和信息量急劇增加，為了更好地利用這些數(shù)據(jù)，就要對(duì)這些數(shù)據(jù)進(jìn)行更深層次的分析，從中挖掘出有價(jià)值的數(shù)據(jù)信息。由于缺乏挖掘數(shù)據(jù)背后隱藏知識(shí)的技術(shù)，導(dǎo)致了數(shù)據(jù)爆炸。于是，人們嘗試用成熟的數(shù)據(jù)庫(kù)管理系統(tǒng)來(lái)存儲(chǔ)數(shù)據(jù)，用機(jī)器學(xué)習(xí)的方法來(lái)分析數(shù)據(jù)，這兩者的結(jié)合促成了數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)的產(chǎn)生，并且成為人工智能和數(shù)據(jù)庫(kù)應(yīng)用等領(lǐng)域近年來(lái)的研究熱點(diǎn)。歷史上，從數(shù)據(jù)中發(fā)現(xiàn)模式的提法很多，如知識(shí)發(fā)現(xiàn)、知識(shí)提取、信息收割、數(shù)據(jù)采集等等。在數(shù)據(jù)庫(kù)領(lǐng)域一般稱為數(shù)據(jù)挖掘，而在機(jī)器學(xué)習(xí)領(lǐng)域則更多地稱作知識(shí)發(fā)現(xiàn)。數(shù)據(jù)挖掘是隨著數(shù)據(jù)庫(kù)技術(shù)的發(fā)展而出現(xiàn)的一種全新的信息技術(shù)。2 系統(tǒng)需求分析2.1 系統(tǒng)目標(biāo)電子商務(wù)是

5、信息和知識(shí)經(jīng)濟(jì)時(shí)代的寵兒，充滿無(wú)限商機(jī)。在電子商務(wù)時(shí)代，企業(yè)競(jìng)爭(zhēng)成功的關(guān)鍵是要了解客戶、與客戶保持穩(wěn)固的關(guān)系。利用數(shù)據(jù)挖掘技術(shù)幫助企業(yè)進(jìn)行動(dòng)態(tài)分析和調(diào)整分析在挑戰(zhàn)中就有可能獲勝。本文對(duì)面向電子商務(wù)的數(shù)據(jù)挖掘技術(shù)進(jìn)行研究和分析。2.2 系統(tǒng)功能需求電子商務(wù)的大數(shù)據(jù)數(shù)據(jù)挖掘的研究融合了多個(gè)不同學(xué)科領(lǐng)域的技術(shù)與成果，使目前的數(shù)據(jù)挖掘出現(xiàn)多種多樣的技術(shù)。利用這些技術(shù)方法可以檢查那些異常形式的數(shù)據(jù)，利用各種統(tǒng)計(jì)模型和數(shù)學(xué)模型對(duì)這些數(shù)據(jù)進(jìn)行解釋，找出隱藏在這些數(shù)據(jù)背后的市場(chǎng)規(guī)律和商業(yè)機(jī)會(huì)1718。3 系統(tǒng)概要設(shè)計(jì)3.1 系統(tǒng)的功能模塊劃分3.2 系統(tǒng)流程1數(shù)據(jù)層。數(shù)據(jù)挖掘的對(duì)象是數(shù)據(jù)。為了便于挖掘，各種來(lái)

6、源的數(shù)據(jù)經(jīng)過(guò)預(yù)處理（據(jù)的清洗、數(shù)據(jù)的集成、數(shù)據(jù)的過(guò)濾等）以后，都將存于一個(gè)統(tǒng)一模式的數(shù)據(jù)庫(kù)或者數(shù)倉(cāng)庫(kù)內(nèi)。這個(gè)模式的設(shè)計(jì)綜合考慮挖掘任務(wù)、實(shí)施算法、數(shù)據(jù)的特點(diǎn)等各種因素，可以挖掘能夠最優(yōu)化。2數(shù)據(jù)挖掘引擎。數(shù)據(jù)挖掘引擎內(nèi)集成了數(shù)據(jù)挖掘的算法。它根據(jù)知識(shí)庫(kù)、挖掘據(jù)庫(kù)或者數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)得到許多模式，然后對(duì)這些模式進(jìn)行評(píng)估、篩選，最終可以到有意義的且用戶感興趣的模式。3用戶界面。用戶界面是人機(jī)交互的界面。用戶界面將這些模式用直觀的且易于戶理解的方式表現(xiàn)給用戶。另外，用戶可以（有時(shí)也必須）通過(guò)用戶界面指導(dǎo)模式評(píng)估挖掘引擎、數(shù)據(jù)的組織模式。4 系統(tǒng)詳細(xì)設(shè)計(jì)4.1 模塊流程數(shù)據(jù)挖掘是一個(gè)多步驟的處理過(guò)程，

7、該過(guò)程從大型數(shù)據(jù)庫(kù)中挖掘先前未知的、有效的可實(shí)用的信息，并使用這些信息做出決策或豐富知識(shí)。這個(gè)過(guò)程是交互和迭代的，其中多過(guò)程需要用戶的參與。數(shù)據(jù)挖掘過(guò)程主要包括四個(gè)步驟如圖2-2所示：?jiǎn)栴}定義/確定業(yè)務(wù)對(duì)象、數(shù)據(jù)準(zhǔn)備數(shù)據(jù)挖掘、結(jié)果表達(dá)和分析。雖然我們把各個(gè)步驟按順序排列，但數(shù)據(jù)挖掘過(guò)程并不是性的。要取得好的結(jié)果就要不斷反復(fù)和重復(fù)這些步驟。圖2-2數(shù)據(jù)挖掘視為知識(shí)發(fā)現(xiàn)過(guò)程的一個(gè)步驟1問(wèn)題定義清晰地定義業(yè)務(wù)問(wèn)題和認(rèn)清數(shù)據(jù)挖掘的目標(biāo)是進(jìn)行數(shù)據(jù)挖掘的第一步，也是最重要步。要想充分發(fā)揮數(shù)據(jù)挖掘的價(jià)值，首要的條件是要對(duì)用戶的目標(biāo)有一個(gè)清晰明確的定義因此，在挖掘之前要明確業(yè)務(wù)的目標(biāo)和需求。2數(shù)據(jù)準(zhǔn)備確定好挖

8、掘目標(biāo)后，就要開(kāi)始為挖掘準(zhǔn)備相關(guān)的數(shù)據(jù)。準(zhǔn)備數(shù)據(jù)就是根據(jù)挖掘需求集資料，并建立可挖掘的數(shù)據(jù)庫(kù)。準(zhǔn)備數(shù)據(jù)所花費(fèi)的時(shí)間在整個(gè)數(shù)據(jù)挖掘過(guò)程中是最多的這一階段主要分為兩步：第一步根據(jù)挖掘目標(biāo)建立合理的數(shù)據(jù)庫(kù)模式即數(shù)據(jù)選取；二步是對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。根據(jù)用戶的挖掘目標(biāo)，搜索所有與業(yè)務(wù)對(duì)象相關(guān)的內(nèi)部和外部數(shù)據(jù)信息，并從數(shù)據(jù)中提取與挖掘相關(guān)的數(shù)據(jù)。它與對(duì)數(shù)據(jù)進(jìn)行采樣和選擇預(yù)測(cè)變量是有區(qū)別的，這里只是略的除去一些冗余或無(wú)關(guān)的數(shù)據(jù)。為了進(jìn)一步的分析數(shù)據(jù)，提高挖掘效率，去除無(wú)用或關(guān)的信息，整理不完整的、含噪聲的和不一致的信息，確定將要進(jìn)行的挖掘操作的類型我們必須對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。數(shù)據(jù)預(yù)處理就是對(duì)選取出的數(shù)據(jù)進(jìn)行加工

9、，把這些不完整的、含噪聲的和不一致的據(jù)轉(zhuǎn)化為完整的、不含噪聲的和一致的數(shù)據(jù)。數(shù)據(jù)預(yù)處理一般包括數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)變換、數(shù)據(jù)歸約等階段。5 代碼調(diào)試5.1 遇到的問(wèn)題及其解決方法 plainview plaincopy1. 偽代碼描述：2. /找出頻繁1項(xiàng)集3. L1=find_frequent_1-itemsets(D);4. For(k=2;Lk-1!=null;k+)5. /產(chǎn)生候選，并剪枝6. Ck=apriori_gen(Lk-1);7. /掃描D進(jìn)行候選計(jì)數(shù)8. Foreach事務(wù)tinD9. Ct=subset(Ck,t);/得到t的子集10. Foreach候選c屬于Ct1

10、1. c.count+;12. 13. /返回候選項(xiàng)集中不小于最小支持度的項(xiàng)集14. Lk=c屬于Ck|c.count=min_sup15. 16. ReturnL=所有的頻繁集；17. 第一步：連接（join）18. Procedureapriori_gen(Lk-1:frequent(k-1)-itemsets)19. Foreach項(xiàng)集l1屬于Lk-120. Foreach項(xiàng)集l2屬于Lk-121. If(l11=l21)&(l12=l22)&(l1k-2=l2k-2)&(l1k-1l2k-1)22. then23. c=l1連接l2/連接步：產(chǎn)生候選24. /若k-1項(xiàng)集中已經(jīng)存在子集

11、c則進(jìn)行剪枝25. ifhas_infrequent_subset(c,Lk-1)then26. deletec;/剪枝步：刪除非頻繁候選27. elseaddctoCk;28. 29. ReturnCk;30. 第二步：剪枝（prune）31. Procedurehas_infrequent_sub(c:candidatek-itemset;Lk-1:frequent(k-1)-itemsets)32. Foreach(k-1)-subsetsofc33. Ifs不屬于Lk-1then34. Returntrue;35. Returnfalse;6 軟件運(yùn)行與測(cè)試6.1 軟件運(yùn)行流程6.2

12、軟件測(cè)試分析不只是對(duì)數(shù)據(jù)的簡(jiǎn)單統(tǒng)計(jì)描述，應(yīng)該是從表面的數(shù)據(jù)中找到問(wèn)題的本質(zhì)，然后需要針對(duì)的確定的主題進(jìn)行歸納和總結(jié)。常用的分析方法有以下幾種：1.趨勢(shì)分析：將實(shí)際達(dá)到的結(jié)果，與不同時(shí)期報(bào)表中同類指標(biāo)的歷史數(shù)據(jù)進(jìn)行比較 ，從而確定變化趨勢(shì)和變化規(guī)律的一種分析方法；具體的分析方法包括定比和環(huán)比兩種方法，定比是以某一時(shí)期為基數(shù)，其他各期均與該期的基數(shù)進(jìn)行比較；而環(huán)比是分別以上一時(shí)期為基數(shù)，下一時(shí)期與上一時(shí)期的基數(shù)進(jìn)行比較；2.對(duì)比分析：把兩個(gè)相互聯(lián)系的指標(biāo)數(shù)據(jù)進(jìn)行比較，從數(shù)量上展示和說(shuō)明研究對(duì)象規(guī)模的大小，水平的高低，速度的快慢，以及各種關(guān)系是否協(xié)調(diào)；在對(duì)比分析中，選擇合適的對(duì)比標(biāo)準(zhǔn)是十分關(guān)鍵的步驟

13、，選擇的合適，才能做出客觀的評(píng)價(jià)，選擇不合適，評(píng)價(jià)可能得出錯(cuò)誤的結(jié)論； 3.關(guān)聯(lián)分析：如果兩個(gè)或多個(gè)事物之間存在一定的關(guān)聯(lián)，那么其中一個(gè)事物就能通過(guò)其他事物進(jìn)行預(yù)測(cè)；它的目的是為了挖掘隱藏在數(shù)據(jù)間的相互關(guān)系；4.因果分析：因果分析是為了確定引起某一現(xiàn)象變化原因的分析，主要解決“為什么”的問(wèn)題；因果分析就是在研究對(duì)象的先行情況中，把作為它的原因的現(xiàn)象與其他非原因的現(xiàn)象區(qū)別開(kāi)來(lái)，或者是在研究對(duì)象的后行情況中，把作為它的結(jié)果的現(xiàn)象與其他的現(xiàn)象區(qū)別開(kāi)來(lái)；四、提出方案1.評(píng)估描述：對(duì)評(píng)估情況進(jìn)行客觀描述，用數(shù)據(jù)支持你的觀點(diǎn)；2.編制統(tǒng)計(jì)圖表：運(yùn)用柱狀圖和條形圖對(duì)基本情況進(jìn)行更清晰的描述；運(yùn)用散點(diǎn)圖和折線

14、圖表現(xiàn)數(shù)據(jù)間的因果關(guān)系；3.提出觀點(diǎn)：根據(jù)現(xiàn)實(shí)情況的數(shù)據(jù)分析，提出你的觀點(diǎn)，預(yù)判網(wǎng)站的發(fā)展趨勢(shì)，給出具體的建議性的改進(jìn)措施；4.演示文檔：基于以上三點(diǎn)進(jìn)行歸納總結(jié)，列出條目，制作一份詳細(xì)的演示文檔，能夠演示和講解給部門領(lǐng)導(dǎo)；7 小結(jié)研究電子商務(wù)過(guò)程中，商品的采購(gòu)者都需要通過(guò)Web方式與商品的供應(yīng)商及其合作者之間建立信息流的交互。面向電子商務(wù)的數(shù)據(jù)挖掘的特點(diǎn)就是運(yùn)用關(guān)聯(lián)、分類、聚類等技術(shù)手段，從Web數(shù)據(jù)庫(kù)中提取出可以指導(dǎo)市場(chǎng)策略的有用數(shù)據(jù)。它是基于“消費(fèi)者過(guò)去的行為預(yù)示著其今后的消費(fèi)傾向”的原理，通過(guò)收集、分析和處理從網(wǎng)上獲取的有關(guān)消費(fèi)者消費(fèi)行為的數(shù)據(jù)，經(jīng)過(guò)提取、洗滌和加工使?jié)撛诘?、隱含的和事先不知的信息變?yōu)闈摿薮蟮挠袃r(jià)值信息，確定特定消費(fèi)群體或個(gè)體的消費(fèi)習(xí)慣、愛(ài)好、傾向，進(jìn)而指導(dǎo)企業(yè)調(diào)整營(yíng)銷策略，給客戶提供動(dòng)態(tài)的個(gè)性化的高效率服務(wù)，將大大削減成本，為商家?guī)?lái)巨大的利潤(rùn)。最早成功應(yīng)用于高