人工智能導(dǎo)論-項目10-數(shù)據(jù)挖掘

人工智能導(dǎo)論項目十

數(shù)據(jù)挖掘01項目背景02思維導(dǎo)圖03思政聚焦04項目相關(guān)知識05項目任務(wù)目錄CONTENTS06項目小結(jié)與展望01項目概述數(shù)據(jù)挖掘技術(shù)介紹數(shù)據(jù)挖掘則是機(jī)器學(xué)習(xí)中的一個重要分支，即從大量的數(shù)據(jù)中挖掘出有價值、關(guān)鍵的信息來幫助決策。從商業(yè)的角度上看，數(shù)據(jù)挖掘其實是一類深層次的數(shù)據(jù)分析方法。數(shù)據(jù)分析本身已經(jīng)有很多年的歷史，只不過在過去數(shù)據(jù)收集和分析的目的是用于科學(xué)研究，另外，由于當(dāng)時計算能力的限制，對大數(shù)據(jù)量進(jìn)行分析的復(fù)雜數(shù)據(jù)分析方法受到很大限制。數(shù)據(jù)挖掘相關(guān)應(yīng)用數(shù)據(jù)挖掘是人工智能領(lǐng)域非常重要的一個分支，通常也稱為數(shù)據(jù)庫中的知識發(fā)現(xiàn)(KnowledgeDiscoveryinDatabase,KDD)，數(shù)據(jù)發(fā)掘在零售業(yè)、制造業(yè)、財務(wù)金融保險、通訊及醫(yī)療服務(wù)等相關(guān)領(lǐng)域都有非常廣泛的應(yīng)用。并且，很多公司運(yùn)用數(shù)據(jù)挖掘技術(shù)取得了很多成功的案例，比如，電子商務(wù)網(wǎng)站(淘寶、京東、蘇寧等等)對網(wǎng)站數(shù)據(jù)進(jìn)行分析，識別用戶的行為模式，對用戶進(jìn)行個性化推薦，優(yōu)化網(wǎng)站設(shè)計02思維導(dǎo)圖項目十思維導(dǎo)圖03項目知識準(zhǔn)備數(shù)據(jù)挖掘的基本步驟數(shù)據(jù)挖掘步驟神經(jīng)網(wǎng)絡(luò)算法010203040506數(shù)據(jù)挖掘常用方法決策樹算法遺傳算法關(guān)聯(lián)規(guī)則算法相關(guān)回歸模型聚類算法07分類算法數(shù)據(jù)挖掘經(jīng)典算法神經(jīng)網(wǎng)絡(luò)算法神經(jīng)網(wǎng)絡(luò)技術(shù)起源于上世紀(jì)五六十年代，擁有輸入層、隱藏層以及輸出層。圖10-15顯示了基本了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。由基本的神經(jīng)網(wǎng)絡(luò)可以組合、變換得到各種各樣更加復(fù)雜的深度網(wǎng)絡(luò)，比如卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)等等基于整幅人決策樹算法決策樹算法起源于E.B.Hunt等人于1966年發(fā)表的論文“experimentsinInduction”，改論文詳細(xì)介紹了決策樹的構(gòu)建、應(yīng)用的全過程。之后，（羅斯.昆蘭）等人提出了ID3決策樹算法，使得決策樹算法的相關(guān)研究進(jìn)入高潮，并由此衍生出C4.5、CART等相關(guān)決策樹算法。顧名思義，決策樹就是一棵樹，一顆決策樹包含一個根節(jié)點(diǎn)、若干個內(nèi)部結(jié)點(diǎn)和若干個葉結(jié)點(diǎn)數(shù)據(jù)挖掘經(jīng)典算法04課程思政數(shù)據(jù)挖掘技術(shù)應(yīng)用傳統(tǒng)的成績管理系統(tǒng)可以對學(xué)生各科成績進(jìn)行統(tǒng)計，但是一門課程的成績與不同科目之間的聯(lián)系以及與上課老師講授的方法，平時表現(xiàn)等這些隱藏信息可以用數(shù)據(jù)挖掘的方法建立模型來得到，并通過數(shù)據(jù)展示來看到這些因素是如何對成績產(chǎn)生影響。通過數(shù)據(jù)挖掘從學(xué)生的成績中找到隱含在其中的有效信息，這樣既可以幫助老師了解學(xué)生的學(xué)習(xí)情況，又可以幫助學(xué)生了解學(xué)習(xí)重點(diǎn)，達(dá)到教學(xué)相長的目的。數(shù)據(jù)挖掘技術(shù)應(yīng)用教師在上課的過程當(dāng)中，很難對班上的每一位同學(xué)監(jiān)管到。利用數(shù)據(jù)挖掘的知識，我們可以通過安裝攝像頭、對學(xué)生隨機(jī)提問、課中完成一些小案例的方式統(tǒng)計出每一堂課上每個學(xué)生的行為、動作。根據(jù)這些統(tǒng)計的數(shù)據(jù)，可利用數(shù)據(jù)挖掘相關(guān)算法建立良好的模型，來分析每位同學(xué)的課上是否認(rèn)值聽課，每種教學(xué)方法對教學(xué)起到多大的作用進(jìn)行對比?？傊?，這樣一來，可以對教師的每堂課進(jìn)行實時評價，進(jìn)而幫助每位教師對自己的課堂質(zhì)量很好的把控，提高教學(xué)質(zhì)量。04項目任務(wù)任務(wù)1：人臉利用數(shù)據(jù)挖掘相關(guān)技術(shù)進(jìn)行電影票房預(yù)測1、任務(wù)描述

該任務(wù)是利用數(shù)據(jù)挖掘相關(guān)技術(shù)對電影票房進(jìn)行預(yù)測的一個案例。這個數(shù)據(jù)集train集中的數(shù)據(jù)訓(xùn)練模型，將test集數(shù)據(jù)導(dǎo)入模型得出目標(biāo)值revenue即票房。數(shù)據(jù)集包含電影id，拍攝年份，預(yù)算，語言，名稱，類型，總票房等53個字段。數(shù)據(jù)集可以從/kamalchhirang/tmdb-competition-additional-features和/kamalchhirang/tmdb-box-office-prediction-more-training-data進(jìn)行下載2、技術(shù)分析本項目中主要使用的編程語言、編譯工具以及python庫總結(jié)如下：編程語言：Python編譯工具：Pycharm本項目中涉及到的python庫主要包括：pandas,numpy,matplotlib,sklearn,seaborn,datetime,dateutil任務(wù)1：人臉利用數(shù)據(jù)挖掘相關(guān)技術(shù)進(jìn)行電影票房預(yù)測3、實驗結(jié)果圖任務(wù)1：人臉利用數(shù)據(jù)挖掘相關(guān)技術(shù)進(jìn)行電影票房預(yù)測每年電影的總量每年電影的總量預(yù)算與票房之間的關(guān)系任務(wù)2：基于決策樹的分類實踐1、任務(wù)描述該任務(wù)主要是利用決策樹對一個給定的數(shù)據(jù)集進(jìn)行分類。這個數(shù)據(jù)集是企鵝數(shù)據(jù)集，包含企鵝的三種類別，分別是AdeliePenguin(Pygoscelisadeliae)、Gentoopenguin(Pygoscelispapua)以及Chinstrappenguin(Pygoscelisantarctica)。數(shù)據(jù)集可以從/DSW/6tree/penguins_raw.csv網(wǎng)址下載，下載的格式是csv格式。該數(shù)據(jù)集包含17個字段，其中主要的字段分別是：企鵝的種類、所屬區(qū)域、CulmenLength、CulmenDepth(mm)、FlipperLength(mm)以及BodyMass(g)等。這里也是作為分類的字段組成特征向量輸入到?jīng)Q策樹中對決策樹進(jìn)行訓(xùn)練，然后對測試集進(jìn)行檢驗。2、技術(shù)分析涉及技術(shù)包括python的numpy庫、pandas庫、seaborn庫、graphviz庫以及sklearn庫。利用sklearn庫結(jié)合其它的庫訓(xùn)練一個決策樹模型利用訓(xùn)練好的決策模型對測試樣本進(jìn)行分類測試，并得到一個分類混淆矩陣。任務(wù)2：基于決策樹的分類實踐3、實驗結(jié)果圖任務(wù)2：基于決策樹的分類實踐分類混淆矩陣分類決策樹模型04項目小結(jié)與展望項目小結(jié)

在本章節(jié)我們主要介紹了數(shù)據(jù)挖掘定義、應(yīng)用背景、基本步驟、經(jīng)典算法以及兩個數(shù)據(jù)挖掘的案例。通過本章的學(xué)習(xí)，同學(xué)們應(yīng)該從這幾個方面去把握和理解，尤其是兩個案例的學(xué)習(xí)，需要按照本章的實驗步驟一步一步去完成，最后得到一個完整結(jié)果展示出來。項目展望

數(shù)據(jù)挖掘在實際應(yīng)用中能夠很好的得到體現(xiàn)