數(shù)據(jù)預(yù)處理試驗1

1、重慶交通大學(xué)信息科學(xué)與工程學(xué)院 實驗報告班級：曙光1701班姓名學(xué)號:實驗項目名稱：數(shù)據(jù)導(dǎo)入與預(yù)處理實驗一實驗項目性質(zhì)：驗證性、設(shè)計性實驗所屬課程：數(shù)據(jù)導(dǎo)入與預(yù)處理實當(dāng)室（中心）：語音樓八樓指導(dǎo)教師：實驗完成時間：2019 年11 月 1 日一.實驗?zāi)康? 了解和掌握數(shù)據(jù)庫的恢復(fù)，數(shù)據(jù)庫數(shù)據(jù)的變換，數(shù)據(jù)的統(tǒng)計以及 可視化；掌握J(rèn)son數(shù)據(jù)集的API下載方法，數(shù)據(jù)提取，以及導(dǎo)入其他 數(shù)據(jù)結(jié)構(gòu)的方法。.了解和掌握不同數(shù)據(jù)格式之間的轉(zhuǎn)換方法；掌握用計算機編程語言實現(xiàn)數(shù)據(jù)的格式轉(zhuǎn)換以及數(shù)據(jù)信息的提取。二.實驗要求.安裝Mysql數(shù)據(jù)庫，以及 mysql workbench客戶端，.下載對公眾開放的安然

2、（Enron）公司的電子郵件數(shù)據(jù)集。下載地址：.在mysql中恢復(fù)Enron數(shù)據(jù)庫。.數(shù)據(jù)統(tǒng)計每一天和每一周發(fā)郵件的數(shù)量，并用可視化軟件實現(xiàn)可視化。.采用iTunes API做個小實驗，利用關(guān)鍵詞來生成JSON據(jù)結(jié)果集。 iTunes是由Apple公司提供的一個音樂服務(wù)，任何人都可以利用 iTunes服務(wù)來查找歌曲、藝術(shù)家和專輯。在查找的時候需要把搜索關(guān) 鍵詞添加到iTunes API URL的后面。URL中，=后面的是搜索關(guān)鍵詞， 是一個樂隊的名字，the Growlers 。注意：URL中用+代替空格字符,URL不允許包含空格字符iTunes API會根據(jù)提供的關(guān)鍵詞從音樂庫中返回 50個

3、結(jié)果。整個結(jié)果集形成一個JSON文件，每一條音樂信息中的元素，以名字-值 的 格式存放在jsoNc件中。The GrowlersApple iTunes的開發(fā)文檔：.使用一種熟悉的語言，編寫程序，將下載下來的 the Growlers 的 所有音樂的歌名提取出來，并可視化顯示。三、需求分析.提取出安然公司數(shù)據(jù)集中的每天的閱讀量和每周的閱讀量，并畫出趨勢圖.提取出iTunes中的trackname數(shù)據(jù)四、實驗過程.安裝好 Mysql 和 Mysql WorkbenchMySQL. MySQL Shell- x MySQL Workherich 8,0 CEkflySQL Installer -

4、CommunityMySQL Server 8.0Welcome to MySQL WorkbenchMySQL Workberfcch is the official graphical user imerface GUI tool for MySQL It allows you to design,create and browse your database schefnas, hwork with database objects and insert data well asdesign and riiiri SQL queries to work with stored data

5、You can also migrate schemas and data from otherdMaba蕤 rtndors to your MySQL daubasefirow Docuimtatioin Rtad The Bl的 Discuii 0而 由e FNuim$ *MySQL Connections S4Locdl instance MySQLBOJt rwtkKifll110mm 304.建立一個新的數(shù)據(jù)庫:一0 % AwpEAiihiiiiiitkhMp Kd Pcibled. Uk the toolbar t viidiiuallf q& help for the川訥E 田。

6、L script the canAppl Si* Script 1o DucabMff口 caret posltkuni or h個 aiitnmiAitlf brlp.Thr 惟lEt中 Urts wt row Be cuted. Rebbc hvWUr m ewjWPrea 9w Uw m -bee tie cikuw dqk查看數(shù)據(jù)庫:nysql show databases- .Database 1-enron happyplace information_schema mydatabase mysql performance_scheina sakila student sys wo

7、rld10 rows in set (0. 00 sec)4,下載好安然公司的數(shù)據(jù)集_ cnron-rriysqldiirnvS.sql.選用enron數(shù)據(jù)庫，在Mysql中導(dǎo)入安然公司的數(shù)據(jù)集到數(shù)據(jù)1 itarniiig (0. 00OK.affectedj1PWM占F-0u&ryluervOKr 0affected(0. 00 sec).ier;.nOK.rowsaffected(0. 00 sec ieryGKhrowsrtffpctedI 1 wning 0.07secHierv口兒affected (D,。6 sec 0E.Records:biierv OK.0 rows affec

8、ted (Q. 06149 rovs affected (0.02 sec)149 Duplicates： 0 Tamings： 0 7 C7View；St0esFundicnaA vwngi x Locri mclancfl MySQt M九kTlx SwLpta&c HdLp而.魚2里里反叵鼠”fflw腳wJiiery OK.0 rows affected. 1 learning 0. 05.在Mysql Workbench中查看已經(jīng)創(chuàng)建好的數(shù)據(jù)庫用 MyS-QL Wo rkberitli-9QLMI媾修的 彳 * | % I JUAutomata con rtw zkaracta- i

9、aTddisabled. Use tfiirkdiuidlly Qet Iojrrent caret 國toggle autom*mytlltlbtM個 L-| .AdiniflistfirtleinSc而魅sctM?ma: Finwi7.用SQLiS言查找每天的訂閱量（1999年至U 2017年）Fron enron.message where year (datearid year( date) 71242aLMD-l 15B用LW-i IT5一i H餐立.Ai i ft+|再用Tableau Public 2019.2,繪制圖形，如下圖所示:工作發(fā)19.用sql語言查找每周的訂閱量uar

10、y 1stutJn.hnfoLmit tc 1 DOO tja-sselect week(date)+,court(*)零量From enron.messagewhere year(date)1998 and year(dat)?013group by date(date)order by riJt(date)J10. 并導(dǎo)入excel畫圖11. 下載iTunes數(shù)據(jù)集，下載結(jié)果為文本文件12.f iTeng tel - IES本 X:忤的 Eg蚪曲(H?,re5vltCount;50H results:,wrapperType/Udck,1 kind-/song _artistld,2651

11、12052, collectionld:90576154trackld,：902676172f artistNamcThe G ro wlers, co I let io n N a me *: Chine w Fountain btrackName*:Black Memories, collectianCensoredNameChinese Fountain,*trackCensoredName/Blaclc Memories, artistViewUrl二http：Eusk叩/us/artist/the* g rcwlers/2&5112052 ?uo =4t c ollectionVie

12、wUrl: Http矍mu sic.apple.corn/us/al bu m/bla c k- inernories/90276l52?i=90276172&uo=4；,trackViewUrr；https7/miJsic.app Ie. com/us/alburn/black*memories/902676l52?i= 902676172&口口 二4：“ previewUrr：* htt p;/Za W i0-ssl.itunes,ap plexo m/i tunes-assets/ M usic3/v4/a c/9c/d$/ac9cdBS3-a b04- 3df3-940d-f3e70d

13、d4 (Lfk他 1 行.Ml 網(wǎng) 1(XW將后綴名改為.Json:resultCcMin t*;匕身、-reiulta-： * wrapperlypc i t rat k ,i:，口“、rirt lit Id - 2SS112052,，B11“1的工雄，90 居IE 九: 92676170 rti*prrvitMJrl;不少*;“仙”由溫nJtu”吉*pp】.CE小融14方雷5司paHd日S8W1產(chǎn)孑八4,14f”內(nèi)57+4月羽與西口cftlh 1X7： (*wr*p|p*rT)r|*7track, kihd* 7irt UtId112852f HralItCtihld11; W267615

14、i2j trickldl ; 267&182dibpreviEMJr 1； https: J /=口5與1. itimwdpp 二awfppijeiis虧丁七u5 /tdsjcj/u，92,19Fe1”4口丸lf5d!E20474叱wrdppeEypF :3在 ItindWcmg，art istld,r: 26S112652, collectionld :902676152, trackldr : W267&183, artis ,frpreve*9/1(/,6191后64-卡依| -1 產(chǎn)9 -*wrpprTypH: t rack- j, Ikind* r -iccig, 壯工或居5112嶼

15、時collttctisnld11; W2S7S1S2J trarkldl : W267&172,pneviewUl:.處七四：ffaudlinMEsl -applb ueJapp七 asetE us d 9酩的口，5六二二q._ y %，工q-4二口二 hW -.g - AwwrapperType-itrack, kind-: swig*, artistld,B: 265112052, collectiomild :9B6SS533S, trackldf :906886343, artis previefcHrl: * https: audio-上占 Aim的、3 口 pJ-豈.t appJ電

16、一asset 克-uN-flzEi-iae&MiiyMudEa/M/配df be F93wdbcgm6&-dfb1一9F司匚 *wrapperTypeB: t rack, kind ;： *s.ong*., 12flSlUfHi2H collect lonld :9MSB6335JI 七戶虹心叱！ 9MMAMA. art ilprew ie4Jr 1: hEtpv: f/taudiLiJ1*斗：it- i t u 外屈爭-心0112日 ftB&Oi產(chǎn) - ju4，f ?/0t_口*/$8靖匚W2d-eB8FwrapperTypeft:Htrac. , 廠ng前$口押七lectirild：WG7

17、S152j -trkMr!?0267615 rtli用python將json格式文件中的 Trackname提取出來打開jupyter ,編寫代碼Ie _L_: import jsoniiffli=Json. Icad(op#ntr*H：；數(shù)據(jù)導(dǎo)人與官如霹，矣整一:1, json*, encoding utf-8T) size-iimi _ rezultCou-t J sizeT ;和In 121: for 1 in range(size):print1 imo： resutlts. ij tracinie 1)結(jié)果如下for i in rang&12)： pri nt (imvre suit

18、 s- Ci ftxackXa*)Eerier Ipside D*wti Emnm二m PancHX-=-5i tt ir=; a it i ng. ?。?whin目BreakdTnCkoi F。白leu mi:d duy HesyrFlake15 二 had EyesA：.g? 1Do Ydu KejietnSerI Cot YduBrokenConc Other Q Am in-* Crying 黨a臉i e r Soing To Be Fi ifriis I I Could Sitif SiriBubble ThsCnETellaricnEBelleSidiJe It TcitiLei SituationsGo Onffhat You Thought You