智能計(jì)算平臺(tái)應(yīng)用開(kāi)發(fā)（中級(jí)）-實(shí)驗(yàn)手冊(cè)-開(kāi)發(fā)實(shí)踐-銀行用戶行為數(shù)據(jù)遷移實(shí)驗(yàn)手冊(cè)-學(xué)員用書(shū)

銀行用戶行為數(shù)據(jù)遷移實(shí)驗(yàn)手冊(cè)學(xué)員用書(shū)

目錄TOC\o"一-三"\h\z\u一參考資料及工具 三九一四七九五一\h一一.一參考資料及工具 三九一四七九五二\h一二銀行用戶行為數(shù)據(jù)遷移 三九一四七九五三\h二二.一課程介紹 三九一四七九五四\h二二.二教學(xué)目地 三九一四七九五五\h二二.三學(xué)員分組 三九一四七九五六\h二二.四案例背景 三九一四七九五七\(yùn)h三二.五任務(wù) 三九一四七九五八\h三演練場(chǎng)景一:數(shù)據(jù)導(dǎo)入 三九一四七九五九\h三演練場(chǎng)景二:Hive數(shù)據(jù)處理 三九一四七九六零\h五演練場(chǎng)景三:數(shù)據(jù)遷移 三九一四七九六一\h六二.六輔助材料與道具 三九一四七九六二\h七二.七學(xué)員評(píng)估考察點(diǎn) 三九一四七九六三\h八二.八評(píng)分表 三九一四七九六四\h八

銀行用戶行為數(shù)據(jù)遷移實(shí)驗(yàn)手冊(cè)第PAGE四頁(yè)參考資料及工具參考資料及工具文檔所列出地命令以及參考文檔,請(qǐng)根據(jù)實(shí)際環(huán)境地不同產(chǎn)品版本使用對(duì)應(yīng)地命令以及文檔。參考文檔:《Hadoop官方文檔》《Hive官方文檔》《Sqoop官方文檔》《為云MapReduce幫助文檔》軟件工具:編號(hào)工具名稱(chēng)版本一（公有云）MapReduce服務(wù)Hadoop二.八.三分析集群（物理機(jī)）ApacheHadoopHadoop二.七.X+Hive一.二.一+Sqoop一.四.七二(公有云)云數(shù)據(jù)庫(kù)五.七及以上版本MySQL五.七及以上版本

銀行用戶行為數(shù)據(jù)遷移課程介紹在銀行業(yè)務(wù),需要存放大量地客戶信息數(shù)據(jù)以及易數(shù)據(jù),因?yàn)榇髷?shù)據(jù)分布式技術(shù)能夠基于廉價(jià)服務(wù)器搭建分布式文件系統(tǒng),所以越來(lái)越多地機(jī)構(gòu)選擇基于HDFS文件系統(tǒng)地Hive數(shù)據(jù)倉(cāng)庫(kù)作為OLAP系統(tǒng)地后臺(tái)數(shù)據(jù)庫(kù),數(shù)據(jù)分析員從數(shù)據(jù)倉(cāng)庫(kù)抽取數(shù)據(jù),再對(duì)數(shù)據(jù)行轉(zhuǎn)換與加載。本次課程將主要介紹銀行業(yè)務(wù)地?cái)?shù)據(jù)ETL操作,以及使用Sqoop數(shù)據(jù)遷移工具將數(shù)據(jù)從Hive數(shù)據(jù)倉(cāng)庫(kù)導(dǎo)入到MySQL數(shù)據(jù)庫(kù)。教學(xué)目地本實(shí)驗(yàn)指導(dǎo)書(shū)分為三個(gè)部分,從Hive數(shù)據(jù)倉(cāng)庫(kù)表準(zhǔn)備開(kāi)始,分別介紹銀行用戶行為數(shù)據(jù)地抽取,轉(zhuǎn)化操作,最后將數(shù)據(jù)處理結(jié)果通過(guò)Sqoop加載到MySQL數(shù)據(jù)庫(kù)。第一部分:數(shù)據(jù)準(zhǔn)備及數(shù)據(jù)庫(kù)表創(chuàng)建掌握Hive數(shù)據(jù)倉(cāng)庫(kù)表創(chuàng)建方法;掌握從HDFS文件系統(tǒng)導(dǎo)入數(shù)據(jù)方法。第二部分:數(shù)據(jù)轉(zhuǎn)換掌握Hive數(shù)據(jù)轉(zhuǎn)換操作方法。第三部分:數(shù)據(jù)遷移掌握Sqoop將數(shù)據(jù)從Hive遷移至MySQL操作方法。學(xué)員分組開(kāi)發(fā)者需要根據(jù)案例設(shè)計(jì)具體地分組,最大數(shù)與最小數(shù)地分組建議每組都有較為活躍地學(xué)員;每組三-五,最多四組,最少二組;移動(dòng)教室桌子,按小組劃分區(qū)域,打印各個(gè)小組地組號(hào)牌。案例背景說(shuō)明:本文所涉及地案例僅為樣例,實(shí)際操作請(qǐng)以真實(shí)設(shè)備環(huán)境為準(zhǔn),具體配置步驟請(qǐng)參考對(duì)應(yīng)地產(chǎn)品文檔。銀行A使用Hive作為貼源層數(shù)據(jù)倉(cāng)庫(kù),存儲(chǔ)用戶地行為數(shù)據(jù)信息,使用Hive對(duì)用戶數(shù)據(jù)行轉(zhuǎn)換操作后,將數(shù)據(jù)遷移至關(guān)系型數(shù)據(jù)庫(kù)MySQL,以便于數(shù)據(jù)分析員提取數(shù)據(jù)行下一步數(shù)據(jù)分析挖掘。大數(shù)據(jù)工程師A需要設(shè)計(jì)Hive表結(jié)構(gòu)存儲(chǔ)用戶地行為數(shù)據(jù),并使用Hive對(duì)數(shù)據(jù)行轉(zhuǎn)換操作,最后將轉(zhuǎn)換后數(shù)據(jù)遷移至MySQL數(shù)據(jù)庫(kù)行存儲(chǔ),具體需要完成以下步驟:設(shè)計(jì)并創(chuàng)建Hive表結(jié)構(gòu);使用Hive行數(shù)據(jù)抽取與轉(zhuǎn)換操作;使用Sqoop將轉(zhuǎn)換后數(shù)據(jù)遷移至MySQL數(shù)據(jù)庫(kù)。任務(wù)演練場(chǎng)景一:數(shù)據(jù)導(dǎo)入背景在加載用戶行為數(shù)據(jù)前,需要提前設(shè)計(jì)Hive表結(jié)構(gòu),即需要采集地?cái)?shù)據(jù)字段名稱(chēng),數(shù)據(jù)類(lèi)型,表分區(qū)與字段內(nèi)容說(shuō)明。思考請(qǐng)描述Hive表分區(qū)設(shè)計(jì)地主要目地。任務(wù)一 設(shè)計(jì)Hive表結(jié)構(gòu)請(qǐng)根據(jù)以下數(shù)據(jù)庫(kù)表字段信息分別創(chuàng)建用戶信息表user_info,逾期信息表overdue,賬單信息表bill_details,銀行用戶信貸數(shù)據(jù)表采集地信息內(nèi)容如下:字段名稱(chēng)字段類(lèi)型用戶idstring別int;零-別未知職業(yè)int教育程度int婚姻狀態(tài)int字段名稱(chēng)字段說(shuō)明用戶idstring是否逾期int;零-正常,一-逾期字段名稱(chēng)字段類(lèi)型用戶idstring易時(shí)間timestamp銀行idstring上期賬單金額float上期還款金額float信用額度f(wàn)loat本期賬單余額float本期賬單最低還款額float消費(fèi)筆數(shù)float本期賬單金額float調(diào)整金額float循環(huán)利息float可用金額float預(yù)借現(xiàn)金額度f(wàn)loat任務(wù)二 將數(shù)據(jù)從HDFS導(dǎo)入至Hive將實(shí)驗(yàn)提供地?cái)?shù)據(jù)文件上傳至HDFS文件系統(tǒng),并從HDFS文件系統(tǒng)導(dǎo)入至Hive數(shù)據(jù)倉(cāng)庫(kù)。rowformatdelimitedfieldsterminatedby:指定文件分隔方式;location:指定導(dǎo)入數(shù)據(jù)地HDFS文件路徑。CREATEEXTERNALTABLE‘?dāng)?shù)據(jù)庫(kù)名稱(chēng).表名稱(chēng)’（字段名稱(chēng),字段類(lèi)型）rowformatdelimitedfieldsterminatedby‘,’storeastextFilelocation‘HDFS文件路徑’;請(qǐng)截圖保存user_info建表命令。問(wèn)題研討Hive創(chuàng)建內(nèi)部表與外部表地區(qū)別是什么？演練場(chǎng)景二:Hive數(shù)據(jù)處理背景用戶行為數(shù)據(jù)已經(jīng)全部由HDFS文件系統(tǒng)導(dǎo)入至Hive數(shù)據(jù)倉(cāng)庫(kù),利用分布式部署地特,Hive在行大規(guī)模數(shù)據(jù)計(jì)算時(shí)具有較好地能,在該演練場(chǎng)景,使用Hive對(duì)數(shù)據(jù)行初步處理。思考Hive適用于OLAP系統(tǒng)還是OLTP系統(tǒng)？并簡(jiǎn)要陳述理由。任務(wù)一 篩選信息完整地用戶在用戶信息表user_info與賬單信息表bill_details地?cái)?shù)據(jù)篩選出信息完整地用戶id,并將數(shù)據(jù)寫(xiě)入表user_id。請(qǐng)截圖保存Hive查詢語(yǔ)句。問(wèn)題研討Hive新表插入數(shù)據(jù)地命令是什么？任務(wù)二 合并表關(guān)聯(lián)表user_info與overdue表數(shù)據(jù),并生成新表user_details,將用戶逾期信息添加至user_details。請(qǐng)截圖并保存Hive關(guān)聯(lián)表語(yǔ)句。問(wèn)題研討Hive表有哪幾種關(guān)聯(lián)方式？任務(wù)三 生成用戶詳細(xì)信息表請(qǐng)根據(jù)user_id表從user_detail_tmp表篩選出完整地用戶信息,并寫(xiě)入表user_details。請(qǐng)截圖并保存Hive關(guān)聯(lián)表語(yǔ)句。問(wèn)題研討如何對(duì)Hive查詢行優(yōu)化？演練場(chǎng)景三:數(shù)據(jù)遷移背景已經(jīng)根據(jù)業(yè)務(wù)需求將用戶行為數(shù)據(jù)整合到user_detail表,需要使用Sqoop將user_detail表數(shù)據(jù)遷移至MySQL數(shù)據(jù)庫(kù)。思考請(qǐng)描述Sqoop數(shù)據(jù)遷移地適用場(chǎng)景有哪幾種？任務(wù)一 數(shù)據(jù)庫(kù)配置登錄MySQL數(shù)據(jù)庫(kù),并在MySQL數(shù)據(jù)庫(kù)創(chuàng)建表user_details。表user_details字段信息如下:字段名稱(chēng)字段類(lèi)型用戶idstring別int;零-別未知職業(yè)int教育程度int婚姻狀態(tài)int是否逾期int;零-正常,一-已逾期問(wèn)題研討Hive導(dǎo)出數(shù)據(jù)至MySQL,MySQL表字段順序是否需要與Hive表字段保持一致？任務(wù)二 導(dǎo)入數(shù)據(jù)至MySQL在Sqoop安裝目錄地bin目錄下,使用以下命令將數(shù)據(jù)從Hive導(dǎo)出至MySQL:sqoopexport:導(dǎo)出數(shù)據(jù);--connectjdbc:使用jdbc連接器,并在該參數(shù)配置數(shù)據(jù)庫(kù)地址;--username:MySQL數(shù)據(jù)庫(kù)用戶名;--password:數(shù)據(jù)庫(kù)密碼;--table:Hive數(shù)據(jù)表名,如:user_details;--export-dir:Hive表地HDFS存儲(chǔ)路徑。sqoopexport–connectjdbc:mysql://localhost:三三零六/bank--usernameroot--password‘?dāng)?shù)據(jù)庫(kù)密碼’--tableuser_details--fields-terminated-by','

--export-dir‘Hive表地HDFS存儲(chǔ)路徑’結(jié)果驗(yàn)證登錄MySQL數(shù)據(jù)庫(kù),查看數(shù)據(jù)是否全部導(dǎo)入成功并截圖保存。問(wèn)題研討如何行Sqoop并行任務(wù)配置？輔助材料與道具結(jié)合具體地案例,在學(xué)員做任務(wù),講師下發(fā)輔助工具,如下供參考一.任務(wù)需要用到大白紙（每組五張）,三種顏色地馬克筆（每組一份）,便利貼（每組一零張）請(qǐng)?zhí)崆皽?zhǔn)備好。二.任務(wù)需要用到案例背景信息,每位學(xué)員一份,請(qǐng)課前打印好。三.任務(wù)需要用到組網(wǎng)示意圖,每位學(xué)員一份,請(qǐng)課前打印好。學(xué)員評(píng)估考察點(diǎn)此表僅供參考,盡量滿足:考察點(diǎn)可衡量,可量化序號(hào)考察點(diǎn)具體內(nèi)容分值一表達(dá)正確學(xué)員在