Hive開發(fā)規(guī)范、最佳實(shí)踐

Hive開發(fā)規(guī)范、最佳實(shí)踐Hive開發(fā)規(guī)范、最佳實(shí)踐1制定規(guī)范的目的低溝通成本安全易維護(hù)高效開發(fā)減少“回鍋”跳過已知的“坑”制定規(guī)范的目的低溝通成本2制定規(guī)范需要避免增加管理成本增加不必要的流程影響開發(fā)效率形式主義。。。。制定規(guī)范需要避免增加管理成本3好規(guī)范還是壞規(guī)范？好規(guī)范的標(biāo)準(zhǔn)：

簡單清晰易遵循好規(guī)范還是壞規(guī)范？好規(guī)范的標(biāo)準(zhǔn)： 4Hive應(yīng)用現(xiàn)狀已經(jīng)上線的項(xiàng)目UBT數(shù)據(jù)進(jìn)hiveABTestOrderSearch。。。后續(xù)項(xiàng)目UBT橫向業(yè)績Mysql匯總表切hiveV1.0Hive應(yīng)用現(xiàn)狀已經(jīng)上線的項(xiàng)目5Hive應(yīng)用現(xiàn)狀涉及到的組DataInfrastructure基礎(chǔ)分析服務(wù)組酒店組Hive應(yīng)用現(xiàn)狀涉及到的組6Hive應(yīng)用現(xiàn)狀項(xiàng)目開發(fā)領(lǐng)先于規(guī)范制定摸石頭過河的過程不斷提煉、完善規(guī)范的過程Hive應(yīng)用現(xiàn)狀項(xiàng)目開發(fā)領(lǐng)先于規(guī)范制定7規(guī)范項(xiàng)目開發(fā)流程命名規(guī)范數(shù)據(jù)庫、表、視圖用戶規(guī)范規(guī)范項(xiàng)目開發(fā)流程8項(xiàng)目開發(fā)流程創(chuàng)建Git項(xiàng)目設(shè)計(jì)數(shù)據(jù)庫、表結(jié)構(gòu)開發(fā)需要的HiveSQL、Shell腳本數(shù)據(jù)導(dǎo)入Hive（可選）項(xiàng)目開發(fā)流程創(chuàng)建Git項(xiàng)目9項(xiàng)目開發(fā)流程在開發(fā)Hadoop集群上開發(fā)、測試審核規(guī)范性能測試在生產(chǎn)環(huán)境部署項(xiàng)目開發(fā)流程在開發(fā)Hadoop集群上開發(fā)、測試10項(xiàng)目開發(fā)流程---

GitGit

公司統(tǒng)一的版本管理工具推薦使用的客戶端

msysgitGit+TortoiseGit項(xiàng)目開發(fā)流程---GitGit 公司統(tǒng)一的版本管理工11項(xiàng)目開發(fā)流程---

GitGit

公司統(tǒng)一的版本管理工具角色：Master 全部權(quán)限D(zhuǎn)eveloper 讀、寫、Reporter 讀、cloneGuest 讀

項(xiàng)目開發(fā)流程---GitGit 公司統(tǒng)一的版本管理工12項(xiàng)目開發(fā)流程---

數(shù)據(jù)庫設(shè)計(jì)設(shè)計(jì)數(shù)據(jù)庫、表結(jié)構(gòu)根據(jù)業(yè)務(wù)需求，設(shè)計(jì)非結(jié)構(gòu)化的表結(jié)構(gòu)是否需要分區(qū)只初始化一次避免在SQL中創(chuàng)建數(shù)據(jù)庫建表drop表項(xiàng)目開發(fā)流程---數(shù)據(jù)庫設(shè)計(jì)設(shè)計(jì)數(shù)據(jù)庫、表結(jié)構(gòu)13項(xiàng)目開發(fā)流程---

開發(fā)HiveSQL開發(fā)HiveSQL使用Shell封裝SQL項(xiàng)目開發(fā)流程---開發(fā)HiveSQL開發(fā)HiveS14項(xiàng)目開發(fā)流程–數(shù)據(jù)導(dǎo)入需要從外部數(shù)據(jù)源導(dǎo)入數(shù)據(jù)幾種模式：用SQOOP從數(shù)據(jù)庫導(dǎo)入到HiveHbase提供的RCFile，直接創(chuàng)建為外部表CSV/TSV文件上傳到HDFS，創(chuàng)建外部表kettle項(xiàng)目開發(fā)流程–數(shù)據(jù)導(dǎo)入需要從外部數(shù)據(jù)源導(dǎo)入數(shù)據(jù)15項(xiàng)目開發(fā)流程–開發(fā)在開發(fā)Hadoop集群上開發(fā)、測試Job是否需要多日重跑？對應(yīng)數(shù)據(jù)是否需要修復(fù)？配置信息單獨(dú)維護(hù)目錄結(jié)構(gòu)與生產(chǎn)環(huán)境一致目錄結(jié)構(gòu)與Git項(xiàng)目的目錄結(jié)構(gòu)一致Windows上的文件上傳至linux機(jī)器上：Dos2unix避免\r的問題項(xiàng)目開發(fā)流程–開發(fā)在開發(fā)Hadoop集群上開發(fā)、測試16項(xiàng)目開發(fā)流程–審核審核規(guī)范交叉檢查每個(gè)小組內(nèi)設(shè)置專門的對口人項(xiàng)目開發(fā)流程–審核審核規(guī)范17項(xiàng)目開發(fā)流程性能測試判斷需要處理的數(shù)據(jù)量超過20分鐘的腳本，需要檢查整個(gè)job的運(yùn)行時(shí)間項(xiàng)目開發(fā)流程性能測試18項(xiàng)目開發(fā)流程–部署在生產(chǎn)環(huán)境部署每個(gè)小組專門對口人負(fù)責(zé)申請數(shù)據(jù)庫App賬戶修改配置信息：HDFS集群信息數(shù)據(jù)庫配置更新ReleaseNotes到Confluence監(jiān)控job運(yùn)行項(xiàng)目開發(fā)流程–部署在生產(chǎn)環(huán)境部署19項(xiàng)目開發(fā)流程–部署存在的問題:開發(fā)環(huán)境集群計(jì)算能力不足熟悉過程項(xiàng)目開發(fā)流程–部署存在的問題:20數(shù)據(jù)庫層SourceDWTmpDIMOLAPReportTmpquery數(shù)據(jù)庫層SourceDWTmpDIMOLAPReportTm21每層內(nèi)按照業(yè)務(wù)線切分SourceDWDimensionOLAPReportDim_UBTDim_AbTestDim_HotelUBTAbTestHotelUBTAbTestHotelUBTAbTestHotelUBTAbTestHotel每層內(nèi)按照業(yè)務(wù)線切分SourceDWDimensionOLA22數(shù)據(jù)庫命名規(guī)范總體原則：數(shù)據(jù)庫名以DB結(jié)尾采取首字母大寫用下劃線_風(fēng)格的拼寫規(guī)范專門的臨時(shí)庫用于中間表

數(shù)據(jù)庫命名規(guī)范總體原則：23數(shù)據(jù)庫命名規(guī)范數(shù)據(jù)庫層庫名Report工作層Htl_TmpDBReport層Report_HtlDBOLAP工作層Htl_TmpDBOLAP層OLAP_HtlDBDW工作層Htl_TmpDBDW層DW_HtlDBSource層Source_HtlDBDimenstion層Dim_UbtDBQuery&analysis層Tmp_UbtQueryDB數(shù)據(jù)庫命名規(guī)范數(shù)據(jù)庫層庫名Report工作層Htl_TmpD24表命名規(guī)范

Source層基本原則：

與源表名一致缺陷：

會有多種風(fēng)格的表名存在

Dimension層表名必須以Dim為前綴其他層首字母大寫、不用下劃線的駝峰命名規(guī)范事實(shí)表以Fact為前綴表命名規(guī)范

Source層25表命名規(guī)范實(shí)例Fact_UBT_Order_OnlineXFactUBTOrderOnline

√ubt_dim上的維表

Platform

X維表DimPlatform

√表命名規(guī)范實(shí)例Fact_UBT_Order_Online26列命名規(guī)范Source層，保持原有列名不變其他層首字母大寫、其余字母小寫、不用下劃線的駝峰風(fēng)格避免使用關(guān)鍵字實(shí)在不能避免，使用`轉(zhuǎn)義

例如`From`列命名規(guī)范Source層，保持原有列名不變27最佳實(shí)踐總體原則：不同角色，不同開發(fā)工具與時(shí)間相關(guān)的表，按照時(shí)間做分區(qū)支持多日的job同時(shí)運(yùn)行，互不影響良好、可維護(hù)的目錄結(jié)構(gòu)最佳實(shí)踐總體原則：28最佳實(shí)踐—角色兩大類：ETL分析師最佳實(shí)踐—角色兩大類：29最佳實(shí)踐—角色ETL自動(dòng)運(yùn)行Hive上ETLJob推薦使用環(huán)境：SSH客戶端(SecureSSHClient)Hive命令行客戶端Shell腳本內(nèi)部調(diào)用Hive–fsqlFile.sql權(quán)限：業(yè)務(wù)線內(nèi)部數(shù)據(jù)庫，寫權(quán)限業(yè)務(wù)線外數(shù)據(jù)庫，讀權(quán)限最佳實(shí)踐—角色ETL30最佳實(shí)踐—角色ETL賬戶列表bihtl 酒店組bipkg 度假組biflt 機(jī)票組bipub 公共組bitrain 無線/新業(yè)務(wù)組bicorp 商旅組bianalysis 基礎(chǔ)分析服務(wù)組bimob 無線/新業(yè)務(wù)組最佳實(shí)踐—角色ETL賬戶列表31最佳實(shí)踐—角色Hive自定義配置UDF自動(dòng)加載 .hiverc最佳實(shí)踐—角色Hive自定義配置32最佳實(shí)踐—角色分析師AdHocJob推薦使用環(huán)境：SquirrelGUI界面查詢權(quán)限：業(yè)務(wù)數(shù)據(jù)庫，讀權(quán)限個(gè)人臨時(shí)庫，寫權(quán)限最佳實(shí)踐—角色分析師33最佳實(shí)踐—多日job支持多日job并發(fā)運(yùn)行，要求：所有中間表都是分區(qū)表預(yù)先創(chuàng)建好TmpDB以及對應(yīng)的Tmp表采用INSERTOVERWRITETABLEttt

PARTITION(d=‘YYYY-MM-DD’)DML語句覆蓋舊數(shù)據(jù)最佳實(shí)踐—多日job支持多日job并發(fā)運(yùn)行，要求：34最佳實(shí)踐—ETLJob開發(fā)小的Git項(xiàng)目管理代碼、腳本目錄結(jié)構(gòu)與運(yùn)行環(huán)境完全一致專門的建庫、建表腳本剝離與環(huán)境相關(guān)的配置文件在開發(fā)環(huán)境上完成開發(fā)用crontab部署試運(yùn)行最佳實(shí)踐—ETLJob開發(fā)小的Git項(xiàng)目35最佳實(shí)踐—ETLJob開發(fā)實(shí)例Git項(xiàng)目目錄結(jié)構(gòu)bin shell腳本data 數(shù)據(jù)文件lib 放置jar包etc配置文件schema建庫、建表語句scripthive腳本logs日志文件最佳實(shí)踐—ETLJob開發(fā)實(shí)例Git項(xiàng)目目錄結(jié)構(gòu)36最佳實(shí)踐—ETLJob開發(fā)實(shí)例部署到/home/bianalyais/abTestbin shell腳本data 數(shù)據(jù)文件etc配置文件schema建庫、建表語句scripthive腳本logs日志文件最佳實(shí)踐—ETLJob開發(fā)實(shí)例部署到/home/biana37最佳實(shí)踐—ETLJob開發(fā)實(shí)例文件后綴名規(guī)范shell腳本 .sh配置文件 .properties建庫、建表語句 .sqlhive腳本 .sql日志文件 .log最佳實(shí)踐—ETLJob開發(fā)實(shí)例文件后綴名規(guī)范38最佳實(shí)踐—ETLJob開發(fā)實(shí)例shell腳本使用BASH解釋執(zhí)行#!/bin/bash智能判斷當(dāng)前目錄curDir=$(cd`dirname$0`;pwd)cd$curDir判斷參數(shù)格式內(nèi)部使用相對目錄內(nèi)部不包含配置信息最佳實(shí)踐—ETLJob開發(fā)實(shí)例shell腳本39最佳實(shí)踐—ETLJob開發(fā)實(shí)例shell腳本實(shí)例：#!/bin/bashcurDir=$(cd`dirname$0`;pwd)cd$curDirsourcecommon.shproperties="../etc/perties"hiveDb=${hive_source_abtestdb}sourceDb=${mysql_abtestdb}./commonFullTable.sh$properties$hiveDbexperiment$sourceDbexperiment最佳實(shí)踐—ETLJob開發(fā)實(shí)例shell腳本實(shí)例：40最佳實(shí)踐—ETLJob開發(fā)實(shí)例配置文件內(nèi)容：數(shù)據(jù)庫用戶數(shù)據(jù)庫密碼數(shù)據(jù)庫驅(qū)動(dòng)數(shù)據(jù)庫jdbcurl最佳實(shí)踐—ETLJob開發(fā)實(shí)例配置文件內(nèi)容：41最佳實(shí)踐—ETLJob開發(fā)實(shí)例配置文件實(shí)例：perties#!/bin/bashuser=''password=''driver='com.microsoft.sqlserver.jdbc.SQLServerDriver'dbUrl='jdbc:sqlserver://7:28747;databaseName='最佳實(shí)踐—ETLJob開發(fā)實(shí)例配置文件實(shí)例：42最佳實(shí)踐-建庫建庫語句指定locationcreatedatabaseifnotexistsDW_AdServerDBlocation'${location}/DW_AdServerDB.db';建表時(shí)，按照字符類型的日期分區(qū)PARTITIONEDBY(dstring);格式為YYYY-MM-DD例如：2013-07-23最佳實(shí)踐-建庫建庫語句43Hive開發(fā)規(guī)范、最佳實(shí)踐Hive開發(fā)規(guī)范、最佳實(shí)踐44制定規(guī)范的目的低溝通成本安全易維護(hù)高效開發(fā)減少“回鍋”跳過已知的“坑”制定規(guī)范的目的低溝通成本45制定規(guī)范需要避免增加管理成本增加不必要的流程影響開發(fā)效率形式主義。。。。制定規(guī)范需要避免增加管理成本46好規(guī)范還是壞規(guī)范？好規(guī)范的標(biāo)準(zhǔn)：

簡單清晰易遵循好規(guī)范還是壞規(guī)范？好規(guī)范的標(biāo)準(zhǔn)： 47Hive應(yīng)用現(xiàn)狀已經(jīng)上線的項(xiàng)目UBT數(shù)據(jù)進(jìn)hiveABTestOrderSearch。。。后續(xù)項(xiàng)目UBT橫向業(yè)績Mysql匯總表切hiveV1.0Hive應(yīng)用現(xiàn)狀已經(jīng)上線的項(xiàng)目48Hive應(yīng)用現(xiàn)狀涉及到的組DataInfrastructure基礎(chǔ)分析服務(wù)組酒店組Hive應(yīng)用現(xiàn)狀涉及到的組49Hive應(yīng)用現(xiàn)狀項(xiàng)目開發(fā)領(lǐng)先于規(guī)范制定摸石頭過河的過程不斷提煉、完善規(guī)范的過程Hive應(yīng)用現(xiàn)狀項(xiàng)目開發(fā)領(lǐng)先于規(guī)范制定50規(guī)范項(xiàng)目開發(fā)流程命名規(guī)范數(shù)據(jù)庫、表、視圖用戶規(guī)范規(guī)范項(xiàng)目開發(fā)流程51項(xiàng)目開發(fā)流程創(chuàng)建Git項(xiàng)目設(shè)計(jì)數(shù)據(jù)庫、表結(jié)構(gòu)開發(fā)需要的HiveSQL、Shell腳本數(shù)據(jù)導(dǎo)入Hive（可選）項(xiàng)目開發(fā)流程創(chuàng)建Git項(xiàng)目52項(xiàng)目開發(fā)流程在開發(fā)Hadoop集群上開發(fā)、測試審核規(guī)范性能測試在生產(chǎn)環(huán)境部署項(xiàng)目開發(fā)流程在開發(fā)Hadoop集群上開發(fā)、測試53項(xiàng)目開發(fā)流程---

GitGit

公司統(tǒng)一的版本管理工具推薦使用的客戶端

msysgitGit+TortoiseGit項(xiàng)目開發(fā)流程---GitGit 公司統(tǒng)一的版本管理工54項(xiàng)目開發(fā)流程---

GitGit

公司統(tǒng)一的版本管理工具角色：Master 全部權(quán)限D(zhuǎn)eveloper 讀、寫、Reporter 讀、cloneGuest 讀

項(xiàng)目開發(fā)流程---GitGit 公司統(tǒng)一的版本管理工55項(xiàng)目開發(fā)流程---

數(shù)據(jù)庫設(shè)計(jì)設(shè)計(jì)數(shù)據(jù)庫、表結(jié)構(gòu)根據(jù)業(yè)務(wù)需求，設(shè)計(jì)非結(jié)構(gòu)化的表結(jié)構(gòu)是否需要分區(qū)只初始化一次避免在SQL中創(chuàng)建數(shù)據(jù)庫建表drop表項(xiàng)目開發(fā)流程---數(shù)據(jù)庫設(shè)計(jì)設(shè)計(jì)數(shù)據(jù)庫、表結(jié)構(gòu)56項(xiàng)目開發(fā)流程---

開發(fā)HiveSQL開發(fā)HiveSQL使用Shell封裝SQL項(xiàng)目開發(fā)流程---開發(fā)HiveSQL開發(fā)HiveS57項(xiàng)目開發(fā)流程–數(shù)據(jù)導(dǎo)入需要從外部數(shù)據(jù)源導(dǎo)入數(shù)據(jù)幾種模式：用SQOOP從數(shù)據(jù)庫導(dǎo)入到HiveHbase提供的RCFile，直接創(chuàng)建為外部表CSV/TSV文件上傳到HDFS，創(chuàng)建外部表kettle項(xiàng)目開發(fā)流程–數(shù)據(jù)導(dǎo)入需要從外部數(shù)據(jù)源導(dǎo)入數(shù)據(jù)58項(xiàng)目開發(fā)流程–開發(fā)在開發(fā)Hadoop集群上開發(fā)、測試Job是否需要多日重跑？對應(yīng)數(shù)據(jù)是否需要修復(fù)？配置信息單獨(dú)維護(hù)目錄結(jié)構(gòu)與生產(chǎn)環(huán)境一致目錄結(jié)構(gòu)與Git項(xiàng)目的目錄結(jié)構(gòu)一致Windows上的文件上傳至linux機(jī)器上：Dos2unix避免\r的問題項(xiàng)目開發(fā)流程–開發(fā)在開發(fā)Hadoop集群上開發(fā)、測試59項(xiàng)目開發(fā)流程–審核審核規(guī)范交叉檢查每個(gè)小組內(nèi)設(shè)置專門的對口人項(xiàng)目開發(fā)流程–審核審核規(guī)范60項(xiàng)目開發(fā)流程性能測試判斷需要處理的數(shù)據(jù)量超過20分鐘的腳本，需要檢查整個(gè)job的運(yùn)行時(shí)間項(xiàng)目開發(fā)流程性能測試61項(xiàng)目開發(fā)流程–部署在生產(chǎn)環(huán)境部署每個(gè)小組專門對口人負(fù)責(zé)申請數(shù)據(jù)庫App賬戶修改配置信息：HDFS集群信息數(shù)據(jù)庫配置更新ReleaseNotes到Confluence監(jiān)控job運(yùn)行項(xiàng)目開發(fā)流程–部署在生產(chǎn)環(huán)境部署62項(xiàng)目開發(fā)流程–部署存在的問題:開發(fā)環(huán)境集群計(jì)算能力不足熟悉過程項(xiàng)目開發(fā)流程–部署存在的問題:63數(shù)據(jù)庫層SourceDWTmpDIMOLAPReportTmpquery數(shù)據(jù)庫層SourceDWTmpDIMOLAPReportTm64每層內(nèi)按照業(yè)務(wù)線切分SourceDWDimensionOLAPReportDim_UBTDim_AbTestDim_HotelUBTAbTestHotelUBTAbTestHotelUBTAbTestHotelUBTAbTestHotel每層內(nèi)按照業(yè)務(wù)線切分SourceDWDimensionOLA65數(shù)據(jù)庫命名規(guī)范總體原則：數(shù)據(jù)庫名以DB結(jié)尾采取首字母大寫用下劃線_風(fēng)格的拼寫規(guī)范專門的臨時(shí)庫用于中間表

數(shù)據(jù)庫命名規(guī)范總體原則：66數(shù)據(jù)庫命名規(guī)范數(shù)據(jù)庫層庫名Report工作層Htl_TmpDBReport層Report_HtlDBOLAP工作層Htl_TmpDBOLAP層OLAP_HtlDBDW工作層Htl_TmpDBDW層DW_HtlDBSource層Source_HtlDBDimenstion層Dim_UbtDBQuery&analysis層Tmp_UbtQueryDB數(shù)據(jù)庫命名規(guī)范數(shù)據(jù)庫層庫名Report工作層Htl_TmpD67表命名規(guī)范

Source層基本原則：

與源表名一致缺陷：

會有多種風(fēng)格的表名存在

Dimension層表名必須以Dim為前綴其他層首字母大寫、不用下劃線的駝峰命名規(guī)范事實(shí)表以Fact為前綴表命名規(guī)范

Source層68表命名規(guī)范實(shí)例Fact_UBT_Order_OnlineXFactUBTOrderOnline

√ubt_dim上的維表

Platform

X維表DimPlatform

√表命名規(guī)范實(shí)例Fact_UBT_Order_Online69列命名規(guī)范Source層，保持原有列名不變其他層首字母大寫、其余字母小寫、不用下劃線的駝峰風(fēng)格避免使用關(guān)鍵字實(shí)在不能避免，使用`轉(zhuǎn)義

例如`From`列命名規(guī)范Source層，保持原有列名不變70最佳實(shí)踐總體原則：不同角色，不同開發(fā)工具與時(shí)間相關(guān)的表，按照時(shí)間做分區(qū)支持多日的job同時(shí)運(yùn)行，互不影響良好、可維護(hù)的目錄結(jié)構(gòu)最佳實(shí)踐總體原則：71最佳實(shí)踐—角色兩大類：ETL分析師最佳實(shí)踐—角色兩大類：72最佳實(shí)踐—角色ETL自動(dòng)運(yùn)行Hive上ETLJob推薦使用環(huán)境：SSH客戶端(SecureSSHClient)Hive命令行客戶端Shell腳本內(nèi)部調(diào)用Hive–fsqlFile.sql權(quán)限：業(yè)務(wù)線內(nèi)部數(shù)據(jù)庫，寫權(quán)限業(yè)務(wù)線外數(shù)據(jù)庫，讀權(quán)限最佳實(shí)踐—角色ETL73最佳實(shí)踐—角色ETL賬戶列表bihtl 酒店組bipkg 度假組biflt 機(jī)票組bipub 公共組bitrain 無線/新業(yè)務(wù)組bicorp 商旅組bianalysis 基礎(chǔ)分析服務(wù)組bimob 無線/新業(yè)務(wù)組最佳實(shí)踐—角色ETL賬戶列表74最佳實(shí)踐—角色Hive自定義配置UDF自動(dòng)加載 .hiverc最佳實(shí)踐—角色Hive自定義配置75最佳實(shí)踐—角色分析師AdHocJob推薦使用環(huán)境：SquirrelGUI界面查詢權(quán)限：業(yè)務(wù)數(shù)據(jù)庫，讀權(quán)限個(gè)人臨時(shí)庫，寫權(quán)限最佳實(shí)踐—角色分析師76最佳實(shí)踐—多日job支持多日job并發(fā)運(yùn)行，要求：所有中間表都是分區(qū)表預(yù)先創(chuàng)建好TmpDB以及對應(yīng)的Tmp表采用INSERTOVERWRITETABLEttt

PARTITION(d=‘YYYY-MM-DD’)DML語句覆蓋舊數(shù)據(jù)最佳實(shí)踐—多日job支持多日job并發(fā)運(yùn)行，要求：77最佳實(shí)踐—ETLJob開發(fā)小的Git項(xiàng)目管理代碼、腳本目錄結(jié)構(gòu)與運(yùn)行環(huán)境完全一致專門的建庫、建表腳本剝離與環(huán)境相關(guān)的配置文件在開發(fā)環(huán)境上完成開發(fā)用crontab部署試運(yùn)行最佳實(shí)踐—ETLJob開發(fā)小的Git項(xiàng)目78最佳實(shí)踐—ETLJob開發(fā)實(shí)例Git項(xiàng)目目錄結(jié)構(gòu)bin shell腳本data 數(shù)據(jù)文件lib 放置jar包etc配置文件schema建庫、建表語句scripthive腳本logs日志文件最佳實(shí)踐—ETLJob開發(fā)實(shí)例Git項(xiàng)目目錄結(jié)構(gòu)79最佳實(shí)踐—ETLJob開發(fā)實(shí)例部署到/home/bianalyais/abTestbin shell腳本data 數(shù)據(jù)文件etc配置文件schema建庫、建表語句scripthive腳本logs日志文件最佳實(shí)踐—ETLJob開發(fā)實(shí)例部署到/home/biana80最佳實(shí)踐—ETLJob開發(fā)實(shí)例文件后綴名規(guī)范shell腳本 .sh配置文件 .properties建庫、建表語句 .sqlhive腳本 .sql日