數(shù)據(jù)倉庫相關(guān)發(fā)布包stardw-2.1.0安裝配置手冊

1、Linux 下部Kettle及數(shù)據(jù)倉庫【注意因?yàn)閿?shù)據(jù)倉庫與SBOS統(tǒng)部署到一臺(tái)服務(wù)器上，避免數(shù)據(jù)倉庫影響 S，比如數(shù)據(jù)倉庫加載時(shí)會(huì)占用大量的系統(tǒng)資源，會(huì)影響S 性能等。因?yàn)橛玫絆racle 11g 的自動(dòng)創(chuàng)建分區(qū)的特性，因此oracle 必須安11g 以一、 發(fā)布物介紹包說pdi-ce-ETL數(shù)據(jù)倉庫建表， 即對應(yīng)kettle 抽取、加載程二、 系統(tǒng)環(huán)境如果服務(wù)器已經(jīng)安裝好jdk（1.6.0_17）卸載系統(tǒng)自帶jdk #rpm -qa | grep gcjrpmenodeps#rpm-e- 將安裝文件放到cd # odu+x./jdk-6u7-linux-i586-#./jdk-6u7-lin

2、ux-i586-測試 JDk 是否安裝# java-javaversionJava(TM)SERuntimeEnvironment (build 1.7.0_31-JavaHotSpot(TM) 64-BitServer VM(build20.6-b01,mixed 配置環(huán)境變 export PATH=$JAVA_HOME/bin:$PATHexport 修改.bash_profile 戶權(quán)限使用這些環(huán)境變量，你只需要修改其個(gè)人用戶主 下的.bash_profile用文本編輯器打開用戶 下的.bash_profile件在.bash_profile 文件末尾加入：export PATH=$JAV

3、A_HOME/bin:$PATHexport 三、 安裝數(shù)據(jù)倉庫系統(tǒng)DB1 BOSS 抽取到一個(gè)數(shù)據(jù)倉針對不同的服務(wù)器創(chuàng)建不同的數(shù)據(jù)對于抽取的服務(wù)器： 在 windows 本地執(zhí)行發(fā)布包“ workspacesql ”bossusername(BOSS數(shù)據(jù)庫的用戶bossuserpassword(BOSS數(shù)據(jù)庫的用戶):LUWDSMS3_140108 bossdatabaselink(BOSSNet 服務(wù)名):210_starbossdw datafile path(用于抽取的經(jīng)分?jǐn)?shù)據(jù)庫的數(shù)據(jù)文件路徑):/starsms/oradatadwusername(用于抽取的經(jīng)分?jǐn)?shù)據(jù)庫的用戶dwuse

4、rpassword(用于抽取的經(jīng)分?jǐn)?shù)據(jù)庫的用戶 對于加載的服務(wù)器： 在 windows 本地執(zhí)行發(fā)布包“ workspacesql ”dw datafile path(加載的經(jīng)分?jǐn)?shù)據(jù)庫的數(shù)據(jù)文件路徑): /starsms/oradatadw user name(加載的經(jīng)分?jǐn)?shù)據(jù)庫的用戶):dw_testdwuserpassword(加載的經(jīng)分?jǐn)?shù)據(jù)庫的用戶 在所有服務(wù)器部在所有服務(wù)器部署數(shù)據(jù)倉庫的程可以把 DW_DB 的配置信息刪除。 在加載服務(wù)器配置多BOSS 配置FTP 服務(wù)器：用linux 下的vsftpd 配置FTP 服務(wù)器，然后給每個(gè)BOSS 創(chuàng)建一個(gè)ftp用戶，每個(gè)ftp用戶的根 是w

5、orkspace 下對應(yīng)的文件夾，比如nigeria 的ftp 用戶登錄 ftp 后，當(dāng)前路徑是“./wrokspace/nigeria“（注意，是在 nigeria。說明：此處配置的 ftp 用戶名、需要告訴抽取各個(gè) BOSS 的售后，然后各自配置到各個(gè) BOSS 的抽取服務(wù)器的“conf_ftp_upload_perties”文件中。在抽取服務(wù)器配FTP ”中的 BOSS 抽取到一個(gè)數(shù)據(jù)倉DB1.ETL務(wù)ETL服務(wù)器上運(yùn)行BOSS DB鏡像主要用于減少BOSS DB的BOSS DB可以省略或者BOSS DB鏡像使用 BOSS DB的讀寫分離庫最小化環(huán)境BSS DB鏡像省略，BSS D、數(shù)據(jù)

6、倉庫、EL服務(wù)器都安裝到一臺(tái)數(shù)據(jù)庫服務(wù)器上。目前數(shù)據(jù)倉庫數(shù)據(jù)量比BOSSDB數(shù)據(jù)2.創(chuàng)建數(shù)據(jù)倉庫的數(shù)據(jù)在windows 本地執(zhí)行發(fā)布包“workspacesql”bossusername(BOSS數(shù)據(jù)庫的用戶bossuserpassword(BOSS數(shù)據(jù)庫的用戶):LUWDSMS3_140108 bossdatabaselink(BOSSNet 服務(wù)名):210_starbossdw datafile path(用于抽取的經(jīng)分?jǐn)?shù)據(jù)庫的數(shù)據(jù)文件路徑):/starsms/oradata dw user name(用于抽取的經(jīng)分?jǐn)?shù)據(jù)庫的用戶):dw_ext21002dwuserpassword(用于

7、抽取的經(jīng)分?jǐn)?shù)據(jù)庫的用戶 在 windows 本地執(zhí)行發(fā)布包“workspacesql”dw datafile path(加載的經(jīng)分?jǐn)?shù)據(jù)庫的數(shù)據(jù)文件路徑): /starsms/oradata dwusername(加載的經(jīng)分?jǐn)?shù)據(jù)庫的用戶dwuserpassword(加載的經(jīng)分?jǐn)?shù)據(jù)庫的用戶 在服務(wù)器部四、 單個(gè)安裝步驟說明】放置在 下所有.sh 文件的執(zhí)行權(quán)限即od+x 修改pdi-ce-213data-integrationspoon.sh文件（windwos系統(tǒng)，則修改 Spoon.bat 文件）中的如下內(nèi)容； 服務(wù)器的內(nèi)容，一般建議 128G，有條件可以增加到 256G。 DW_DB 將下【

8、perties】文件拷貝覆蓋到linux當(dāng)前用戶錄.kettle修改啟動(dòng)文件 run1.sh、run2.sh、run_all.sh、run_ftp_upload_job.shcd 指向部署workspacewrokspace在操作系統(tǒng)中五、 執(zhí)行數(shù)據(jù)倉庫抽取、加載經(jīng)分配置文件說 代表抽取時(shí)間的偏移值，單位（分鐘 郵件配置（若不想接收郵件，忽略此步驟單獨(dú)執(zhí)行抽取過特別說明目，job1抽取前需手動(dòng)增加如下配置： 建議執(zhí)行： nohup ./run1.sh &件夾 和 各個(gè)表的 zip 文件。下生成list.txt文件FTP 上傳過workspacerun_ftp_upload_job.sh 啟動(dòng)上傳過程.建議執(zhí)行： nohup ./ run_ftp_upload_job.sh & 建議執(zhí)行： nohup ./run2.sh & linux 下配置定時(shí)自動(dòng)運(yùn)crontab -u root -e3001*/starboss/BASS/data- crontab-uroot-3003*/starbo