數(shù)據(jù)倉庫相關發(fā)布包stardw-2.1.0安裝配置手冊

1、Linux 下部Kettle及數(shù)據(jù)倉庫【注意因為數(shù)據(jù)倉庫與SBOS統(tǒng)部署到一臺服務器上，避免數(shù)據(jù)倉庫影響 S，比如數(shù)據(jù)倉庫加載時會占用大量的系統(tǒng)資源，會影響S 性能等。因為用到Oracle 11g 的自動創(chuàng)建分區(qū)的特性，因此oracle 必須安11g 以一、 發(fā)布物介紹包說pdi-ce-ETL數(shù)據(jù)倉庫建表， 即對應kettle 抽取、加載程二、 系統(tǒng)環(huán)境如果服務器已經安裝好jdk（1.6.0_17）卸載系統(tǒng)自帶jdk #rpm -qa | grep gcjrpmenodeps#rpm-e- 將安裝文件放到cd # odu+x./jdk-6u7-linux-i586-#./jdk-6u7-lin

2、ux-i586-測試 JDk 是否安裝# java-javaversionJava(TM)SERuntimeEnvironment (build 1.7.0_31-JavaHotSpot(TM) 64-BitServer VM(build20.6-b01,mixed 配置環(huán)境變 export PATH=$JAVA_HOME/bin:$PATHexport 修改.bash_profile 戶權限使用這些環(huán)境變量，你只需要修改其個人用戶主 下的.bash_profile用文本編輯器打開用戶 下的.bash_profile件在.bash_profile 文件末尾加入：export PATH=$JAV

3、A_HOME/bin:$PATHexport 三、 安裝數(shù)據(jù)倉庫系統(tǒng)DB1 BOSS 抽取到一個數(shù)據(jù)倉針對不同的服務器創(chuàng)建不同的數(shù)據(jù)對于抽取的服務器： 在 windows 本地執(zhí)行發(fā)布包“ workspacesql ”bossusername(BOSS數(shù)據(jù)庫的用戶bossuserpassword(BOSS數(shù)據(jù)庫的用戶):LUWDSMS3_140108 bossdatabaselink(BOSSNet 服務名):210_starbossdw datafile path(用于抽取的經分數(shù)據(jù)庫的數(shù)據(jù)文件路徑):/starsms/oradatadwusername(用于抽取的經分數(shù)據(jù)庫的用戶dwuse

4、rpassword(用于抽取的經分數(shù)據(jù)庫的用戶 對于加載的服務器： 在 windows 本地執(zhí)行發(fā)布包“ workspacesql ”dw datafile path(加載的經分數(shù)據(jù)庫的數(shù)據(jù)文件路徑): /starsms/oradatadw user name(加載的經分數(shù)據(jù)庫的用戶):dw_testdwuserpassword(加載的經分數(shù)據(jù)庫的用戶 在所有服務器部在所有服務器部署數(shù)據(jù)倉庫的程可以把 DW_DB 的配置信息刪除。 在加載服務器配置多BOSS 配置FTP 服務器：用linux 下的vsftpd 配置FTP 服務器，然后給每個BOSS 創(chuàng)建一個ftp用戶，每個ftp用戶的根 是w

5、orkspace 下對應的文件夾，比如nigeria 的ftp 用戶登錄 ftp 后，當前路徑是“./wrokspace/nigeria“（注意，是在 nigeria。說明：此處配置的 ftp 用戶名、需要告訴抽取各個 BOSS 的售后，然后各自配置到各個 BOSS 的抽取服務器的“conf_ftp_upload_perties”文件中。在抽取服務器配FTP ”中的 BOSS 抽取到一個數(shù)據(jù)倉DB1.ETL務ETL服務器上運行BOSS DB鏡像主要用于減少BOSS DB的BOSS DB可以省略或者BOSS DB鏡像使用 BOSS DB的讀寫分離庫最小化環(huán)境BSS DB鏡像省略，BSS D、數(shù)據(jù)

6、倉庫、EL服務器都安裝到一臺數(shù)據(jù)庫服務器上。目前數(shù)據(jù)倉庫數(shù)據(jù)量比BOSSDB數(shù)據(jù)2.創(chuàng)建數(shù)據(jù)倉庫的數(shù)據(jù)在windows 本地執(zhí)行發(fā)布包“workspacesql”bossusername(BOSS數(shù)據(jù)庫的用戶bossuserpassword(BOSS數(shù)據(jù)庫的用戶):LUWDSMS3_140108 bossdatabaselink(BOSSNet 服務名):210_starbossdw datafile path(用于抽取的經分數(shù)據(jù)庫的數(shù)據(jù)文件路徑):/starsms/oradata dw user name(用于抽取的經分數(shù)據(jù)庫的用戶):dw_ext21002dwuserpassword(用于

7、抽取的經分數(shù)據(jù)庫的用戶 在 windows 本地執(zhí)行發(fā)布包“workspacesql”dw datafile path(加載的經分數(shù)據(jù)庫的數(shù)據(jù)文件路徑): /starsms/oradata dwusername(加載的經分數(shù)據(jù)庫的用戶dwuserpassword(加載的經分數(shù)據(jù)庫的用戶 在服務器部四、 單個安裝步驟說明】放置在 下所有.sh 文件的執(zhí)行權限即od+x 修改pdi-ce-213data-integrationspoon.sh文件（windwos系統(tǒng)，則修改 Spoon.bat 文件）中的如下內容； 服務器的內容，一般建議 128G，有條件可以增加到 256G。 DW_DB 將下【

8、perties】文件拷貝覆蓋到linux當前用戶錄.kettle修改啟動文件 run1.sh、run2.sh、run_all.sh、run_ftp_upload_job.shcd 指向部署workspacewrokspace在操作系統(tǒng)中五、 執(zhí)行數(shù)據(jù)倉庫抽取、加載經分配置文件說 代表抽取時間的偏移值，單位（分鐘 郵件配置（若不想接收郵件，忽略此步驟單獨執(zhí)行抽取過特別說明目，job1抽取前需手動增加如下配置： 建議執(zhí)行： nohup ./run1.sh &件夾 和 各個表的 zip 文件。下生成list.txt文件FTP 上傳過workspacerun_ftp_upload_job.sh 啟動上傳過程.建議執(zhí)行： nohup ./ run_ftp_upload_job.sh & 建議執(zhí)行： nohup ./run2.sh & linux 下配置定時自動運crontab -u root -e3001*/starboss/BASS/data- crontab-uroot-3003*/starbo