Greenplum-數(shù)據(jù)庫安裝方案

1、江西移動(dòng)Greenplum 數(shù)據(jù)庫安裝學(xué)習(xí)文檔 僅供參考修改記錄編號(hào)日期描述版本作者審核發(fā)布日期 第 27 頁 共 27頁Greenplum 數(shù)據(jù)庫安裝配置標(biāo)準(zhǔn)目 錄1物理環(huán)境部署31.1Greenplum物理架構(gòu)設(shè)計(jì)31.2磁盤硬件RAID設(shè)計(jì)51.3網(wǎng)絡(luò)IP規(guī)劃52軟件環(huán)境安裝配置62.1操作系統(tǒng)安裝配置62.2操作系統(tǒng)參數(shù)設(shè)置112.3操作系統(tǒng)平安配置132.4操作系統(tǒng)用戶組和用戶152.5網(wǎng)絡(luò)配置152.6集群NTP效勞時(shí)鐘同步配置163數(shù)據(jù)庫系統(tǒng)安裝配置163.1Greenplum軟件安裝163.2數(shù)據(jù)庫初始化204數(shù)據(jù)庫參數(shù)214.1數(shù)據(jù)庫參數(shù)設(shè)置214.2調(diào)整連接控制參數(shù)235C

2、ommand center安裝231 物理環(huán)境部署1.1 Greenplum物理架構(gòu)概述Greenplum是一種基于postgresql開源數(shù)據(jù)庫的分布式數(shù)據(jù)庫。其采用shared nothing架構(gòu)MPP，主機(jī)，操作系統(tǒng)，內(nèi)存，存儲(chǔ)都是自我控制的，不存在共享。主要由master hostmaster管理節(jié)點(diǎn)，segment hostsegment數(shù)據(jù)節(jié)點(diǎn)，interconnect網(wǎng)絡(luò)三大組件組成，segment host又包括primary segment主segment實(shí)例及mirror segment鏡像segment實(shí)例。如以下圖所示：其中各組件功能如下：Ø Master h

3、ost master管理節(jié)點(diǎn)主要負(fù)責(zé)接收并分配查詢等任務(wù)，是Greenplum環(huán)境與外界通信的入口。并且，master管理節(jié)點(diǎn)不存儲(chǔ)任何業(yè)務(wù)數(shù)據(jù)，只負(fù)責(zé)對(duì)各Segment數(shù)據(jù)節(jié)點(diǎn)抽取出的業(yè)務(wù)數(shù)據(jù)進(jìn)行匯總，反響給用戶。 Ø Standby masterStandby master管理節(jié)點(diǎn)主要作為master管理節(jié)點(diǎn)的熱備份節(jié)點(diǎn)，當(dāng)master管理節(jié)點(diǎn)宕機(jī)時(shí)Standby master那么扮演master管理節(jié)點(diǎn)角色。Ø Node/segment hostSegment數(shù)據(jù)節(jié)點(diǎn)主要負(fù)責(zé)運(yùn)行Segment instancesSegment實(shí)例的效勞進(jìn)程，支撐多少個(gè)Segment實(shí)

4、例取決于Segment數(shù)據(jù)節(jié)點(diǎn)CPU核數(shù)。Ø Primary Segment主實(shí)例存放數(shù)據(jù)庫一局部獨(dú)立數(shù)據(jù)即每個(gè)主實(shí)例存放的數(shù)據(jù)完全不一樣，主要負(fù)責(zé)處理查詢等任務(wù)，每個(gè)Segment數(shù)據(jù)節(jié)點(diǎn)能配置多少個(gè)主實(shí)例取決于CPU等物理配置情況。當(dāng)加載數(shù)據(jù)至數(shù)據(jù)庫時(shí)，數(shù)據(jù)庫按既定的分配算法決定實(shí)例分別存放哪些數(shù)據(jù)，當(dāng)master將執(zhí)行方案發(fā)給各實(shí)例，各實(shí)例主要處理其負(fù)責(zé)的那局部數(shù)據(jù)。Ø Mirror segment鏡像實(shí)例主要作為Primary Segment主實(shí)例的熱備份節(jié)點(diǎn)，當(dāng)Primary Segment主實(shí)例不可用時(shí)Mirror segment鏡像實(shí)例那么扮演master管理

5、節(jié)點(diǎn)角色。Ø Interconnect switches互連交換機(jī)是Greenplum數(shù)據(jù)庫環(huán)境的通信核心，主要負(fù)責(zé)各節(jié)點(diǎn)的通信交互。1.2 硬件環(huán)境1. Master/Standby效勞器 Master硬件信息設(shè)備型號(hào)華為RH2288H V2 <1>CPU英特爾志強(qiáng) 8核 E5-2650V2 2.6GHz處理器 2*8core內(nèi)存192G磁盤23*900GB網(wǎng)卡端口4*1GE+4*10GB口效勞器數(shù)量22., Segment效勞器Slaver硬件信息設(shè)備型號(hào)華為RH2288H V2 <1>CPU英特爾志強(qiáng) 8核 E5-2650V2 2.6GHz處理器 2*8

6、core內(nèi)存192G磁盤23*900GB網(wǎng)卡端口4*1GE+4*10GB口效勞器數(shù)量17當(dāng)前環(huán)境13臺(tái)3. 萬兆網(wǎng)絡(luò)2臺(tái)華為交換機(jī)9300做了交換機(jī)堆疊配置，每臺(tái)效勞器連接2條萬兆網(wǎng)線，分別連接到兩臺(tái)交換機(jī)，在主機(jī)上配置網(wǎng)卡聚合，實(shí)現(xiàn)負(fù)載均衡和容錯(cuò)。1.3 磁盤硬件RAID設(shè)計(jì)考慮數(shù)據(jù)平安性、可靠性、運(yùn)行性能和容量需求，在硬件方面采用RAID進(jìn)行進(jìn)行數(shù)據(jù)保護(hù)。對(duì)于磁盤RAID設(shè)置要求：Ø RAID卡翻開“Write BackCache設(shè)置和“Read ahead讀策略。Ø 分成2組RAID5:12*900G +11*900G。1.4 網(wǎng)絡(luò)IP規(guī)劃為了最大程度滿足性能和可靠性

7、的要求，集群配置了2臺(tái)華為9300交換機(jī)，做了交換機(jī)堆疊配置，每臺(tái)效勞器連接2條萬兆網(wǎng)線，分別連接到兩臺(tái)交換機(jī)，在主機(jī)上配置網(wǎng)卡聚合mode=4，實(shí)現(xiàn)負(fù)載均衡和容錯(cuò)。 由于采用網(wǎng)卡聚合技術(shù)，每臺(tái)效勞器只需配置一個(gè)IP地址，整個(gè)集群處于一個(gè)vlan之中。用途機(jī)器名IPGPDB Masterjxgpmaster04GPDB Standbyjxgpmaster05GPDB Segmentjxgpseg050jxgpseg061jxgpseg072jxgpseg0810.180.

8、212.73jxgpseg094jxgpseg105jxgpseg16jxgpseg17jxgpseg138jxgpseg149jxgpseg150jxgpseg161jxgpseg1722 軟件環(huán)境安裝配置2.1 操作系統(tǒng)安裝配置2.1.1 BIOS設(shè)置Ø 進(jìn)入BIOS功能界面，開啟BIOS 超線程ü 開啟Ø 驗(yàn)證BIOS超線程設(shè)置合規(guī)性：A:

9、grep i cpu cores | /proc/cpuinfo |wc lB: grep i processor | /proc/cpuinfo |wc lØ 檢查結(jié)果：處理器數(shù)量是核數(shù)的2倍。2.1.2 操作系統(tǒng)安裝設(shè)置 安裝操作系統(tǒng)根底包操作系統(tǒng)版本：Redhat Enterprise Linux Server 6.5(64bit)Ø 要求：ü 選擇“最小軟件組方式安裝Red Hat Enterprise Linux 6.5 64bitü 選中“現(xiàn)在自定義選項(xiàng)，選擇安裝其他系統(tǒng)工具包。 安裝系統(tǒng)語言包Ø 要求：

10、操作系統(tǒng)安裝過程中，請(qǐng)安裝以下語言支持。ü POSIX C和 en_US.utf8 locales 在安裝操作系統(tǒng)時(shí)安裝。即The POSIX C and en_US.utf8 locales must be installed during the OS installation. Additional locales may be installed as necessary to suit the customer.ü 以 English(English)作為操作系統(tǒng)安裝/登錄時(shí)采用的語言。ü 除英文環(huán)境，在安裝附加語言支持時(shí)，選擇簡(jiǎn)體中文。即zh_CN.g

11、bk、zh_CN.gb18030、zh_CN.utf8、zh_CN.BIG5，等中文語言包需要在安裝操作系統(tǒng)時(shí)一并安裝。 安裝系統(tǒng)工具包組件名稱組件功能版本要求驗(yàn)證檢查Kdump系統(tǒng)信息轉(zhuǎn)儲(chǔ)工具與操作系統(tǒng)相同版本Service kdump statusWhich kdumpNtp時(shí)間同步效勞與操作系統(tǒng)相同版本Service ntpd statusPerlPerl語言工具包與操作系統(tǒng)相同版本Perl -versionTcpdump網(wǎng)絡(luò)數(shù)據(jù)采集分析工具與操作系統(tǒng)相同版本which TcpdumpUnzip/zlib5 解壓工具與操作系統(tǒng)相同版本which UnzipXfsdumpXf

12、s文件系統(tǒng)工具與操作系統(tǒng)相同版本which XfsdumpXfsprogsXfs文件系統(tǒng)工具與操作系統(tǒng)相同版本which xfssprogsed.x86_64Ed編輯器與操作系統(tǒng)相同版本which edjdk-6u43-linux-x64-rpmJdk工具，從Oracle下載安裝與操作系統(tǒng)相同版本jdk versionipmi/ipmitool遠(yuǎn)程管理診斷工具與操作系統(tǒng)相同版本ipmitool -VGdb程序運(yùn)行時(shí)調(diào)試工具與操作系統(tǒng)相同版本which gdbPstack程序運(yùn)行時(shí)調(diào)試工具依賴于gdb與操作系統(tǒng)相同版本which pstackNmon系統(tǒng)性能監(jiān)測(cè)工具與操作系統(tǒng)相同版本which

13、nmon 開發(fā)語言連接驅(qū)動(dòng)開發(fā)語言連接數(shù)據(jù)庫需要特定的驅(qū)動(dòng)，目前Greenplum與第三方開發(fā)語言連接方式有如下標(biāo)準(zhǔn)：Ø Greenplum自帶C/C+開發(fā)語言驅(qū)動(dòng)，不需要安裝任何驅(qū)動(dòng)。Ø Greenplum自帶JDBC/ODBC連接驅(qū)動(dòng)，開發(fā)語言可通過JDBC或ODBC連接數(shù)據(jù)庫，例如 Java開發(fā)語言可通過JDBC連接數(shù)據(jù)庫。Ø 對(duì)于自帶有JDBC/ODBC連接驅(qū)動(dòng)的開發(fā)語言，可直接通過自身的JDBC/ODBC連接數(shù)據(jù)庫Ø Python及Perl開發(fā)語言不能通過JDBC/ODBC連接數(shù)據(jù)庫，需通過DBD連接，那么要在安裝操作系統(tǒng)完成后獨(dú)

14、立部署安裝。例如LDS及SOR數(shù)據(jù)庫集群開發(fā)語言是Perl，那么是需要安裝如下DBD驅(qū)動(dòng)軟件包。postgresql-libs-8.4.11-1.el6_2.x86_64perl-DBI-1.609-4.el6.x86_64perl-DBD-Pg-2.15.1-3.el6.x86_6 時(shí)區(qū)配置Ø 配置時(shí)區(qū)要求如下：ü 選擇時(shí)區(qū)為東八區(qū)“亞洲/上海 - 中國東部ü Asia/ShanghaiEast China Beijing，Guangdong，Shanghai，etc.ü 系統(tǒng)時(shí)鐘不使用UTC 文件系統(tǒng)和分區(qū)配置·

15、; 由于RAID磁盤組大于2T，建議采用parted分區(qū)，不采用LVM進(jìn)行管理。· Greenplum官方推薦最適合的文件系統(tǒng)是XFS，其他文件系統(tǒng)類型原那么上不推薦；· 掛載點(diǎn)大小文件系統(tǒng)類型說明/400Gext4安裝操作系統(tǒng)和應(yīng)用軟件/boot200Mext4linux啟動(dòng)目錄無192Gswap系統(tǒng)交換空間/data12.8Txfshadoop數(shù)據(jù)目錄/data22.6Txfshadoop數(shù)據(jù)目錄 網(wǎng)卡配置每臺(tái)效勞器采取2網(wǎng)卡綁定的方式提高網(wǎng)絡(luò)帶寬需要交換機(jī)支持，網(wǎng)卡綁定參考如下過程：1.停止 NetworkManager效勞service Ne

16、tworkManager stopchkconfig NetworkManager off2.新建/etc/sysconfig/network-scripts/ifcfg-bond0文件DEVICE=bond0ONBOOT=yesBOOTPROTO=staticIPADDR=NETMASK=GATEWAY=USERCTL=no3.分別修改每塊slave網(wǎng)卡的設(shè)置文件，假設(shè)slave網(wǎng)卡為eth0,那么按以下內(nèi)容更改/etc/sysconfig/network-scripts/ifcfg-eth0文件:DEVICE=eth0ONBOOT=yesBOOTPROTO=noneMASTER=bond0

17、USERCTL=no4.以步驟3的方式修改另一塊slave網(wǎng)卡配置5.編輯/etc/modprobe.d/bond.conf文件,參加以下內(nèi)容alias bond0 bondingoptions bond0 miimon=100 mode=46.重啟network效勞service network restart7.檢查網(wǎng)絡(luò)連通性說明：miimon是用來進(jìn)行鏈路監(jiān)測(cè)的。 比方:miimon=100，那么系統(tǒng)每100ms監(jiān)測(cè)一次鏈路連接狀態(tài)，如果有一條線路不通就轉(zhuǎn)入另一條線路；mode的值表示工作模式，共有0,1,2,3,4,5,6七種模式2.2 操作系統(tǒng)參數(shù)設(shè)置設(shè)置類型內(nèi)容硬盤調(diào)度算法elev

18、ator=deadline內(nèi)核參數(shù)l 設(shè)置方法修改/boot/grub/menu.lst 找到 kernel /vmlinuz-xxx 這一行，在最后添加 elevator=deadline/elevator=deadline transparent_hugepage=nevel 檢查/驗(yàn)證方法系統(tǒng)啟動(dòng)正常后，執(zhí)行 cat /sys/block/*/queue/scheduler應(yīng)能看到：noop anticipatory deadline cfq 系統(tǒng)運(yùn)行級(jí)別 = 3系統(tǒng)設(shè)置l 設(shè)置方法在/etc/inittab文件中，將行id:5:initdefault改成：id:3:initdefaul

19、tl 檢查/驗(yàn)證方法執(zhí)行 cat /etc/inittab應(yīng)能看到：id:3:initdefault磁盤預(yù)讀取block readahead = 16384 (所有硬盤)系統(tǒng)設(shè)置l 設(shè)置方法修改/etc/rc.d/rc.local 增加兩行blockdev -setra 16384 /dev/sd*l 檢查方法系統(tǒng)重啟后運(yùn)行blockdev -getra /dev/sd*blockdev -getra /dev/vg0/*應(yīng)都是16384語言與字符集language=en_US.UTF-8系統(tǒng)設(shè)置l 設(shè)置方法系統(tǒng)安裝時(shí)指定。l 檢查方法登錄系統(tǒng)，執(zhí)行命令 locale結(jié)果應(yīng)該是 en_US.U

20、TF-8Sysctl.conf系統(tǒng)設(shè)置l 設(shè)置方法修改/etc/sysctl.conf，增加以下內(nèi)容：kernel.shmmax =1000000000kernel.shmall =4000000000kernel.shmmni = 4096kernel.sem = 250 512000 100 2048kernel.sysrq = 1kernel.core_uses_pid = 1kernel.msgmni = 2048net.ipv4.tcp_syncookies = 1net.ipv4.ip_forward = 0net.ipv4.conf.default.accept_source_r

21、oute = 0net.ipv4.tcp_tw_recycle = 1net.ipv4.tcp_max_syn_backlog = 4096net.ipv4.conf.all.arp_filter = 1net.ipv4.ip_local_port_range = 1025 65535dev_max_backlog = 10000net.core.rmem_max = 2097152net.core.wmem_max = 2097152vm.overcommit_memory = 2kernel.core_pattern=/data1/coredump/core.%e.%p.%t.%u.%gn

22、et.ipv4.ip_local_reserved_ports=5432,6432net.ipv4.ip_forward = 0 net.ipv4.conf.default.accept_source_route = 0kernel.core_uses_pid = 1net.ipv4.tcp_syncookies = 1kernel.msgmax = 65536kernel.msgmni = 2048kernel.msgmnb = 65536kernel.shmmax = 500000000kernel.shmmni = 4096kernel.shmall = 4000000000kernel

23、.sem = 250 512000 100 2048kernel.sysrq = 1net.ipv4.tcp_tw_recycle=1net.ipv4.tcp_max_syn_backlog=4096net.ipv4.ip_local_port_range = 1025 65535dev_max_backlog=10000vm.overcommit_memory=2net.ipv4.conf.all.arp_filter = 1注：如需增加連接數(shù)，可增加kernel.sem然后執(zhí)行sysctl -p。l 檢查方法用 sysctl ，檢查上述各參數(shù)是否匹配。用戶資源限額系統(tǒng)設(shè)置l 設(shè)置方法修改

24、/etc/security/limits.conf增加以下幾行：* soft nofile 1048576* hard nofile 1048576* hard nproc 1048576* soft nproc 1048576ulimit -c unlimited# End of file#gpadmin soft nproc 131072#gpadmin hard nproc 131072* soft nofile 1048576* hard nofile 1048576修改 /etc/security/limits.d/90-nproc.conf增加以下幾行：* soft nproc 1

25、048576* hard nproc 1048576* soft nofile 1048576* hard nofile 1048576ulimit -c unlimited* soft nproc 1048576* hard nproc 1048576l 檢查方法用任意普通用戶登錄，執(zhí)行ulimit -a，檢查上述參數(shù)是否匹配。2.3 操作系統(tǒng)平安配置2.3.1 關(guān)閉防火墻和SELinuxØ 在操作系統(tǒng)安裝過程中，關(guān)閉操作系統(tǒng)自帶防火墻。chkconfig iptables offservice iptables stopØ 關(guān)閉SELinux，設(shè)置/etc/selinu

26、x/config文件中SELINUX=disabled。2.3.2 關(guān)閉不必要的效勞關(guān)閉所有不需要的效勞，減少這些效勞對(duì)系統(tǒng)資源的占用。局部 LINUX 效勞信息如下：系統(tǒng)效勞名稱進(jìn)程摘要建議abrt-ccppC/C+程序問題收集工具關(guān)閉AbrtdAutomatic Bug Reporting Tool關(guān)閉abrt-oops內(nèi)核嚴(yán)重異常信息收集工具關(guān)閉AcpidACPID事件監(jiān)聽和分發(fā)進(jìn)程關(guān)閉Atd定時(shí)任務(wù)進(jìn)程關(guān)閉Auditd系統(tǒng)審計(jì)進(jìn)程關(guān)閉AutofsAufofs管理進(jìn)程關(guān)閉avahi-daemon本地網(wǎng)絡(luò)效勞查找關(guān)閉Bluetooth藍(lán)牙協(xié)議守護(hù)進(jìn)程關(guān)閉Certmonger認(rèn)證期限監(jiān)控關(guān)閉

27、CpuspeedCpu速率調(diào)整進(jìn)程關(guān)閉Crond定時(shí)任務(wù)進(jìn)程翻開CupsCups打印機(jī)進(jìn)程關(guān)閉Firstboot系統(tǒng)首次啟動(dòng)時(shí)的配置關(guān)閉Haldaemon硬件信息維護(hù)和管理進(jìn)程關(guān)閉ip6tablesipv6包過濾軟件防火墻進(jìn)程關(guān)閉Iptables包過濾軟件防火墻進(jìn)程關(guān)閉Irqbalance中斷平衡進(jìn)程翻開lvm2-monitorlvm 的mirror監(jiān)控進(jìn)程關(guān)閉Mdmonitor軟RAID監(jiān)控進(jìn)程關(guān)閉MessagebusDBUS消息總線進(jìn)程關(guān)閉Netfs網(wǎng)絡(luò)文件系統(tǒng)進(jìn)程關(guān)閉Network網(wǎng)絡(luò)進(jìn)程翻開NetworkManager網(wǎng)絡(luò)自動(dòng)管理進(jìn)程關(guān)閉NfslockNfs鎖機(jī)制進(jìn)程關(guān)閉Portres

28、erveRPC效勞相關(guān)關(guān)閉Postfix電子郵件效勞關(guān)閉Rhnsd操作系統(tǒng)自動(dòng)更新進(jìn)程關(guān)閉Rhsmcertd在線更新訂閱狀態(tài)信息關(guān)閉RpcbindRPC效勞相關(guān)關(guān)閉Rpcgssd針對(duì)nfsv4客戶端管理 RPCSEC GSS contexts進(jìn)程關(guān)閉RpcidmapdRPC名字與UID/GID映射進(jìn)程關(guān)閉Rsyslog系統(tǒng)日志進(jìn)程翻開Sshd系統(tǒng)日志進(jìn)程翻開Sysstat系統(tǒng)統(tǒng)計(jì)信息進(jìn)程翻開udev-post設(shè)備管理系統(tǒng)關(guān)閉Ipmi遠(yuǎn)程診斷翻開2.3.3 禁止不用的用戶登錄系統(tǒng)生成的默認(rèn)用戶，如 ftp、nobody、lp 等，默認(rèn)情況下這些用戶不可登錄系統(tǒng)。2.3.4 配置 security

29、 參數(shù)序號(hào)參數(shù)參數(shù)名稱default建議值調(diào)整原那么及注釋1Umaskumaskumask = 022umask = 022增強(qiáng)平安性2TMOUT登錄shell超時(shí)設(shè)置未設(shè)置編輯/etc/profile文件TMOUT=120export TMOUT增強(qiáng)平安性2.4 操作系統(tǒng)用戶組和用戶Ø 創(chuàng)立用戶組及用戶Ø groupadd gpmonØ useradd -g gpmon gpmon組GID用戶UID主目錄說明Gpadmin3030gpadmin3030/home/gpadminGp系統(tǒng)用戶Gpmon3040gpmon3040/home/gpmonGp監(jiān)控用戶&#

30、216; 設(shè)置用戶初始密碼Gpadmin用戶的密碼為xxxxGpmon用戶的密碼為xxxx2.5 網(wǎng)絡(luò)配置按照數(shù)據(jù)倉庫系統(tǒng)集群IP 對(duì)應(yīng)關(guān)系，配置所有節(jié)點(diǎn)的/etc/hosts文件，要求將所有節(jié)點(diǎn)的IP、效勞器別名及效勞器名都編輯到/etc/hosts文件，具體內(nèi)容如下：4jxgpmaster05jxgpmaster00jxgpseg051jxgpseg062jxgpseg073jxgpseg084jxgpseg0910.1

31、80.212.75jxgpseg106jxgpseg17jxgpseg18jxgpseg139jxgpseg140jxgpseg151jxgpseg162jxgpseg172.6 集群NTP效勞時(shí)鐘同步配置集群NTP效勞配置要求：選定時(shí)間同步效勞器節(jié)點(diǎn)，然后編輯/etc/ntp.conf，輸入時(shí)間同步效勞器節(jié)點(diǎn)IP地址。開啟ntpd效勞service ntpd restartchkconfig ntod onnØ

32、驗(yàn)證集群NTP效勞配置合規(guī)性：執(zhí)行命令：Service ntpd status執(zhí)行結(jié)果：Ntpd (pid 5091) is running3 數(shù)據(jù)庫系統(tǒng)安裝配置3.1 Greenplum軟件安裝3.1.1 軟件及相關(guān)工具清單Ø Greenplum軟件greenplum-db-greenplum-cc-web--build-23.1.2 關(guān)閉不需要的效勞所有節(jié)點(diǎn) 防火墻用以下命令關(guān)閉防火墻service iptables saveservice iptables stopchkconfig iptables offservice ip6tab

33、les saveservice ip6tables stopchkconfig ip6tables off 其他需要關(guān)閉的效勞chkconfig avahi-daemon offchkconfig avahi-dnsconfd offchkconfig conman offchkconfig bluetooth offchkconfig cpuspeed offchkconfig setroubleshoot offchkconfig hidd offchkconfig hplip offchkconfig isdn offchkconfig kudzu offchkconfig

34、 yum-updatesd off3.1.3 啟動(dòng)IPMI效勞(所有節(jié)點(diǎn))IPMIIntelligent Platform Management Interface即智能平臺(tái)管理接口是使硬件管理具備“智能化的新一代通用接口標(biāo)準(zhǔn)。如果沒有安裝相關(guān)效勞，建議安裝，執(zhí)行以下命令：service ipmi start chkconfig ipmi on3.1.4 Master節(jié)點(diǎn)安裝和多機(jī)信任 軟件安裝Ø 軟件安裝目錄：/usr/local/Ø 在Master節(jié)點(diǎn)上，以root用戶執(zhí)行，按照提示進(jìn)行安裝。cd /usr/localtar zxvf <安裝程序所在

35、目錄>/greenplum-db-.tar.gzØ 創(chuàng)立符號(hào)鏈接greenplum-db指向Greenplum安裝目錄， 修改root用戶環(huán)境變量配置 Ø 修改root用戶home的/.bashrc配置文件，增加source /usr/local/greenplum-db/greenplum_path.sh root用戶建立多機(jī)信任使用root用戶在Master主機(jī)上操作:gpssh-exkeys -f ./all-nodes所有節(jié)點(diǎn)主機(jī)名· 驗(yàn)證配置：選擇某個(gè)節(jié)點(diǎn)，從master通過ssh命令連接，不輸入任何密碼。

36、 · 檢查結(jié)果：可正常連接被信任節(jié)點(diǎn)。 Greenplum節(jié)點(diǎn)數(shù)據(jù)目錄在相應(yīng)節(jié)點(diǎn)按如下表的數(shù)據(jù)目錄規(guī)那么創(chuàng)立目錄，并授予gpadmin用戶所有操作權(quán)限。節(jié)點(diǎn)數(shù)據(jù)目錄目錄屬主權(quán)限目錄用途驗(yàn)證方式Master/Standby Master/data1/mastergpadmin所有節(jié)點(diǎn)數(shù)據(jù)目錄ls -lr /data1/masterSegment/data1/primary/data2/primarygpadmin所有節(jié)點(diǎn)數(shù)據(jù)目錄ls -lr /data1/primary /data2/primarySegment/data1/mirror/data2/mirrorgpad

37、min所有節(jié)點(diǎn)數(shù)據(jù)目錄ls lr /data1/ mirror /data2/mirror 修改gpadmin用戶環(huán)境變更配置【Master和Standby Master主機(jī)】：修改 /.bashrc文件，添加如下內(nèi)容：source /usr/local/greenplum-db/greenplum_path.shMASTER_DATA_DIRECTORY=/u01/master/gpseg-1export MASTER_DATA_DIRECTORY gpstart默認(rèn)啟動(dòng)的目錄【Segment主機(jī)】：修改 /.bashrc文件，添加如下內(nèi)容：source /usr/local/

38、greenplum-db/greenplum_path.sh gpadmin用戶建立多機(jī)信任使用gpadmin用戶在Master主機(jī)上操作:gpssh-exkeys -f ./all-nodes所有節(jié)點(diǎn)主機(jī)名· 驗(yàn)證配置：選擇某個(gè)節(jié)點(diǎn)，從master通過ssh命令連接，不輸入任何密碼。 · 檢查結(jié)果：可正常連接被信任節(jié)點(diǎn)。3.1.5 其它節(jié)點(diǎn)安裝 Segment 節(jié)點(diǎn)上的安裝在Master節(jié)點(diǎn)上，以root用戶身份，執(zhí)行以下命令：. /usr/local/greenplum-db /greenplum_path.shgpseginstall -f

39、 ./stby_all_segs所有segment數(shù)據(jù)節(jié)點(diǎn)及standby master管理節(jié)點(diǎn)主機(jī)名3.2 數(shù)據(jù)庫初始化在Master節(jié)點(diǎn)上以gpadmin用戶身份完成以下各小節(jié)安裝。3.2.1 數(shù)據(jù)庫初始化配置文件l 創(chuàng)立文件 gpinitsystem_config 內(nèi)容如下：ARRAY_NAME="EMC Greenplum DW"SEG_PREFIX=gpsegPORT_BASE=40000declare -a DATA_DIRECTORY=(/data1/primary /data2/primary /data1/primary /data2/primary /d

40、ata1/primary /data2/primary /data1/primary /data2/primary)MASTER_HOSTNAME=mdwMASTER_DIRECTORY=/data1/masterMASTER_PORT=5432TRUSTED_SHELL=sshCHECK_POINT_SEGMENTS=8ENCODING=UNICODEMIRROR_PORT_BASE=50000REPLICATION_PORT_BASE=41000MIRROR_REPLICATION_PORT_BASE=51000declare -a MIRROR_DATA_DIRECTORY=(/data

41、1/mirror /data2/mirror /data1/mirror /data2/mirror /data1/mirror /data2/mirror /data1/mirror /data2/mirror)3.2.2 初始化數(shù)據(jù)庫l 執(zhí)行命令gpinitsystem -c ./gpinitsystem_config -h hosts-nodes所有數(shù)據(jù)節(jié)點(diǎn)主機(jī)名按提示操作。l 修改 /.bashrc 文件，增加一行：export MASTER_DATA_DIRECTORY=/data/master/gpseg-1l 退出系統(tǒng)并重新以gpadmin登陸3.2.3 建立冗余的Master節(jié)

42、點(diǎn)l 執(zhí)行命令gpinitstandby -s jxgpmaster02按提示操作。4 數(shù)據(jù)庫參數(shù)Greenplum數(shù)據(jù)庫參數(shù)影響系統(tǒng)的運(yùn)行的性能狀態(tài)，合理設(shè)置數(shù)據(jù)庫參數(shù)可讓系統(tǒng)運(yùn)行到達(dá)最優(yōu)狀態(tài)。在多數(shù)的數(shù)據(jù)庫系統(tǒng)中，都會(huì)有一個(gè)配置文件用以配置數(shù)據(jù)庫參數(shù)。在GPDB中，該配置文件即為postgresql.conf。4.1 數(shù)據(jù)庫參數(shù)設(shè)置Ø 初始化數(shù)據(jù)庫后，根據(jù)下表設(shè)置參數(shù)，但凡下表中沒有注明的參數(shù)一律使用默認(rèn)值，不得修改。Ø 調(diào)整方法：執(zhí)行命令 gpconfig -c 參數(shù)名 -v 參數(shù)值 -m Master節(jié)點(diǎn)值Ø 檢查方法：重啟數(shù)據(jù)庫后，執(zhí)行命令 gpconf

43、ig -s 參數(shù)名參數(shù)名參數(shù)值Master節(jié)點(diǎn)值gp_backup_directIOoffoffgp_backup_directIO_read_chunk_mb2020log_statementallallcheckpoint_segments3232max_connections1000400max_prepared_transactions400400gp_fts_probe_timeout600s600smax_fsm_pages320000320000max_fsm_relations1900019000max_stack_depth4MB4MBgp_workfile_compress

44、_algorithmzlibzlibmax_appendonly_tables5000050000gp_fts_probe_interval10min10mingp_external_max_segs1616gp_autostats_modeon_changeon_changegp_filerep_tcp_keepalives_count66gp_filerep_tcp_keepalives_interval45s45sgp_vmem_protect_limit3276832768gp_segment_connect_timeout10min10minwal_send_client_timeo

45、ut30s300sstatement_mem128MB128MBgp_enable_gpperfmononongpperfmon_port88888888gp_external_enable_execononlog_min_duration_statement3000030000statement_timeout00gp_interconnect_typeUDPIFCUDPIFCgp_analyze_relative_error0.750.75default_statistics_target554.2 調(diào)整連接控制參數(shù)修改文件 $MASTER_DATA_DIRECTORY/pg_hba.co

46、nf增加一行：host all alll 0/0 md55 Command center安裝Command center以下簡(jiǎn)稱CC是Greenplum數(shù)據(jù)庫的監(jiān)控工具，主要監(jiān)控系統(tǒng)CPU，內(nèi)存，磁盤IO等資源的使用及可進(jìn)行數(shù)據(jù)庫的根本維護(hù)操作，如數(shù)據(jù)庫啟停，實(shí)例恢復(fù)等。Command center包括前端功能界面及后臺(tái)收集數(shù)據(jù)庫。安裝后臺(tái)收集數(shù)據(jù)庫及收集代理步驟如下：步驟1：Greenplum通過gpperfmon_install工具安裝CC的后臺(tái)數(shù)據(jù)庫gpperfmon及CC超級(jí)用戶gpmongpperfmon_install -enable -password gpmon -port 5

47、432步驟2：重啟數(shù)據(jù)庫gpstop -r步驟3：執(zhí)行ps命令查看數(shù)據(jù)收集進(jìn)程是否處于運(yùn)行狀態(tài)ps -ef | grep gpmmon步驟4：運(yùn)行如下命令查看數(shù)據(jù)收集進(jìn)程往CC數(shù)據(jù)庫寫入收集信息。psql gpperfmon -c 'SELECT * FROM system_now;'步驟5：拷貝master數(shù)據(jù)管理節(jié)點(diǎn)的$MASTER_DATA_DIRECTORY/pg_hba.conf至Standby Master數(shù)據(jù)管理節(jié)點(diǎn)，覆蓋Standby Master的pg_hba.conf文件。步驟6：拷貝master數(shù)據(jù)管理節(jié)點(diǎn)的/.pgpass至Standby Master數(shù)

48、據(jù)管理節(jié)點(diǎn)，覆蓋Standby Master的.pgpass至文件。Ø 安裝CC前端功能界面如下：步驟1：解壓greenplum-cc-web--build-2-RHEL5-x86_64.zip并安裝/unzip greenplum-cc-web-versionx.x-PLATFORM.zip/bin/bash greenplum-cc-web-versionx.x-PLATFORM.bin步驟2：當(dāng)安裝程序提示“accept the license agreement，按“yes步驟3：當(dāng)安裝程序提示輸入安裝路徑“/usr/local/greenplum-cc-web-version時(shí)，輸入“ENTER步驟4：部署環(huán)境變量source /usr/local/greenplum-db/greenplum_path.shsource /usr/local/greenplum-cc-web-versionx.x/gpcc_path.s