存儲-storage

1、1 存儲產(chǎn)品類型介紹服務器:本地磁盤 存儲設備NFS: 安裝oracle :軟件位置,數(shù)據(jù)文件的位置 如何規(guī)劃?1.1 第一部分 EMC產(chǎn)品介紹1.1.1 EMC CLARiiON AX4RAID 級別RAID 1/0、RAID 3、RAID 5、RAID 6前端（主機）連接每個 AX4 具有一個或兩個存儲處理器 (SP)每個存儲處理器具有 1 GB 內(nèi)存光纖通道：二或四個 4 Gb/s光纖口iSCSI：兩個 1 Gb/s 以太網(wǎng)端口支持iSCSI協(xié)議后端（磁盤）連接能力每個存儲處理器都有一個 4x3 Gb/s SAS 擴展端口支持硬盤類型SATA、SASEMC 日立銀行: 日立mirror

2、g copy 3一塊硬盤上的磁頭是有限的, 內(nèi)存中找不到數(shù)據(jù),到磁盤中查找,引起磁盤爭用多塊盤一起使用,解決性能問題但是占用本地硬件資源如CPU,內(nèi)存資源,性能下降虛擬機:加硬盤實驗存儲: 使用存儲CPU 內(nèi)存來處理數(shù)據(jù) 降低服務器資源的占用CPU發(fā)出指令,真正讀寫數(shù)據(jù)不占用CPU不同的總線橋接:連接不同設備 南橋 à 北橋 現(xiàn)在南橋取消,直接走北橋,塊靠近CPU越近,處理越高緩存:協(xié)調(diào)不同步:內(nèi)存: 比硬盤速度快 CPU內(nèi)部緩存 當前正在處理的數(shù)據(jù)寫數(shù)據(jù):硬盤有緩沖區(qū), 先接數(shù)據(jù),后寫磁盤oracle在寫大量數(shù)據(jù)的時候,不夠用存儲: 大緩沖區(qū) ,Cpu ,每個硬盤上有緩存 ,提高性

3、能分組:raid ,比本地磁盤高了多少倍 存儲:一般達到2-3百/每秒raid有不同級別HAD卡: 兩根線連接存儲 ,讀,寫多口連接不同的服務器,分配不同的塊給不同的服務器使用有小操作系統(tǒng) : 控制器磁盤擴展柜:加箱,用lisence控制支持硬盤類型SATA 3-4T 30MB/S 容量大 -馬拉松 *SAS 側重 容量小 速度快 跑百米 一起跑 總線有限制1.1.2 EMC CLARiiON CX 系列高端 低端1.1.3 EMC CLARiiON AX4和CX4 系列參數(shù)對比LUN: 存儲邏輯單元主機與存儲存儲交換機連接iSCSI:tcpip網(wǎng)絡協(xié)議網(wǎng)絡交換機百兆：10M/S 千兆:100

4、MS 走IP網(wǎng)路連接存儲FC:光線1.1.4 EMC存儲產(chǎn)品常用軟件快照:還原記錄改變的數(shù)據(jù)塊克?。和耆粯?,使用時要注意 刪除新盤盤vg案例:公安部數(shù)據(jù)庫量大,低端存儲，后換較好存儲數(shù)據(jù)遷移1 操作系統(tǒng) ,拷貝 慢2 克隆,不經(jīng)外部設備 ,速度快,與原盤一樣3 一端時間,數(shù)據(jù)暴漲,磁盤空間不足4 加磁盤, 但到庫房找硬盤 ,磁盤頭不變5 新的數(shù)據(jù)全部干掉,oracle崩潰6 oracle數(shù)據(jù)庫修復 40多天 24小時 (oracle 1千多萬)鏡像:容災技術，一模一樣，同時寫，誤操作也會記錄同步：同時寫完成返回異步：本地寫完成 不等遠端寫完成 提高oracle寫性能SAN Copy存儲帶系

5、統(tǒng)之間可復制1.1.5 EMC EMC Celerra 統(tǒng)一存儲平臺1.2 第二部分IBM產(chǎn)品介紹1.2.1 IBM 銷售的三個核心產(chǎn)品 DS8000,XIV,DS5000光線:系列3000 5000 6000(高端) 8000(高端) 每種又有不同型號iops :每秒能產(chǎn)生多少IOIBM: DS8000 變態(tài)測試出業(yè)界最高的IOPS值1.2.2 IBM DS SAN磁盤系統(tǒng)產(chǎn)品線DS4700 DS6000 MINI 80001.2.3 IBM N 系列網(wǎng)絡磁盤系統(tǒng)產(chǎn)品線NAS 網(wǎng)絡文件系統(tǒng)tcpip : 不穩(wěn)定便宜,直接接入現(xiàn)有的tcpip網(wǎng)絡,針對性能要求不高的客戶1.3 第三部分HP產(chǎn)品

6、介紹1.3.1 HP SAN 光纖通道存儲產(chǎn)品線2.3.2 HP NAS存儲產(chǎn)品線入門級X500、X1000、X3000、中高端級4400、X5000、X90001.4 第四部分日立 HDS產(chǎn)品介紹1.4.1 應用領域國稅總局: 三期 5天上40套oracle影響:IBM操作系統(tǒng) ,日立的存儲AIX操作系統(tǒng)安裝軟件支持存儲 ,多路徑軟件 導致rac上 ,oracle自己的磁盤管理機制asmdisk DG 磁盤組 在使用時出問題,HDML 7.3B版本 解決方案 降低多路徑軟件的版本,日立-由存儲廠商寫的軟件oracle使用磁盤的機制跟其他廠商是不一樣的,磁盤不能有pvid 劃磁盤組1.4.2

7、系列低端EMC AX4 CX4-120、IBM DS3000、HP MSA2000 中端EMC CX4-240 480、IBM DS5000、HP EVA高端 還是不錯的EMC CX4-960、IBM DS8000、HP XP其他 :DELL：PC server 廠商: oem收購康貝鏈家地產(chǎn)：微碼升級出問題補丁oracle 次設備不用上2 存儲類型對比2.1 第一部分 網(wǎng)絡存儲技術看到的是磁盤2.1.1 傳統(tǒng)存儲技術2.1.2 網(wǎng)絡附加存儲技術 -什么是NAS NAS網(wǎng)絡附加存儲，即將存儲設備連接到現(xiàn)有的網(wǎng)絡上，提供數(shù)據(jù)和文件服務。NAS服務器一般由存儲硬件、操作系統(tǒng)以及其上的文件系統(tǒng)等幾個

8、部分組成。它基于TCP/IP協(xié)議實現(xiàn)文件級數(shù)據(jù)的存取服務。 NAS將存儲設備通過標準的網(wǎng)絡拓撲結構連接，可以無需服務器直接上網(wǎng)，不依賴通用的操作系統(tǒng)，而是采用一個面向用戶設計的、專門用于數(shù)據(jù)存儲的簡化操作系統(tǒng)，內(nèi)置了與網(wǎng)絡連接所需的協(xié)議，因此使整個系統(tǒng)的管理和設置較為簡單。NFSNAS網(wǎng)絡架構客戶: 能看到存儲空間,但不能使用原因: 共享IP,寫了自己的IP不建議使用NAS應用場合 主要面向高效的文件共享任務，適用于那些需要網(wǎng)絡進行大容量文件數(shù)據(jù)傳輸?shù)膱龊稀?以IBM為代表的業(yè)界各大存儲廠商紛紛推出NAS解決方案 性能高與本地磁盤比raid :保護數(shù)據(jù)NAS的缺點 在擁有以上優(yōu)點的同時 ，有些

9、致命的弱點： 1）只適用于較小網(wǎng)絡規(guī)?；蛘咻^低數(shù)據(jù)流量的網(wǎng)絡數(shù)據(jù)備份。因為NAS仍使用應用網(wǎng)絡進行備份和恢復，LAN除了處理正常的最終用戶傳輸流外，還必須處理包括備份的存儲磁盤請求。 2）投資成本較高（后期擴容成本高）而可靠度不高， 一般文件服務器沒有高可用配置，存在歸檔就是備份，不建議放歸檔數(shù)據(jù)庫：數(shù)據(jù)文件，改寫數(shù)據(jù)塊時在內(nèi)存中操作，寫磁盤時，網(wǎng)絡中斷，不能使用數(shù)據(jù)不一致：redo記錄數(shù)據(jù)塊的所有改變,實例啟動,自動找redo,是數(shù)據(jù)一致.redo 循環(huán)復用 也就是說只能找到最近的三個redo -非歸檔模式歸檔模式: 寫歸檔 比如缸 ,只要開歸檔,數(shù)據(jù)不能丟失,redo滿如出現(xiàn)中斷,自動關閉

10、,導致數(shù)據(jù)庫掛死redo默認多大?: 2.1.3 存儲區(qū)域網(wǎng)絡技術-什么是SAN ? SAN是英文Storage Area Network的縮寫，通常譯為“存儲區(qū)域網(wǎng)絡”，它是一種在服務器和外部存儲資源或獨立的存儲資源之間實現(xiàn)高速可靠訪問的專用網(wǎng)絡。 SAN 采用可擴展的網(wǎng)絡拓撲結構連接服務器和存儲設備，每個存儲設備不隸屬于任何一臺服務器，所有的存儲設備都可以在全部的網(wǎng)絡服務器之間作為對等資源共享。存儲交換機網(wǎng)絡交換機SAN網(wǎng)絡架構SAN存儲系統(tǒng)五大組成Server （服務器） Storage（存儲設備） SAN fabric（連接設備） 光線Software（管理軟件） 配置Service（

11、服務）SAN的特性 SAN更適合網(wǎng)絡關鍵任務的數(shù)據(jù)存儲，與其他存儲技術相比，SAN具有以下特性： （1）高可用性 （2）高性能 （3）便于擴展 （4）可實現(xiàn)高效備份 ( 5 ) 適合于海量數(shù)據(jù)、關鍵數(shù)據(jù)的存儲備份 /不需要走tcpip網(wǎng)絡（7）支持服務器的異構平臺 /windows linux aix注意事項:數(shù)據(jù)偏移量（8）支持集中管理和遠程管理（9）方案實施成本相對較高基本都在使用這種架構2.1.4 存儲區(qū)域網(wǎng)的應用領域1)數(shù)據(jù)共享： 由于存儲設備的中心化，大量的文 件服務器可以低成本的存取和共享信息，而同時也不會使系統(tǒng)性能有明顯的下降；2)存儲共享： 兩個或多個服務器可以共享一個存儲單元

12、，這個存儲單元在邏輯上可以被分成多個部分，而每個部分又連接在特定的服務器上；3)數(shù)據(jù)備份： 使用SAN，數(shù)據(jù)備份操作可以獨立于原來的網(wǎng)絡，對異構平臺服務器和多數(shù)據(jù)形式進行集中備份，從而能夠提高操作的性能和管理的集中；4)災難恢復： 使用SAN，可以采用多種手段實現(xiàn)數(shù)據(jù)的自動備份，而且這種備份是熱備份形式，也就是說，一旦數(shù)據(jù)出錯，立即可以獲得該數(shù)據(jù)的鏡像內(nèi)容。中旅客戶: 硬盤 3塊壞 數(shù)據(jù)文件與備份文件都在硬盤中數(shù)據(jù)庫文件備份不要放在同一個存儲當中.就一個存儲怎么辦?2.1.5 SAN的應用場合 SAN作為網(wǎng)絡存儲設施，旨在提供靈活、高性能和擴展的存儲環(huán)境，擅長在服務器和存儲設備之間傳輸大塊數(shù)據(jù)

13、。特別適于以下應用場合（1）對響應時間、可用性和可擴展性要求高的關鍵任務數(shù)據(jù)庫應用。 （2）對性能、數(shù)據(jù)完整性和可靠性要求高的集中存儲備份，以保證關鍵數(shù)據(jù)的安全，可極大地提高企業(yè)數(shù)據(jù)備份和恢復操作可靠性和可擴展性（3）海量存儲的應用環(huán)境。例如，圖書館、銀行、證券、中大型企業(yè)或組織的數(shù)據(jù)中心。 （4）支持服務器及其連接設備之間提供光纖通道高性能和擴展的距離。 硬盤壞保證數(shù)據(jù)不丟失:管理員:注意告警信息,如硬盤亮黃燈裝rac2.1.6 什么是iSCSI ？ 在Internet協(xié)議（IP）統(tǒng)治著局域網(wǎng)和廣域網(wǎng)的今天，數(shù)據(jù)存儲的需要也在日益增長。這兩股力量似乎不可避免地要匯聚在一點。Internet小

14、型機系統(tǒng)接口（iSCSI）協(xié)議整合了存儲和IP網(wǎng)絡，使通過IP網(wǎng)絡完成存儲數(shù)據(jù)塊的傳輸成為現(xiàn)實。它建立在兩個已被廣泛應用的技術之上 -為存儲而建立的SCSI命令和為網(wǎng)絡化而建立的IP協(xié)議。 iSCSI是一種端到端的協(xié)議，用于在IP網(wǎng)絡中傳輸存儲I/O數(shù)據(jù)塊。該協(xié)議被使用于服務器（initiator）、存儲設備（target）和協(xié)議傳輸網(wǎng)關設備。ISCSI使用標準的以太網(wǎng)交換機和路由器，將數(shù)據(jù)從服務器轉移到存儲設備。它還使得IP和以太網(wǎng)基礎設施可以被用于對SAN存儲系統(tǒng)的擴展訪問，跨過任意距離完成對SAN的擴展接入。存儲上不能創(chuàng)建文件系統(tǒng)應用方便靈活走IP網(wǎng)絡,性能差,不穩(wěn)定中冶: 國產(chǎn)路由交換

15、2.1.7 iSCSI產(chǎn)品從功能上可以分為3個類別： 起始端產(chǎn)品、連接件產(chǎn)品和目標端產(chǎn)品當本地磁盤使用不穩(wěn)定2.1.8 ISCSI 技術的優(yōu)缺點優(yōu)勢 1)連接距離更長，突破FC SAN目前10公里的局限 2)利用現(xiàn)有的TCP/IP基礎設施來構筑SAN，網(wǎng)絡部署成本相對較低 3)相對其他大多數(shù)協(xié)議而言：帶寬高，功能強（特別是遠程復制和災難恢復），可用性強不足 1)與其他存儲協(xié)議兼容性不好,例如FC SAN 融合不能解決 2)從廣域網(wǎng)角度說,速度仍不理想 3) 相關技術和產(chǎn)品正處于發(fā)展階段,用戶可以選擇的余地較小 容災:企業(yè)專線,獨享:DAS、NAS、SAN與ISCSI的性能特點比較3 硬盤2-7

16、張盤片碟片越多,故障越大每個品牌頭一個批次不能買MTBF：Mean Time Between Failure，平均無故障時間 優(yōu)先考慮scsi ：電信號與數(shù)據(jù)在一起并行: 總線發(fā)出信號,所有的都能收到綠盤:不建議購買企業(yè):硬盤成本多少錢1M4 RAID4.1 RAID基本概念4.2 RAID組合方式-4.3 raid出現(xiàn)原因4.4 條帶校驗每塊盤的大小要一致4.6 RAID基本概念-重建(rebiuld)RAID組狀態(tài)4.7 物理卷和邏輯卷4.8 RAID級別4.8.1 RAID 0讀寫速度快快小結:生產(chǎn)數(shù)據(jù)絕對不能使用raid 0,測試環(huán)境也不建議使用4.8.2

17、 RAID 1小結:讀4.8.3 RAID 2磁盤利用率太差4.8.4 RAID 3定義:橫向寫一旦有盤塊,發(fā)生計算即寫又讀 校驗盤始終繁忙使用數(shù)據(jù)空間n-1/n小結:4.8.5 RAID 4定義:縱向寫4.8.6 RAID 5數(shù)據(jù)與校驗平均分配小結:磁盤利用率n-1/n4.8.7 RAID 6做兩次校驗原理示例容忍兩塊硬盤損壞不能用: 計算兩次校驗,影響寫速度 一塊硬盤損壞,比raid5恢復更慢4.8.8 RAID 10定義:4.8.9 RAID 01n-2/n4.8.10 RAID級別比較oracle不建議使用熱備盤4.8.11 RAID 選擇RAID硬盤失效處理-熱備和熱插拔必須是相同類

18、型的硬盤才能替補oracle最優(yōu)使用級別:RAID 10 但是存儲中沒有存儲中選:RAID 1 次之raid 55 IBM存儲產(chǎn)品介紹5.1 IBM存儲業(yè)務概況5.1.2 業(yè)務概況Ø IBM在全球存儲市場一直比較穩(wěn)定地排在前3位Ø 整體解決方案供應商² 擁有完整的產(chǎn)品線，包括服務器、存儲、備份以及軟件等，并能提供較完善的服務² Tivoli是系統(tǒng)管理領域的領先者，軟件功能豐富Ø 銷售體系² 中低端的應用一般采用服務器與存儲的捆綁方案² 高端復雜的應用，比如大銀行等專業(yè)用戶，具體問題具體分析為何么講?1 低端產(chǎn)品不控制,自己配

19、置,如V7000,原廠沒有售后2 國內(nèi): 清華同方 北大方正被清華同方搞死3 運營商去IOE很漫長,短期不肯能4 oracle 一體機 測出業(yè)界最靠的值 rac 真正實時高可用 ,并發(fā),也可以部署其他應用 11g grid5 IBM 的都有自己的集群軟件,但差異大,掌握IBM + oracle6 首選IBM,其他不考慮5.1.3 七大組成部分5.1.4 IBM主要存儲產(chǎn)品系列1 DS3000已經(jīng)停產(chǎn),但還有在使用的,性能與現(xiàn)在比差距大2 磁盤容量小,只能支持146的硬盤,3 能接觸到DS3400,可構建光線存儲網(wǎng)絡,最適合oracle4 DS4700 性價比高,構建sun架構,已停產(chǎn)被DS50

20、20替代 企業(yè)使用較多5 DS4800 高端產(chǎn)品DS5100 53006 DS6000 miniDS48008 DS8000 不差錢企業(yè)使用9 XIV 收購以色列 ,大容量10 NAS系列11 中冶數(shù)據(jù)庫,備份導致數(shù)據(jù)庫宕機,原因,不備份 ,但開歸檔,數(shù)據(jù)庫重啟,數(shù)據(jù)庫起不來 磁盤空間滿,歸檔都放在磁盤上 , oracle裝在獨立的文件系統(tǒng)上 化工大學,把oracle裝在根 解決方案: 磁盤空間滿,歸檔不能隨便刪除,除非之前做了一次全備,才能刪除歸檔 找可用空間,把歸檔移走 改歸檔目錄(磁盤空間滿的情況不可行) 到客戶現(xiàn)場:查有空間,沒有mount 先做一份全備 刪除歸檔 做備份策略 備份腳本

21、12 磁盤庫: 多個磁帶機 ,驅動器 機械手 , 容易出現(xiàn)機械故障;解決大容量5.1.5 IBM存儲系統(tǒng)架構5.1.5 OEM合作關系1 IBM DSXXX是LSI2 中國質量認證中心 power 7 750 7.1 操作系統(tǒng) netapp oracle 9i裝不上 2.1 改操作系統(tǒng)版本 2.2 打tar包綠色版2.3 存儲: 多路徑軟件3 中免: 備份文件與數(shù)據(jù)文件放在同一存儲, 本地磁盤此否有空間? 空間不足,勉強能放一份 考慮其他存儲 中關村小NAS?找不到NFS,可共享 ,最后用的ftp 備份之后上傳到ftp ,刪除本地磁盤5.1.6 IBM存儲主要優(yōu)劣勢分析 1 DS8000 上千

22、萬 可做為贈品 ,中國銀行 ,大機, 上億5.2 IBM磁盤陣列產(chǎn)品介紹5.2.1 IBM存儲產(chǎn)品選擇5.2.2 IBM DS系列磁盤陣列家族圖5.2.3 DS3000系列介紹1 12塊硬盤 最大146 2 編號亂,不是自己的產(chǎn)品5.2.4 DS3000系列型號1 DS3400 推薦使用 與oracle結合5.2.5 DS3000系列擴展方式1 后控制器,機斗 A控 B控2 存儲都有電池,有大有小,避免內(nèi)存中數(shù)據(jù)丟失 ,主板芯片 ,小電容,存部分電3 3000 1個網(wǎng)口: 管理存儲,比如raid ,lun,有IP地址,存儲有管理軟件管理,cs架構;v7000沒有客戶端如那件 (ds4000 ,

23、兩個) 有瀏覽器,bs架構4 圓: 攢口5 HP1 光線兩個 連主機 交換機6 擴展口,連接擴展柜 兩種: 從上至下 ,從下至上5.2.6 DS3000系列高級特性及License5.2.7 管理軟件DS3000 Storage Manager支持10 但是找不到 基本RAID功能動態(tài)卷擴展（Dynamic Volume Expansion ，DVE)增加可用的容量到現(xiàn)有的邏輯硬盤（獨立于OS）/沒人用動態(tài)RAID級別遷移（Dynamic RAID Level Migration，DRM）改變陣列的RAID配置動態(tài)區(qū)塊尺寸遷移（Dynamic Segment Size Migr

24、ation ，DSS）改變數(shù)據(jù)條帶的尺寸大小高級軟件功能 軟件功能包軟件功能包License（Software Feature Pack）（需另外配置）使DS3300/DS3400支持4個分區(qū)規(guī)格支持4個FlashCopy的規(guī)格在配置1GB內(nèi)存升級及其它所有軟件功能前，必須先配置軟件特性包允許使用EXP3000進行擴展lisence高級軟件功能 存儲分區(qū)1 不控制,所有的都能看到2 控制: 只能看到自己的lun ,分區(qū),指定哪臺服務器可以看到,3 多臺主機夠成主機組,訪問共同存儲空間3 案例:國防大學sun emc 4 rac 沒有買足夠的lisence 所有服務器看都所有的盤,識別盤會出問題

25、4 建議購買lisence高級軟件功能 FlashCopy案例: 江蘇 刪除數(shù)據(jù)文件 服務器沒做備份 關機別動,保留現(xiàn)場 把每個盤dd 出來,再做操作內(nèi)蒙 : 數(shù)據(jù)庫啟動不起來,檢查一致性 ,抽數(shù)據(jù)高級軟件功能 VolumeCopy1 license,才能實現(xiàn)此功能5.2.8 DS4000系列介紹 發(fā)布時間 2005.6：DS4800（業(yè)界第一款4Gb FC控制器） 2006.2：EXP810擴展柜 2006.5：DS4700 Express 2006.8：DS4200 Express和EXP420擴展柜 產(chǎn)品來源 DS4800（OEM LSI 6998） DS4700（Model 70 OE

26、M LSI 3992，Model 72 OEM LSI 3994） DS4200（同樣OEM自LSI）：2008年12月31日起停產(chǎn)，替代產(chǎn)品為DS34005.2.9 DS4000產(chǎn)品型號5.2.10 DS4000系列詳細規(guī)格5.2.11 DS4700-72與DS4700-70的區(qū)別5.2.12 DS4800-82與DS4800-80的區(qū)別5.2.13 DS4200控制器模塊5.2.14 DS4700擴展方式打標簽5.2.15 DS4800擴展方式5.2.16 管理軟件DS4000 Storage Manager5.2.17 DS4000系列拷貝功能5.2.17 DS5000系列推理機頭5.2

27、.18 DS5300控制器模塊后視圖5.2.19 DS5020 Express5.2.20 DS6000/DS8000系列基于IBM服務器架構5.2.21 DS8000系列介紹業(yè)績評價并不高,不是專業(yè)的存儲控制器 ,老牛拉破車 570A B 集群 有鏡像 秒級切換IBM利用兩個強大的控制器實現(xiàn)了高端5.2.22 管理軟件 DS Storage Manager主要軟件功能5.3 IBM NAS產(chǎn)品介紹5.4 IBM虛擬磁帶庫產(chǎn)品介紹5.5 IBM SVC介紹5.5.1 SAN Volume Controller虛擬化管理平臺1 可讓所有存儲兼容2 pcserver 散熱差 溫度高 容易導致ora

28、cle崩潰6 IBM DS4700 磁盤陣列基礎培訓1 保證在規(guī)定時間內(nèi)換上電池2 如果沒有,馬上把控制器插回去3 DBA不要輕易去動IP溫度過高紅色: logctrol 選磁盤右鍵 2 raid14塊盤 raid10lun的序號順序 操作系統(tǒng)從小到大識別電信: DS5020跳號掃盤掃不到總后: linux rac v7000 加盤錯 號不連續(xù)cfgmgr v掃描查看磁盤與lun的對應關系fget_config Avmpio_get_config -AV共享ASM: hiskx none nonemknod :  解決盤符改變的問題 sun用7 HACMP5.x 培訓文檔7.1 什么

29、是高可用?最大的系統(tǒng)的可用性（正常工作時間）減少或者消除系統(tǒng)停機時間減少系統(tǒng)的計劃和非計劃停機時間消除系統(tǒng)的單點失敗高可用性是結合體 軟件、硬件、設計、應用、管理。7.2 可用性比較7.3 為什么要選擇高可用性§ 越來越多的應用需要7×24§ 許多應用是關鍵的核心§ 客戶忠誠度是最難獲得，并且容易失去§ 高可用性可以減少計劃的和非計劃的系統(tǒng)停機時間7.4 單點失敗7.5 計劃和非計劃停機§ 90的系統(tǒng)停機是計劃的。 備份、維護、升級、測試、業(yè)務擴展§ 10的系統(tǒng)停機是非計劃的。 用戶錯誤占90 應用錯誤 部件失敗 操作系統(tǒng)失

30、敗 環(huán)境因素POWER架構7.6 成功的高可用性系統(tǒng)需求§ 正確的計劃和設計§ 選擇合適的硬件設備§ 鏡像核心的數(shù)據(jù)§ 好的自動機制腳本§ 修訂合適的管理策略§ 建立文檔操作記錄§ 教育和培訓7.7 是與非§ 高可用系統(tǒng)提供所有硬件設備的容錯§ 系統(tǒng)大部分的停機時間跟硬件失敗相關§ 高可用系統(tǒng)無任何停機時間§ 高可用系統(tǒng)不需要很特殊的硬件設備§ 高可用系統(tǒng)只保護系統(tǒng)的非計劃停機HACMP是一個安裝即可使用的高可用性解決電信: rac 中間件Hacmp介紹必須升級不安裝必須有裝

31、包失敗:rac 檢測集群如那件,不讓裝oracle集群目錄結構升級cd patch cd ha5.4smitty installsmitty update_all升級完必須重啟服務器7.8 安裝hacmp5.4必須安裝:# lslpp -l | grep clvm bos.clvm.enh 6 COMMITTED Enhanced Concurrent Logical bos.clvm.enh COMMITTED Enhanced Concurrent Logical7.8.1 卸載hacmp5.4 smitty install - Software Mainte

32、nance and Utilities-Remove Installed Software7.8.2 創(chuàng)建目錄mkdir /patch7.8.3 上傳軟件/patchcd /patchls說明:ha5.4.tar 安裝包HA009.05.22 升級包7.8.4 解壓安裝包tar xvf ha5.4.tar/patch/ha5.4/installp/ppc查看是否有.toc 文件,如果沒有,生成inutoc .7.8.5 安裝smitty install -Install and Update Software - Install Software- INPUT device /

33、directory for software . /當前目錄SOFTWARE to install 選擇 cluster開頭的以下兩個不安裝:7.8.6 解壓升級包cd /patchunzip HA009.05.22.zipcd HA009.05.22查看是否有.toc 文件,如果沒有,生成inutoc .7.8.7 安裝升級包smitty updaate_all- INPUT device / directory for software . * SOFTWARE to update _update_allACCEPT new license agreements

34、? yes 7.8.8 升級完成后必須重新啟動服務器7.9 hacmp5.4配置2015年3月25日 星期三powerha6.17.1 幾乎沒人用7.10 hacmp概念§ Cluster 連接到一個公共ip網(wǎng)絡的2-16臺運行Hacmp的RS/6000主機的集合§ Node 在cluster中的每一個RS/6000主機§ Topology node、network、network adapter在ODM數(shù)據(jù)庫中的邏輯表達§ Resource 受Hacmp保護的邏輯實體，包括ip地址，文件系統(tǒng)，卷組，應用等§ Resource group 用于

35、系統(tǒng)保護的一組資源的集合§ Application server 受Hacmp控制的一組應用的啟動和停止腳本§ Reintegration 一個發(fā)生失敗的節(jié)點，網(wǎng)絡，網(wǎng)卡，重新加入cluster§ Global ODM 通過網(wǎng)絡，同步到cluster中的所有node的配置信息§ Synchronization 從cluster中單點升級global odm到所有節(jié)點的進程§ Event cluster中導致一個或者多個node的腳本執(zhí)行的某個狀態(tài)的改變1 資源:server proces 監(jiān)聽實例:內(nèi)存后臺進程*文件系統(tǒng)護國使醫(yī)院9-à

36、;11客戶端用老版本兼容性出問題指定IP ,客戶端不知道醫(yī)院軟件: 分發(fā)必開機狀態(tài)不可行周一: 所有工程師升級客戶端資源組:車釋放，啟停腳本集群重構任意節(jié)點配置，地位平等同步7.11 Hacmp的軟件構成§ Clstrmgr 檢測節(jié)點、網(wǎng)絡、網(wǎng)卡狀態(tài)并且在cluster狀態(tài)發(fā)生變化時初始化事件§ Clsmuxpd cluster的網(wǎng)絡狀態(tài)管理工具§ Clinfo cluster狀態(tài)信息接口§ Cllockd cluster并發(fā)訪問應用接口§ Event scripts cluster狀態(tài)發(fā)生改變時執(zhí)行的重新配置資源的命令。 可以手工為每個事件執(zhí)

37、行進程重新定義前事件和后事件。7.12 工具§ C-SPOC cluster single point of control 單點控制工具§ DARE dynamic reconfiguration 動態(tài)配置（拓撲、資源）§ TaskGuides 輔助建立共享卷組的圖形工具§ HaView netview的遠程cluster 監(jiān)控§ Clverify The cluster verification utility 軟件和配置檢測§ Clstat The cluster status utility 圖形化顯示cluster工具7.1

38、3 Hacmp處理的錯誤§ Hacmp僅處理三種類型的錯誤 1、節(jié)點失敗 2、網(wǎng)絡失敗 3、網(wǎng)卡失敗§ 其他的錯誤由AIX處理 1、硬盤失敗 2、硬盤控制器失敗 3、硬盤總線失敗 4、TCP/IP失敗 5、Hacmp失敗7.14 節(jié)點失敗接管§ 節(jié)點失敗時，資源組的接管有三種方式§ Cascading方式 資源的移動按照優(yōu)先級順序從高到低順序移動。重集成后資源會返回優(yōu)先級高的節(jié)點。資源默認在優(yōu)先級最高的節(jié)點執(zhí)行。§ Rotating方式 資源的移動按照節(jié)點序列的順序循環(huán)進行。如果沒有節(jié)點失敗或者是管理員資源遷移情況下，資源會保持在一個節(jié)點

39、67; Concurrent方式 所有的節(jié)點并發(fā)訪問數(shù)據(jù)，應用在所有節(jié)點上執(zhí)行，節(jié)點失敗不發(fā)生資源移動，但性能相對會下降。要求有l(wèi)ock manager鎖塊內(nèi)存間上數(shù)據(jù)塊傳輸7.15 Cascading 資源組自動回切: 人為回切調(diào)試期間不能自動回切，等確認完成后熱為回切7.16 資源組概念理解§ 一個cluster可以有20個以上的資源組。§ 每一個節(jié)點可以擁有一個或者多個資源組§ 你可以同時擁有三種不同種類的資源組§ 每一個資源組可以被一個或者多個節(jié)點共享§ 一個cluster的資源只能屬于一個資源組§ 配置多個資源組時應注意負載

40、均衡問題與不一樣,pv沒有,vg也就不純在了資源組可以是空的不同的資源組,定義不同的優(yōu)先級順序7.17 不適合使用Hacmp方案的情況§ 你的系統(tǒng)不能忍受任何時間的停頓 7×24小時不停 性命危機相關的系統(tǒng) 適合容錯需求的§ 你沒有一個安全的環(huán)境 許多用戶都要求以ROOT權利登錄 網(wǎng)絡安全毫無保障§ 你的環(huán)境會經(jīng)常發(fā)生變化 沒有好的管理變更制 缺少一個熟練的系統(tǒng)管理員 你的系統(tǒng)環(huán)境極其混亂HA:root維護不檢測oracl是否正常,保證運行環(huán)境,可以添加應用腳本,檢測oracle實例第三章 Hacmp需要考慮的問題存儲和網(wǎng)絡§ Hacmp對他控

41、制的網(wǎng)絡功能使用專用名詞§ Public網(wǎng)絡：支持hacmp和client網(wǎng)絡信息傳輸?shù)膖cp/ip網(wǎng)絡 § Private網(wǎng)絡：只傳輸hacmp信息的專用tcp/ip網(wǎng)絡 /集群內(nèi)部通信§ Serial網(wǎng)絡：用于傳輸hacmp信息drs232/tmscsi/tmssa網(wǎng)絡 /集群內(nèi)部信息§ Adapter：在Hacmp的odm定義中的tcp/ip和serial網(wǎng)絡接口§ Adapter ip label:在/etc/hosts中映射ip地址的名字解析 /主機名 別名 必須有§ Node name:cluster node名字，不要跟

42、hostname混淆 /節(jié)點名§ Network type：定義hacmp網(wǎng)絡物理介質類型（FDDI，ether) /tcpip § Adapter功能：service, ip 沒有網(wǎng)卡,不跟網(wǎng)卡綁定,可以飄,standby 備用網(wǎng)卡,boot 主網(wǎng)卡 /集群各節(jié)點通信有IP,§ Adapter硬件地址：局域網(wǎng)卡的本地管理地址1 service, ip 沒有網(wǎng)卡,不跟網(wǎng)卡綁定,可以飄, mac ,集群管理維護,也可人為指定,但不允許沖突standby 備用網(wǎng)卡,設置靜態(tài)IPboot 主網(wǎng)卡設置靜態(tài)IP2 網(wǎng)卡信息1 支持DNS解析: 總出問題,不穩(wěn)定,不建議使用2

43、 利用本機hosts文件,非常穩(wěn)定3 主service ip address標識為主機的hostname /說法有問題4 oracle識別 主機名不用 - , _ ,不支持大寫,包無效段名,有可能裝上 但會出問題Adapter swapping1 IP替換網(wǎng)絡失敗§ 對于網(wǎng)絡失敗，hacmp會發(fā)現(xiàn)一個network_down事件，并且執(zhí)行一個腳本§ 網(wǎng)絡失敗會記錄到hacmp日志文件，通常不做更多的處理§ 可以通過hacmp客戶化工具制定一個客戶化的網(wǎng)絡失敗動作§ 網(wǎng)絡失敗信息會被所有的cluster中node收到1 3-6分鐘servce ip1 9i

44、 rac 使用2 現(xiàn)在已經(jīng)不使用,采用別名方式,不是去替換7.18 集群配置總體步驟:1 安裝操作系統(tǒng)(設置主機名,ip地址)2 app-dev cde server openssh3 clvm4 update_all5 hosts iplable-ip地址規(guī)劃6 創(chuàng)建集群7 add cluster 添加集群8 add node 添加節(jié)點9 discover 抓取信息10 add network 添加網(wǎng)絡11 add interface 添加網(wǎng)絡接口12 resource 添加資源 (service ip)13 add resource group 添加資源組14 resource à

45、; resource group 把資源加到資源組15 veryfy 檢測配置是否有問題16 sync 將配置同步集群個節(jié)點17 start service 啟動集群服務18 test 測試19. 停止服務smitty hacmp20. 刪除集群*7.18.1 安裝操作系統(tǒng)(設置主機名,ip地址)7.18.2 app-dev cde server openssh /安裝bundle7.18.3 clvm7.18.4 update_all /升級系統(tǒng)7.18.5 hosts iplable-ip地址規(guī)劃06 aix206_boot1 aix20606 a

46、ix206_boot208 aix208_boot1 aix20808 aix208_boot2 8 srvipaix201 aix202規(guī)劃hosts:用什么樣的IP主流: 別名service ip orale 訪問aix201 /202測試201/2027.18.6 創(chuàng)建集群add cluster 添加集群#smitty hacmp Extended ConfigurationExtended Topology Configuration Configure an HACMP Cluster Add/Change/Show an

47、 HACMP ClusterF37.18.7 add node 添加節(jié)點smitty hacmp Extended Configuration Extended Topology Configuration Configure HACMP Nodes Add a Node to the HACMP Cluster7.18.8 discover 抓取信息smitty hacmp Extended Configuration Discover HACMP-related Information from Configured Nodes瞬間的返回,有問題查找 / node1 node27.18.9

48、 add network 添加網(wǎng)絡smitty hacmp Extended Configuration Extended Topology Configuration Configure HACMP Networks Add a Network to the HACMP Cluster改為NO 古老 替換IPYes 別名7.18.10 add interface 添加網(wǎng)絡接口smitty hacmp Extended Configuration Extended Topology Configuration Configure HACMP Communication Interfaces/Devices Add Communication Interfaces/Devices Add Discovered Communicat