RAC集群搭建ASM和私網(wǎng)網(wǎng)卡問題分析

1、 RAC集群搭建ASM和私網(wǎng)網(wǎng)卡問題分析 一、項(xiàng)目背景此項(xiàng)目所有主機(jī)資源、網(wǎng)絡(luò)環(huán)境、存儲(chǔ)資源都是由XX方提供，都是在云上資源的劃分，本文分析XX方一系列問題導(dǎo)致搭建集群失敗，后續(xù)經(jīng)過調(diào)整，集群成功搭建的過程。在搭建前的準(zhǔn)備和搭建中一共遇到了兩個(gè)很重要的問題，在此分享給大家，以后如果有需要搭建集群環(huán)境的項(xiàng)目應(yīng)該注意。單塊ASM磁盤不能超過2T大小，即裸LUN的分配要注意不超過2T私網(wǎng)網(wǎng)卡在虛機(jī)上配置不要加地址綁定限制和HAIP的相關(guān)問題二、ASM磁盤的BUG剛到項(xiàng)目，進(jìn)行環(huán)境檢查時(shí)發(fā)現(xiàn)兩個(gè)節(jié)點(diǎn)掛載的是一塊15T的裸LUN，就想到了去年搭建某市教育云時(shí)遇到的ASM磁盤組的BUG，這些細(xì)節(jié)地方確實(shí)前

2、期很容易被忽視。早期的集群是通過各存儲(chǔ)廠家的存儲(chǔ)技術(shù)實(shí)現(xiàn)的，直到10G之后，oracle公司研究出ASM磁盤的技術(shù)，將集群技術(shù)進(jìn)行統(tǒng)一。ASM是一個(gè)卷管理器，Oracle數(shù)據(jù)庫文件的一個(gè)文件系統(tǒng)，ASM支持單實(shí)例和集群配置，它是oracle推薦的存儲(chǔ)方案，為傳統(tǒng)卷管理器，文件系統(tǒng)，裸設(shè)備提供一個(gè)選擇。2.1 每塊ASM磁盤不大于2TASM磁盤有一定限制：?jiǎn)螇KASM的磁盤不能大于2T，不然創(chuàng)建磁盤組就會(huì)報(bào)錯(cuò)ORA-15196 WITH ASM DISKS LARGER THAN 2TB。聯(lián)系XX云平臺(tái)的相關(guān)人員進(jìn)行處理，其反饋了兩個(gè)問題：- 15T裸LUN得重新劃分需要先將其格式化，15T大小的

3、磁盤格式化時(shí)間大約8個(gè)小時(shí)；- 15T的裸LUN要?jiǎng)澐殖擅繅K盤不大于2T，至少需要7個(gè)LUN來進(jìn)行劃分，但是目前的云平臺(tái)是不支持劃分這么多數(shù)量的，無法保證云平臺(tái)的穩(wěn)定。由于ASM磁盤的限制問題，和XX方表示，LUN的重新劃分必須要進(jìn)行，后進(jìn)行溝通，按照我們提出的需求XX方進(jìn)行處理，但是由于前期對(duì)資源沒溝通到位，確實(shí)對(duì)項(xiàng)目的推進(jìn)效率造成了一定的影響。2.2 ASM - Scalability and Limits參考MOS文檔：文檔 ID 370921.1ASM磁盤共有如下一些限制：1、 63 disk groups in a storage system代表一個(gè)存儲(chǔ)系統(tǒng)最多只能有63各磁盤組，

4、但是一般我們只需要3到四個(gè)磁盤組即可：CRS、ARCH、DATA。2、 10,000 ASM disks in a storage system代表一個(gè)存儲(chǔ)系統(tǒng)最多1萬個(gè)ASM盤文件，假設(shè)我們單塊磁盤2T，那我們有2*10000=2萬T的空間，這已經(jīng)很大了，綽綽有余。3、 2 terabyte maximum storage for each ASM disk即上文提到的每個(gè)ASM磁盤不超過2T，代表我們?cè)趻炻鉒UN的時(shí)候，單個(gè)lUN要注意大小。4、 1 million files for each disk group代表每個(gè)磁盤組最多100萬個(gè)文件5、 2.4 terabyte maxim

5、um storage for each file每個(gè)文件的最大存儲(chǔ)容量2.4T,參考一下即可，我們單塊磁盤都不超過2T，沒意義的限制。當(dāng)然，以上限制到12.1版本之后有所更改，比如只能有63個(gè)磁盤組增加到511個(gè)，2T磁盤限制也有所修改，具體可以參考文檔 ID 370921.1。三、私網(wǎng)網(wǎng)卡相關(guān)問題在安裝Grid集群時(shí)候，有一步要在兩個(gè)節(jié)點(diǎn)分別執(zhí)行root.sh，類似的操作如果有安裝過數(shù)據(jù)庫的小伙伴也應(yīng)該有經(jīng)歷過。那在Grid安裝的這一步會(huì)出現(xiàn)各種莫名奇妙的問題，這個(gè)時(shí)候就需要有查看日志進(jìn)行解決的能力了。、3.1 私網(wǎng)網(wǎng)卡上綁定的HAIP無法通信在一節(jié)點(diǎn)上執(zhí)行root.sh成功后，在二節(jié)點(diǎn)執(zhí)行

6、root.sh時(shí)報(bào)錯(cuò)，截取了oraagent_grid.log一段最初的報(bào)錯(cuò)信息，除此之后沒有其他的報(bào)錯(cuò)信息：截取的這一段日志比較重要，可以看到第一行開始InstAgent，然后進(jìn)行clsdmc_respget檢查（對(duì)此我的理解是兩個(gè)節(jié)點(diǎn)上私網(wǎng)網(wǎng)卡綁定的HAIP進(jìn)行通信檢查），可以看出多次通信未成功，然后報(bào)錯(cuò)ORA-03113: end-of-file on communication channel，直接把和ASM信息的數(shù)據(jù)庫斷開，然后開始清除InstAgent的信息，至此節(jié)點(diǎn)2執(zhí)行root.sh失敗，意味著集群搭建失敗。對(duì)于這個(gè)錯(cuò)誤我的初步判斷是XX分配的私網(wǎng)網(wǎng)卡有問題。和XX方負(fù)責(zé)人溝通

7、后，并未得到想要的答案，其表示正常的私網(wǎng)網(wǎng)卡，使用沒有問題。沒辦法，只能去找確鑿的證據(jù)，來告訴XX方其私網(wǎng)網(wǎng)卡確實(shí)有問題。經(jīng)過一天的排查下來，最終在MOS文檔上Doc ID 1383737.1找到證據(jù)。3.1.1 Symptoms如果這個(gè)問題出現(xiàn)在安裝Grid Infrastructure執(zhí)行root.sh腳本時(shí)，表現(xiàn)出以下癥狀：-root script screen output$GRID_HOME/cfgtoollogs/crsconfig/rootcrs_.logFor 12.1.0.2, the root.sh on the 2nd node could report:可以看出我們正好

8、符合癥狀1，執(zhí)行root.sh腳本出現(xiàn)ORA-03113: end-of-file on communication channel錯(cuò)誤。3.1.2 Details*case 1:link local IP (169.254.x.x) is being used by other adapter/network *169.254.X.X這個(gè)IP時(shí)執(zhí)行root.sh腳本時(shí)候，會(huì)自動(dòng)綁定一個(gè)HAIP的信息到私網(wǎng)網(wǎng)卡上，如果這個(gè)IP正好被其他設(shè)備占用，那當(dāng)然會(huì)綁定失敗，最簡(jiǎn)單的檢查辦法是通過ifconfig -a進(jìn)行檢查是否存在169.254.X.X相關(guān)信息。Case2: firewall exis

9、ts between nodes on private network (iptables etc)兩節(jié)點(diǎn)之間的private network之間存在防火墻等問題，比如iptables,ipmon等等。HAIP is up on some nodes but not on allHAIP只在一個(gè)節(jié)點(diǎn)上綁定了，但是并不是所有節(jié)點(diǎn)都綁定了HAIP，在兩個(gè)節(jié)點(diǎn)都進(jìn)行ifconfig檢查，就會(huì)發(fā)現(xiàn)eth1網(wǎng)卡（私有網(wǎng)卡）下面多了一個(gè)169.254.X.X格式的HAIPCase4: HAIP is up on all nodes but some do not have route info雖然所有節(jié)點(diǎn)

10、上都有HAIP的信息，但是路由表上沒有相關(guān)信息。檢查路由表，發(fā)現(xiàn)兩個(gè)節(jié)點(diǎn)都是有對(duì)應(yīng)的路由信息，應(yīng)該也不是這個(gè)問題Case5. HAIP is up on all nodes and route info is presented but HAIP is not pingable雖然HAIP在每個(gè)節(jié)點(diǎn)上都有綁定，而且路由表上也有對(duì)應(yīng)IP信息，但是無法ping通。在項(xiàng)目現(xiàn)場(chǎng)，用兩個(gè)16.254.X.X的IP進(jìn)行互相ping，發(fā)現(xiàn)兩個(gè)IP無法ping通，于是將此問題和XX方溝通，告知其肯定是私網(wǎng)的問題，希望其進(jìn)行排查，最終XX方給了回復(fù)，確實(shí)是私網(wǎng)出現(xiàn)了問題。由于拿出了十足的證據(jù)告訴XX方確實(shí)是他們

11、方面出現(xiàn)了問題，所以后面問題的解決也比較快。這兒告訴XX方問題確實(shí)出現(xiàn)了eth1這個(gè)網(wǎng)卡上。原來XX方面做了對(duì)應(yīng)網(wǎng)卡的地址綁定，每塊網(wǎng)卡寫死IP就只有對(duì)應(yīng)IP能通信，坑.3.2 root.sh Fails to Start HAIP as Default Gateway is Configured for Private Network VLAN參考文檔 ID 1366211.1在XX方將對(duì)應(yīng)地址綁定配置修改掉后，重新搭建集群，每次重新搭建集群就得將所有文件刪掉，將存儲(chǔ)dd清空，非常麻煩。本以為這次應(yīng)該可以大功告成了，沒想到跑一節(jié)點(diǎn)的root.sh就直接報(bào)錯(cuò)，真是尷尬和煩！報(bào)錯(cuò)信息：這次有了私網(wǎng)的經(jīng)驗(yàn)，直接檢查HAIP，發(fā)現(xiàn)根本沒有綁定HAIP，于是直接將情況和XX方進(jìn)行溝通，XX方應(yīng)該也意識(shí)到時(shí)自己的問題，這次對(duì)方配合很迅速。告知XX方，eth1網(wǎng)卡無法綁定IP信息原來問題是由于他們CAS配置只改了一半，沒改完全，導(dǎo)致無法綁定IP信息，真是坑.四、總結(jié)還好，最后將集群搭建的事宜圓滿完成了。簡(jiǎn)單總結(jié)下吧：1.ASM磁盤不能大于2T在項(xiàng)目上以后很常見吧，現(xiàn)在存儲(chǔ)空間都很大，動(dòng)輒就是申請(qǐng)15T的資源，那么前期溝通，應(yīng)該就要知曉裸LUN不能大于2