江蘇分行js20fw0b-a2防火墻case處理報告

1、CASE 處理1索引信息2故障描述江蘇省工行的Node NodeAlias事件單狀態(tài)告警信息如下：事件摘要 首次發(fā)生時間事件類型名稱 Count 故障級別 SD最后發(fā)生時間108.1.116.4 JS20FW0A-A2 %system-critical-00015: Peer device 7083008he VirtualSecurity Device group 0 changed se from init to primary backup. 12-2-2 16:11:21 12-2-2 16:11:21 設(shè)備類事件 1 六級事件108.1.116.5 JS20FW0B-A2 系統(tǒng)進入N

2、SRP Primary Backup 狀態(tài) 12-2-2 16:11:21 12-2-216:11:21 設(shè)備類事件 1 六級事件108.1.115.225 JS28RO01-C1名 CPE_backbone.txt掛住 6 分鐘超過11-11-21 1:23:06 12-2-2 16:11:20 其它類事件 13359 六級事件108.1.116.5 JS20FW0B-A2 %system-critical-00015: NSRP: HA control channel change to ethernet3/1. 12-2-2 16:11:19 12-2-2 16:11:19 設(shè)備類事件

3、1 六級事件108.1.116.5 JS20FW0B-A2 %system-critical-00015: Peer device 7086208 was discovered.12-2-2 16:11:19 12-2-2 16:11:19 設(shè)備類事件 1 六級事件108.1.116.5 JS20FW0B-A2 %system-critical-00015: Peer device 7086208he VirtualSecurity Device group 0 changed se from undefined to master. 12-2-2 16:11:19 12-2-216:11:1

4、9 設(shè)備類事件 1 六級事件108.1.116.5 JS20FW0B-A2 %system-critical-00015: NSRP: HA dhannel change toethernet3/1. 12-2-2 16:11:19 12-2-2 16:11:19 設(shè)備類事件 1 六級事件108.1.116.5 JS20FW0B-A2 %system-critical-00015: NSRP: HA dhannel change toethernet3/2. 12-2-2 16:11:19 12-2-2 16:11:19 設(shè)備類事件 1 六級事件108.1.116.5 JS20FW0B-A2

5、%system-notification-00625: Ses(id * src-ip * dst-ip * dst port*) route is invalid 12-2-2 16:11:19 12-2-2 16:11:19 設(shè)備類事件 47 六級事件108.1.116.4 JS20FW0A-A2 %system-critical-00015: Peer device 7083008 was discovered. 12-2-2 16:11:17 12-2-2 16:11:17 設(shè)備類事件 1 六級事件日期2012-2-2類別網(wǎng)絡(luò)類CASE1011處理工程師客戶名稱江蘇省工行客戶產(chǎn)品序列號

6、0079062008000325產(chǎn)品型號JUNIPER ISG 2000CASE 關(guān)鍵字CASE 特點：異常重啟；故障類型：故障；解決辦法：此故障屬于的 BUG，建議將版本升級至 6.2r8；108.1.116.4 JS20FW0A-A2 %system-critical-00015: Peer device 7083008he VirtualSecurity Device group 0 changed se from undefined to init. 12-2-2 16:11:17 12-2-2 16:11:17設(shè)備類事件 1 六級事件108.1.116.4 JS20FW0A-A2 %

7、system-critical-00015: NSRP: HA dhannel change toethernet3/1. 12-2-2 16:11:15 12-2-2 16:11:15 設(shè)備類事件 1 六級事件108.1.116.4 JS20FW0A-A2 %system-critical-00015: NSRP: HA control channel change to ethernet3/1. 12-2-2 16:11:15 12-2-2 16:11:15 設(shè)備類事件 1 六級事件108.1.116.5 JS20FW0B-A2 設(shè)備 108.1.116.5備類事件 1 六級事件不通 12

8、-2-2 16:11:15 12-2-2 16:11:15 設(shè)108.1.116.4 JS20FW0A-A2 %system-critical-00015: NSRP: HA dhannel change toethernet3/2. 12-2-2 16:11:15 12-2-2 16:11:15 設(shè)備類事件 1 六級事件108.1.115.220 NCJS1事件 1044 六級事件第一臺的配置抓取異常 12-1-25 14:30:32 12-2-2 16:10:32 其它類108.1.116.4 JS20FW0A-A2 端口物理狀態(tài)改變 12-2-2 16:08:50 12-2-2 16:0

9、8:50 局域網(wǎng)端口類事件 1 六級事件108.1.116.4 JS20FW0A-A2 %system-critical-00015: NSRP: HA dhannel change to NULL.(disconnected). 12-2-2 16:08:50 12-2-2 16:08:50 設(shè)備類事件 1 六級事件108.1.116.4 JS20FW0A-A2 端口物理狀態(tài)改變 12-2-2 16:08:50 12-2-2 16:08:50 局域網(wǎng)端口類事件 1 六級事件108.1.116.4 JS20FW0A-A2 %system-critical-00015: Peer device

10、7083008 disappeared. 12-2-2 16:08:50 12-2-2 16:08:50 設(shè)備類事件 1 六級事件108.1.116.4 JS20FW0A-A2 %system-critical-00015: NSRP: HA control channel change to NULL.(disconnected). 12-2-2 16:08:50 12-2-2 16:08:50 設(shè)備類事件 1 六級事件 108.1.116.4 JS20FW0A-A2 %system-critical-00015: NSRP: HA control channel change toethe

11、rnet3/2. 12-2-2 16:08:50 12-2-2 16:08:50 設(shè)備類事件 1 六級事件2012 年 2 月 2 日 16:08 至 16:11 江蘇省工行系統(tǒng)到 JS20FW0A-A2 的 G3/1 端口的物理狀態(tài)發(fā)生了切換，且在這個時間段內(nèi) JS20FW0B-A2 無法通。經(jīng)過登陸JS20FW0B-A2后，發(fā)現(xiàn)該發(fā)生了一次重啟，重啟后相關(guān)的運行狀態(tài)都是正常的。2012 年 2 月 2 日 16:08 至 16:11 JS20FW0A-A2 的 LOG 信息如下：2012-02-02 16:11:15 system notif 00513 The physical se o

12、ferfaceethernet3/2 has changed to Up.2012-02-02 16:11:14 system notif 00513 The physical se oferfaceethernet3/1 has changed to Up.2012-02-02 16:08:50 system notif 00513 The physical se oferfaceethernet3/2 has changed to Down.2012-02-02 16:08:50 system notif 00513 The physical se oferfaceethernet3/1

13、has changed to Down.3過程分析此故障發(fā)生后，已向 juniper 廠商開 CASE 處理， JUNIPER CASE 號： Case#2012-0203-0168automatically restart.ICBC China JiangSu ISG2000. In HA mode. The backup FW經(jīng) Juniper TAC 中心分析此次故障原因主要由 6.2r5.0 的的bug 導致的，此 BUG號為 526243，此 BUG 可將版本升級至 6.2r8 即可解決。526243-The device rebooted unexpectedly due to C

14、PU deadlock.BUG 526243 設(shè)備的意外重啟主要由 CPU 鎖死導致。Root-Cause-ysis:The root cause is we meet the following dead lock.taskflowlock(ifdip)lock(dipset)try to lock(dipset)try to lock (ifdip)= dead lock.JUNIPER ISG2000有兩個CPU 組成，一塊是 TASK CPU，另一塊是 FLOWCPU。由于 JS20FW0B-A2 上配置有大量的DIP（NAT 地址池），正常情況下當調(diào)用 DIP （NAT 地址池）里的

15、 IP 地址時，會按照從低到高先后順序依次調(diào)用，前面已經(jīng)使用過的 IP，后續(xù)不會再重復調(diào)用。但基于 6.2r5.0 或者更老的版本不能很好的處理這一調(diào)用準備有新的 NAT 調(diào)用地址池 IP 時，有時偶爾會調(diào)用前面還沒有的 IP，算法，當這種情況就有可能導致兩個CPU 在爭相處理這一算法時，行成一個死循環(huán)，最終被鎖死。以上英文圖解可以說明此例。4結(jié)論與解決方法JS20FW0B-A2 當前使用的是 6.2r5.0 的版本，建議將升級至 6.2r8.0 即可解決。5附件：JUNIPER TAC 郵件內(nèi)容A Note has been logged to your Case #2012-0203-01

16、68Synopsis: ICBC China JiangSu ISG2000. In HA mode. The backup FW automatically restartCustomer Tracking:You may view or edit case 2012-0203-0168 online at:02/06/12 19:40:39 hi,our developer confirmed this crash is caused by PR 526243. which isfixed in 6.2r8 release.* 526243-The device rebooted unexpectedly due to CPU deadlock.Root-Cause-ysis:The root cause is we meet the following dead lock.tasklock(ifdip)try to lock(dipset)flowlock(dipset) try to lock (ifdip)= dead lock.since this crash is addre