控制器重啟引發(fā)機(jī)組跳閘事故案例.docx

控制器重啟引發(fā)機(jī)組跳閘事故案例; k+ |, k6 D6 s; e2.1 事件經(jīng)過(guò) R* Y4 A7 ?, P# x: U! u 2001年11月1日，A電廠4號(hào)機(jī)組停機(jī)前有功負(fù)荷270MW，無(wú)功96MVar，A、B勵(lì)磁調(diào)節(jié)器自動(dòng)并列運(yùn)行，手動(dòng)50Hz柜跟蹤備用。- a# | k1 & N/ d4 S 14時(shí)26分，事故音響發(fā)出，發(fā)電機(jī)出口開(kāi)關(guān)、勵(lì)磁開(kāi)關(guān)跳閘，調(diào)節(jié)器A柜退出運(yùn)行、調(diào)節(jié)器B柜退出運(yùn)行等報(bào)警信號(hào)發(fā)出，機(jī)組解列。對(duì)ECS控制系統(tǒng)檢查、試驗(yàn)，發(fā)現(xiàn)#14控制器發(fā)生故障已離線，與之冗余的34控制器發(fā)生重啟，更換了#14和34控制器主機(jī)板后，機(jī)組重新啟動(dòng)，不久，發(fā)變組與系統(tǒng)并列。- O ?; - + j5 h4 p7 & S2.2原因分析2 n: ; U1 Z 根據(jù)歷時(shí)數(shù)據(jù)分析，13時(shí)31分，#14控制器硬件故障而離線運(yùn)行，熱備用的#34控制器自動(dòng)由輔控切為主控。14時(shí)26分，#34控制器由于通訊阻塞引起WATCHDOG誤判斷，致使控制器重啟。由于控制器控制勵(lì)磁調(diào)節(jié)器的方式為長(zhǎng)信號(hào)，沒(méi)有斷點(diǎn)保護(hù)功能，#34控制器重啟后，不能自動(dòng)回到斷點(diǎn)前的狀態(tài)，導(dǎo)致A、B調(diào)節(jié)器自動(dòng)退出運(yùn)行，手動(dòng)50Hz柜自動(dòng)投入。由于發(fā)電機(jī)失磁，發(fā)電機(jī)端電壓下降，導(dǎo)致廠用電源電壓降低，手動(dòng)50Hz柜輸出電壓繼續(xù)降低，手動(dòng)50Hz柜投入后發(fā)電機(jī)沒(méi)有脫離失磁狀態(tài)，直至切除勵(lì)磁裝置，造成發(fā)電機(jī)失磁保護(hù)動(dòng)作，發(fā)電機(jī)出口開(kāi)關(guān)跳閘。: d+ Ts( , q8 O3 G; i8 i6 u# #14控制器和#34控制器控制發(fā)變組設(shè)備，包括廠用電切換的備自投繼電器接點(diǎn)BK，#34控制器重啟后，BK自動(dòng)復(fù)位，繼電器接點(diǎn)斷開(kāi)，BK投到退出位置，造成6KV電源開(kāi)關(guān)6410、6420開(kāi)關(guān)自投不成功。5 e. 2 O% v3 X4 I2.3防范措施, N) W1 G4 1 w3 R3 z1 S1 Y6 Mh3 U2.3.1將故障控制器更換。后來(lái)制造廠確認(rèn)這一批主板晶振存在問(wèn)題，同意免費(fèi)更換，利用停機(jī)機(jī)會(huì)更換4號(hào)機(jī)組所有控制器主板。, Y) L$ C8 J: 8 V- A9 o, T2.3.2增加任一控制器、I/O卡、通訊卡離線報(bào)警功能。( x5 x0 A- - p6 X& * q9 l2.3.3程序內(nèi)部WATCHDOG的時(shí)間設(shè)置太短，易造成誤判斷，對(duì)所有控制器進(jìn)行軟件升級(jí)。4 4 s6 FU* ?2.3.4調(diào)節(jié)器AQK、BQK方式開(kāi)關(guān)和廠用電備自投BK開(kāi)關(guān)組態(tài)圖增加斷點(diǎn)保護(hù)功能，防止控制器自啟動(dòng)后，勵(lì)磁調(diào)節(jié)器和廠用電自投開(kāi)關(guān)退出運(yùn)行。8 C* F9 t- J( O* J1 5 u$ G8 Z; s/ z! f$ N7 2.3.5檢查ECS系統(tǒng)的所有組態(tài)，對(duì)存在以上問(wèn)題的邏輯進(jìn)行修改。6 r& rH: S, z5 E d2.3.6聯(lián)系調(diào)節(jié)器廠家，使調(diào)節(jié)器內(nèi)部可以作到運(yùn)行狀態(tài)自保持，將控制器控制調(diào)節(jié)器的方式改為短脈沖信號(hào)控制。* x- O4 F l_- _# ur2.6.7在ECS內(nèi)增加手動(dòng)50Hz柜輸出電壓自動(dòng)跟蹤功能。9 V* : q1 S: Q0 I) P/ ! U三、案例二在線傳代碼致使機(jī)組解列4 1 n! p8 * D( 0 |3.1事件經(jīng)過(guò)0 6 G; $ D- T9 Y X# Y5 H 2002年7月12日，B電廠5機(jī)組監(jiān)盤(pán)人員發(fā)現(xiàn)機(jī)組負(fù)荷從552MW迅速下降，主汽壓力突升，汽輪機(jī)調(diào)門(mén)開(kāi)度，由原來(lái)的20%關(guān)閉到10%并繼續(xù)關(guān)閉，高調(diào)門(mén)繼續(xù)迅速關(guān)閉至0%，機(jī)組負(fù)荷降低至5MW，運(yùn)行人員被迫手動(dòng)緊急停爐，汽輪機(jī)跳閘，發(fā)電機(jī)解列。4 U 3 ( h9 u- _9 R 3.2原因分析& s/ n8 n( * F; DCS與汽輪機(jī)控制系統(tǒng)分別由兩家國(guó)外公司制造，兩系統(tǒng)差異較大，通訊問(wèn)題沒(méi)有很好地解決，存在一些難以消除的缺陷。熱控人員在DCS工程師站上向負(fù)責(zé)DCS與汽輪機(jī)控制系統(tǒng)通訊的PLC傳送通訊代碼時(shí)，DCS將汽輪機(jī)閥位限制由正常運(yùn)行中的120%修改為0.25%，造成汽機(jī)1、2、3號(hào)調(diào)門(mén)由20%關(guān)閉至0%，機(jī)組負(fù)荷由552MW迅速降至5MW。 j: B; e6 j/ 2 A* B/ C( 6 L3.3 防范措施5 R1 s/ : p: f; C7 & E& W: L3.3.1機(jī)組運(yùn)行期間，禁止DCS傳代碼工作。8 6 |2 q1 W9 k% X6 z3.3.2機(jī)組停運(yùn)期間，DCS傳代碼時(shí)，應(yīng)經(jīng)運(yùn)行班長(zhǎng)同意，并做好安全措施。, z9 R2 F* . X1 p4 j3 t2 I; m8 g3.3.2將DCS操作員站對(duì)汽輪機(jī)控制系統(tǒng)操作員站畫(huà)面進(jìn)行操作的功能閉鎖，但在DCS操作員站上仍能監(jiān)視到汽輪機(jī)控制系統(tǒng)的信息。# Z7 y7 t9 u% 9 Z1 # v2 V3 四、案例三 DCS工作站時(shí)鐘混亂引發(fā)DCS失靈: k& W7 n2 z% g$ W6 g) m4.1事件經(jīng)過(guò)：, 6 - 6 g: |& n: L) R2001年 8月3日，C電廠2號(hào)機(jī)組負(fù)荷200MW，#1至#9控制器處于控制方式，#51至#59控制器處于備用方式。8時(shí)23分，各控制器依次發(fā)NTP報(bào)警，歷史站報(bào)警窗口顯示如下：. 7 g& N2 L. K2 WAug 3 08：23：50 drop7 7 NTP：too many recvbufs allocated（30）d; 8 e. * |Aug 3 08：23：50 drop4 7 NTP：too many recvbufs allocated（30）8 Bj/ X9 X# q( % V& O0 ?- n7 g7 e0 a- u5 N/ c8 & u( N2 l5 G( V 8時(shí)26分，#2控制器脫網(wǎng)，#52控制器切為主控；11時(shí)05分，#52控制器脫網(wǎng)；13時(shí)39分，#7控制器脫網(wǎng)，#57控制器切為主控，在#7控制器向#57控制器切換瞬間，由該控制器控制的A、B磨煤機(jī)跳閘；15時(shí)11分，#9控制器脫網(wǎng)，#59控制器切為主控，在#9控制器向#59控制器切換瞬間，由該控制器控制的E磨煤機(jī)跳閘；15時(shí)51分，#1控制器脫網(wǎng)，#51控制器切為主控，在#1控制器向#51控制器切換瞬間，由該控制器控制的A引風(fēng)機(jī)動(dòng)葉被強(qiáng)制關(guān)閉。0 N7 F2 P6 7 L # a/ R1 fq 15時(shí)22分，重啟操作員站drop213（備用時(shí)鐘站），NTP報(bào)警未消失；15時(shí)35分，重啟歷史站，NTP報(bào)警未消失；15時(shí)59分，重啟工程師站（主時(shí)鐘站），NTP報(bào)警基本消失；16時(shí)09分，重啟歷史站，16時(shí)30分，系統(tǒng)恢復(fù)正常。8 n3 Dc& n8 |* Xr; E4.2原因分析- J& V2 A- c4 r: O1 U NTP軟件的作用就是維持網(wǎng)絡(luò)時(shí)鐘的統(tǒng)一，主時(shí)鐘設(shè)置在工程師站上，備用時(shí)鐘設(shè)置在操作員站上?？刂破髅摼W(wǎng)原因?yàn)橹鲿r(shí)鐘與備用時(shí)鐘不同步造成系統(tǒng)時(shí)鐘紊亂，從而造成NTP報(bào)警導(dǎo)致控制器脫網(wǎng)。, L o1 l9 S- y9 NTP故障的原因有兩種可能，一種是主頻為400MHz工作站，不同于1號(hào)機(jī)組的270MHz(SUN公司在400MHz工作站上對(duì)操作系統(tǒng)有較大改進(jìn))工作站，2號(hào)機(jī)組所用的1.1版本軟件在400MHz工作站上未測(cè)試過(guò)，不能確保1.1版本軟件在此配置上不出問(wèn)題。另一種是主時(shí)鐘與備用時(shí)鐘不同步，在8月3日控制器脫網(wǎng)后，曾發(fā)現(xiàn)Drop214的時(shí)鐘比其它站快了2秒, 當(dāng)時(shí)Drop214的畫(huà)面調(diào)用速度較慢，經(jīng)重啟后正常，并且NTP時(shí)鐘報(bào)警是在系統(tǒng)運(yùn)行73-75天左右才出現(xiàn)的，估計(jì)是系統(tǒng)時(shí)鐘偏差積累到一定程度后導(dǎo)致主、備時(shí)鐘不同步，而引起系統(tǒng)時(shí)鐘紊亂，最終導(dǎo)致控制器脫網(wǎng)。1 y7 8 a1 d; % 1 E NTP時(shí)鐘故障使控制器脫網(wǎng)，處理不及時(shí)會(huì)使報(bào)警的控制器依次脫網(wǎng)，從而導(dǎo)致整個(gè)控制系統(tǒng)癱瘓。. G) g! ! F- Z& ?4.3防范措施8 n- k0 E( l; x9 ; j4.3.1根據(jù)本次故障現(xiàn)象，制造商將軟件由1.1版本升級(jí)為1.2版本。& q% F+ Y M+ A1 H2 e# % N4.3.2為確?？刂葡到y(tǒng)可靠運(yùn)行，定期重啟主時(shí)鐘和備用時(shí)鐘站。$ l0 ; c! t9 J; E: Z4.4 D電廠5號(hào)機(jī)組在2002年試運(yùn)期間曾發(fā)生DCS時(shí)鐘與GPS時(shí)鐘不同步，引發(fā)DCS操作員站失靈事件。由于網(wǎng) 上傳送的數(shù)據(jù)均帶時(shí)間標(biāo)簽，時(shí)鐘紊亂后會(huì)給運(yùn)行機(jī)組帶來(lái)嚴(yán)重后果，基本情況與C電廠2號(hào)機(jī)組類似。采取的措施是暫時(shí)斷開(kāi)GPS時(shí)鐘，待軟件升級(jí)和問(wèn)題得到根本解決后，再恢復(fù)GPS時(shí)鐘。. W0 e! S I# A6 E0 j: H+ Z6 Q五、案例四 CABLETRON集線器總通訊板故障導(dǎo)致MFT誤動(dòng); A$ I6 ; v+ j# t; O; X# M! 5.1事件經(jīng)過(guò)& f0 e( K, ; T8 & V 2002年 1月1日，E電廠1號(hào)機(jī)組負(fù)荷250MW，#51至#59控制器處于控制方式，#1至#9控制器處于備用方式，A、B、C、E、F磨煤機(jī)運(yùn)行。18時(shí)57分，所有磨煤機(jī)跳閘（直吹爐），MFT動(dòng)作，機(jī)組跳閘。3 1 J6 n# |% I% a ! L o5.2原因分析5 ?, n, J; a4 K, m is+ s+ U8 D 經(jīng)分析，確認(rèn)是DCS集線器的總通訊板故障，導(dǎo)致連在其上的所有控制器同時(shí)發(fā)生切換，在控制器向備用控制器切換過(guò)程中，#57、#58、#59控制器PK鍵信號(hào)誤發(fā)（這三個(gè)控制器屬FSSS系統(tǒng)），即CRT上磨煤機(jī)跳閘按鈕的跳閘和確認(rèn)指令同時(shí)發(fā)出，使所有磨煤機(jī)跳閘，導(dǎo)致MFT動(dòng)作。 t/ 9 W8 D; e0 C C3 B7 h+ p5.3防范措施: E6 i* H6 I$ B- f3 T1 v7 e6 l* CABLETRON集線器屬于早期產(chǎn)品，目前在市場(chǎng)上購(gòu)買(mǎi)備件已比較困難，采用CISCO集線器來(lái)取代CABLETRON集線器。+ K; J6 p& i5 L六、案例五 冗余控制器失靈造成機(jī)組跳閘) W7 R7 K- o/ y7 H& n G% 9 D6.1事件經(jīng)過(guò)3 t; M+ z Qj5 W; Y 2003年3月23日，F(xiàn)電廠3機(jī)組停機(jī)前電負(fù)荷115MW，爐側(cè)主汽壓9.55MPa，主汽溫537，主給水調(diào)節(jié)門(mén)開(kāi)度43%，旁路給水調(diào)節(jié)門(mén)開(kāi)度47%（每一條給水管道均能滿足100%負(fù)荷的供水），汽包水位正常；其它各參數(shù)無(wú)異常變化。7 J8 3 d& N5 * 0 j1 i# p- ; x% A 監(jiān)盤(pán)人員發(fā)現(xiàn)鍋爐側(cè)部分參數(shù)顯示異常，各項(xiàng)操作均不能進(jìn)行，同時(shí)爐側(cè)CRT畫(huà)面顯示各項(xiàng)自動(dòng)已處于解除狀態(tài)。調(diào)自檢畫(huà)面發(fā)現(xiàn)#3控制器離線，#23控制器處于主控狀態(tài)。運(yùn)行人員立即聯(lián)系熱工人員處理，同時(shí)借助汽機(jī)側(cè)CRT畫(huà)面監(jiān)視主汽壓、主汽溫，并對(duì)汽包電接點(diǎn)水位計(jì)和水位TV加強(qiáng)監(jiān)視，主汽壓在9.09.6MPa波動(dòng)、主汽溫在510540波動(dòng)、汽包水位在+75-50mm波動(dòng)，維持運(yùn)行。- AH2 W% l1 z4 A3 G3 Y 幾分鐘后，熱工人員趕到現(xiàn)場(chǎng)，發(fā)現(xiàn)#3控制器離線、#23控制器為主控狀態(tài)，但#23控制器主控下的I/O點(diǎn)（汽包水位、主汽溫、主汽壓、給水壓力、等）均為壞點(diǎn)，自動(dòng)控制手操失靈。經(jīng)過(guò)多次重啟，#3控制器恢復(fù)升為主控狀態(tài)。在釋放強(qiáng)制的I/O點(diǎn)時(shí)，監(jiān)盤(pán)人員發(fā)現(xiàn)汽包水位急劇下降，就地檢查發(fā)現(xiàn)旁路給水調(diào)節(jié)門(mén)在關(guān)閉狀態(tài)，手動(dòng)搖起三次均自動(dòng)關(guān)閉，汽包水位TV和顯示表監(jiān)視不到水位，手動(dòng)停爐、停機(jī)。7 p+ t1 w7 - o1 3 D o5 s6.2原因分析# T) l+ W1 M, A; j2 ; c; R 根據(jù)能追憶到的歷史記錄分析，可以推斷#3控制器（主控）故障前，#23控制器（輔控）因硬件故障或通訊阻塞，已經(jīng)同I/O總線失去了通訊。當(dāng)#3控制器因主機(jī)卡故障離線后，#23控制器升為主控，但無(wú)法讀取I/O數(shù)據(jù)，造成參與汽水系統(tǒng)控制的一對(duì)冗余控制器同時(shí)失靈，給水自動(dòng)控制系統(tǒng)失控，汽包水位保護(hù)失靈。在新更換的3控制器重啟成功后釋放強(qiáng)制點(diǎn)的過(guò)程中，DCS將旁路給水調(diào)節(jié)門(mén)指令置零（邏輯如此設(shè)計(jì)是為了在控制器故障時(shí)，運(yùn)行機(jī)組向更安全的方向發(fā)展），關(guān)閉旁路調(diào)節(jié)門(mén)。而旁路調(diào)節(jié)門(mén)為老型號(hào)的閥門(mén)，相當(dāng)于解除了自保持的電動(dòng)門(mén)（接受脈沖量信號(hào)），切手動(dòng)時(shí)不能做到電氣脫扣，因此，緊急情況下不能順利打開(kāi)，造成汽包缺水。2 Y! % a; Z: l+ N/ 8 P6.3防范措施5 d6 o G5 w1 t* L6.3.1更換#3、#23控制器主機(jī)板，同時(shí)考慮增加主機(jī)板的備品儲(chǔ)備。3 J5 s T- H$ j$ O# I6 J/ K* x6.3.2增加通訊卡，使控制器與I/O卡之間的通訊為冗余的。& t# 5 m5 H; O* f2 Z) |! i; ?6.3.3對(duì)所有控制器、I/O卡、BC卡的通訊進(jìn)行監(jiān)測(cè)，增加脫網(wǎng)邏輯判斷功能，生成報(bào)警點(diǎn)并進(jìn)行歷史記錄。一旦控制器工作異常，可及時(shí)報(bào)警并處理。9 m- h- & ; O! c) w6.3.4增加控制器超溫報(bào)警功能，在控制器出現(xiàn)故障之前可以采取措施，將事故消滅在萌芽之中。( ?3 s q3 e0 j6.3.5汽包水位等重要調(diào)節(jié)、保護(hù)系統(tǒng)的輸入信號(hào)，一般應(yīng)為三路相互獨(dú)立的信號(hào)，通過(guò)分流器將這三路信號(hào)變成六路信