Linux死機(jī)問題分析定位

1、一、現(xiàn)象初步判斷：1、判定是否死機(jī)：首先需要確定是否真正的死機(jī)了，而往往有些現(xiàn)象被現(xiàn)場(chǎng)誤認(rèn)為是死機(jī)了。是否死機(jī)的確定方法有如下：a、對(duì)于直接死掉的，沒有任何反應(yīng)的情況下，看看鍵盤輸入是否有效，putty是否能夠登 陸，bmc是否能夠登錄；通過last reboot確認(rèn)是否死機(jī)？死機(jī)的時(shí)間？# last rebootrebootsystem boot 27-de tue sep 13 09:43(14+06:14)rebootsystem boot 20.7de fri sep 9 07:46(4+01:54)wtrop begins fri sep 9 07:4

2、6:42 2011c通過在messages屮對(duì)應(yīng)的時(shí)間點(diǎn)看是否有imklog啟動(dòng)的日志？并在這個(gè)時(shí)i'可點(diǎn)前是否收到關(guān)機(jī)信號(hào)或者異常打??？20丄1卩§27丁68:50:0 962299+00:00 啰 vyftpd: tue sep 27 0858:06 201 丄pid 30095 ftploguseir ok login: client 492丄68丄6丄 5l 20丄丄10927丁丄0:47注< 445丄8800:00 他 kernel: imklog 45771og source = /proc/kasg started.d、通過在boot.msg屮對(duì)應(yīng)吋間點(diǎn)有

3、啟動(dòng)的相關(guān)記錄，并同吋查看在boot.omsg中是否有關(guān)機(jī)的相關(guān)tl志打??？shut;ting down httzpd2 (walking for all children to terminate) done<notice sep 13 09:41: 32.768865000> * apche2 stop* exits with0<notice sep 13 09:41:32.769895000> cron stopshutting down cron daemon搜索：shutting down關(guān)鍵字看是否存在關(guān)機(jī)2、是否人為操作出現(xiàn)系統(tǒng)重啟現(xiàn)彖，往往被認(rèn)為是系統(tǒng)死

4、機(jī)后然后重啟的，這就通過重啟現(xiàn)彖了來認(rèn)為系統(tǒng)死機(jī)過，但是這種系統(tǒng)重啟是否是由于死機(jī)造成的，需要進(jìn)行確定。a、通過同現(xiàn)場(chǎng)人員進(jìn)行溝通，確認(rèn)是否為人為的重啟？比如按電源、拔電源等人為動(dòng)作？ba通過history中查詢?cè)谙到y(tǒng)重啟時(shí)的時(shí)間點(diǎn)附近有reboot或halt、shutdown> init?mn:* # cd /varmn:/var # history » history.txtc、通過在bmc h志中確認(rèn)是否有通過bmc的操作進(jìn)行系統(tǒng)的重啟操作？對(duì)于直接拔電源致使系統(tǒng)重啟的操作，在messges和boot.omsg中是沒冇相關(guān)的信息記錄 的，表現(xiàn)為系統(tǒng)tl志和業(yè)務(wù)運(yùn)行日志在同

5、一時(shí)間全部消失。對(duì)于按電源、命令進(jìn)行重啟操作，在messages中能夠看到系統(tǒng)收到關(guān)機(jī)或者重啟的信息， 同時(shí)在b oot.omsg>|噲有關(guān)機(jī)時(shí)的關(guān)閉系統(tǒng)服務(wù)的關(guān)機(jī)過程信息。對(duì)于在bmc.h直接進(jìn)行關(guān)機(jī)或者重啟操作，信息記錄就比較復(fù)雜了。而對(duì)于此種情況, 在messages中和boot.omsg中是看不到相關(guān)的信息記錄，同直接拔電源一樣的。二、處理步驟：1、日志盡快獲取：在現(xiàn)場(chǎng)反饋出現(xiàn)死機(jī)問題后，第一時(shí)間反饋相關(guān)日志，并盡量多盡量準(zhǔn)確全面，等待的 時(shí)i'可越長(zhǎng)口志可能就已覆蓋，或清除，或環(huán)境重搭，致使定位工作受到阻礙。a、死機(jī)問題發(fā)生的時(shí)間點(diǎn)如果發(fā)生死機(jī)問題時(shí)測(cè)試或維護(hù)人員在場(chǎng)，

6、需反饋死機(jī)問題發(fā)生的精確時(shí)i'可。b、死機(jī)具體現(xiàn)象描述死機(jī)問題的發(fā)生通常伴隨著系統(tǒng)和業(yè)務(wù)方面的異?，F(xiàn)象，系統(tǒng)異常包括服務(wù)器重啟、系 統(tǒng)掛死（如bmc黑屏）、系統(tǒng)遲緩（如命令無法執(zhí)行或響應(yīng)吋間過長(zhǎng)）、網(wǎng)絡(luò)中斷（如ping 檢測(cè)失?。⒌顷懯。ㄈ鐭o法遠(yuǎn)程登陸或卡死在登陸界而）、文件系統(tǒng)異常（如文件只讀 或系統(tǒng)命令失效）等等；操作失敗、超時(shí)、執(zhí)行無返回等。項(xiàng)目結(jié)果服務(wù)器重啟ok/nok系統(tǒng)掛死（bmc或kvm黑屏）iok/nokj系統(tǒng)延緩（如命令無法執(zhí)行或響應(yīng)時(shí)間過長(zhǎng)）ok/nok網(wǎng)絡(luò)中斷（如ping檢測(cè)失敗）ok/nok登陸失?。ㄈ鐭o法遠(yuǎn)程登陸或卡死在登陸界面）ok/nok文件系統(tǒng)異常（

7、如文件只讀或系統(tǒng)命令失效）ok/nok業(yè)務(wù)異常則包括主備haok/nok操作失敗ok/nok |命令執(zhí)行超時(shí)ok/nok此外，同樣現(xiàn)象的死機(jī)問題是否多次出現(xiàn)、出現(xiàn)頻率也需要反饋。c、死機(jī)時(shí)段具體操作主要指死機(jī)時(shí)段內(nèi)對(duì)整個(gè)系統(tǒng)（包括硬件和軟件）進(jìn)行的各種操作，包括但不限于對(duì)服 務(wù)器上下電、更換碩件、拔插網(wǎng)線、更改交換機(jī)配置、監(jiān)控及日志查詢。此外還包括死機(jī)之前對(duì)問題服務(wù)器的各種操作，如執(zhí)行腳本或系統(tǒng)命令、拷貝/刪除/修 改文件、啟動(dòng)/停止系統(tǒng)服務(wù)、掛載木地或遠(yuǎn)端目錄等。2組網(wǎng)、硬件和bmc信息反饋組網(wǎng)、硬件信息有助于定位人員從宏觀把握整個(gè)系統(tǒng)以及借鑒之前的經(jīng)驗(yàn)，而內(nèi)置在服 務(wù)器中bmc系統(tǒng)收集的信

8、息有時(shí)更能為死機(jī)問題定位提供直接的依據(jù)。a、組網(wǎng)信息組網(wǎng)信息主要包括網(wǎng)絡(luò)規(guī)模（服務(wù)器、交換機(jī)數(shù)目）、硬件類型（防火墻、服務(wù)器、交 換機(jī)型號(hào)）、網(wǎng)絡(luò)配置（ip地址規(guī)劃、交換機(jī)配置）、物理連線圖等。b、硬件信息硬件信息主要包括發(fā)生死機(jī)的服務(wù)器類型（rh2285、e6000、t6000或其它服務(wù)器）、 cpu型號(hào)與數(shù)目、內(nèi)存大小、本地碩盤容量與數(shù)目、bios配置等，此外建議信息收集人員 盡可能反饋組網(wǎng)內(nèi)其它服務(wù)器、其它設(shè)備的硬件信息，便于定位人員橫向?qū)Ρ?。服?wù)器各種硬件信息查詢?nèi)缦拢海?）cpu型號(hào)與數(shù)目對(duì)于管理、存儲(chǔ)節(jié)點(diǎn),使用“cat/proc/cpuinfo”命令獲得；對(duì)于計(jì)算節(jié)點(diǎn)使用“cat/

9、proc/cpuinfo”僅能獲得domaino中的cpu信息，可以通過"xm dmesg”命令查看所有的cpu信息。processor:15:genuinelncelipu family;6nodel! 26nodel name;intel(r) xeon(r) cpue5530 2.40ghzstepping:5?pu hhz:z-iuo.muache size:8192 kbphysical id:0siblings! 8?ore id! 3?pu cores;4sipicid:7initial «picjd:7fpu:yesfpu_exception;yes二pui

10、d level:11wp:yescleigs;fpu vme de pse tsc rosr pae race cx8 aplc sep mtrr pge mca cmov pprfmon pebs bts repgood xcopology nonscop_tsc aperfwperf pnimonitor ds dept vpidoogomlps;4800.36rlflush size! 64achealignmenc ! 64address sizes:40 bits physical/ 48 bits virtualpower management:1（2）內(nèi)存大小對(duì)于管理、存儲(chǔ)節(jié)點(diǎn)，

11、使用“cal/proc/mcminfo”命令獲得；對(duì)于計(jì)算節(jié)點(diǎn)使用“cal/proc/meminfov僅能獲得domaino111的內(nèi)存信息，可以通過“xmdmesg"命令查看內(nèi)存總大小。cat/proc/roeromfomemtotdl:16295224 kbmemfree:7860712 kbbuffers:687856 kbcached:5706456 kbswapcached:0 kbactive:7048156 kbinactrve:582716 kbactive(anon):1242848 kbinactive(anon):0 kbactive(file):5805308

12、 kbinactive(file):582716 kb(jnevictable:0 kbmlocked:0 kbswaptotal:2104472 kbswapfree:2104472 kbdirty:556 kbwriteback:0 kbanonpages:1235360 kbmapped:31404 kb5hmem:7496 kbslab:727812 kbsreclaimable:406524 kbsunreclairo:321288 kbkernelstack:4864 kbpagetables:12268 kbvfs_unstable:0 kbbounce:0 kburitebac

13、ktmp:0 kbcontnltllmlt:10252084 kbcontnitted_as:3787376 kb7n)alloctotal:34359738367 kb7mallocused:339584 kb7mallocchunk:34359395324 kbharduarecorrupted:0 kb（3）本地硬盤容量與數(shù)目本地硬盤容量可以通過“fdisk-l”命令獲得，考慮raid組以及掛載遠(yuǎn)端磁盤的因素，本地硬盤數(shù)目最好通過bmc界面直接查看，在bmc界面，系統(tǒng)信息系統(tǒng)狀態(tài)中可以看到硬盤槽位和硬盤狀態(tài)。j:/proc # fdisk-1disk /dev/sdb: 1000.2 g

14、bz 1000204886016byteshss heads# 63 sectors/track,121601 cylindersunits cylindersof16065 »512 - 8225280 bytesdisk identifier:0x9f5470abdevice bootstartendblocksidsystem/dev/sdbl1130610490413+5extended/dev/sdb513933156709+83linux/dev/sdb6394786315674183linuxdisk /dev/sda: 1000.2 gb# 1000204886016

15、bytesp5s heads# 63 sectors/track/121601 cylindersunits cylindersof16065 512 - e225280 bytesdisk identifier:0x00000000device bootstat tendblocksidsystem/dev/sdal12 622104483+82linux swap / solaris/dev/sda22 63417931463302+83linux/dev/sda3418067s020972857+83linux/dev/sda467911216c0922211325sextendedde

16、v/sdas679194012097282683linux/dev/sda69402120122097285783linux/dev/sda7120132506710486428783linux/dev/sda8250681216c077540132283linux3、bmc信息bmc是公司自研的rh2285、e6000、t6000等型號(hào)服務(wù)器內(nèi)嵌的服務(wù)器管理控制單元， 能夠?qū)崿F(xiàn)對(duì)服務(wù)器的多種管理、查詢、監(jiān)控功能，發(fā)生死機(jī)問題時(shí)需要從bmc收集的信息 包括（1）bmc系統(tǒng)事件日志登陸bmc提供的web界血后，查看系統(tǒng)日志事件，反饋死機(jī)發(fā)生吋i'可點(diǎn)前后-段吋i'可（建 議取死機(jī)

17、發(fā)生前后12小時(shí)）的h志截圖。通過ftp方式登陸bmc的文件系統(tǒng)，反饋data目錄下的sel.bin文件。（2）bmc、bios 版本號(hào)在bmc的web界面，選擇系統(tǒng)信息> 固件版本查詢，反饋版本信息：（3）bmc與os的時(shí)間差由于bmc和os使用不同的時(shí)間芯片，因此這兩者z間可能存在時(shí)間差，需要現(xiàn)場(chǎng)人員 通過登陸bmc系統(tǒng)和os進(jìn)行時(shí)間的比對(duì)，并截圖表示兩者之間的時(shí)間差異，這樣便于定位 人員分析bmc日志和os的日志（時(shí)間差）。三、系統(tǒng)信息linux的口志系統(tǒng)能夠記錄系統(tǒng)的登陸情況、操作記錄、異常事件等，多數(shù)情況下為系 統(tǒng)側(cè)死機(jī)問題提供重要的線索，發(fā)生死機(jī)問題時(shí)，建議從系統(tǒng)方面獲得如下

18、信息：1 系統(tǒng)message日志系統(tǒng)的messageh志會(huì)記錄在cd /var/log/目錄下，并根據(jù)日志產(chǎn)生時(shí)間和日志文件大小壓 縮備份為“messages時(shí)間戳>.bz”的形式，請(qǐng)盡可能在反饋全部的日志文件（包括當(dāng)前日 志文件/var/log/messages以及所有的bz壓縮文件）。3、系統(tǒng)boot日志操作系統(tǒng)能夠記錄當(dāng)前和前一次啟動(dòng)時(shí)的口志，兩次啟動(dòng)記錄保存在/var/log/boot.msg 和/var/log/boot.omsg中,請(qǐng)全部反饋。4、系統(tǒng)登錄和使用情況使用last可以查看系統(tǒng)每次啟動(dòng)的時(shí)i'可點(diǎn)、用戶登陸情況等，建議使用：ulast reboot

19、87; last.txt?，命令將last命令的執(zhí)行結(jié)果保存為文本文件進(jìn)行反饋。5、系統(tǒng)歷史操作記錄使用histoiy可以查看系統(tǒng)的歷史操作信息，建議使用“history >> history.txt”命令將 history命令的執(zhí)行結(jié)杲保存為文本文件進(jìn)行反饋。6、系統(tǒng)黑匣子記錄系統(tǒng)屮提供黑he子功能收集節(jié)點(diǎn)操作系統(tǒng)crash （如panicx oops> bug、oom等）時(shí)的 異常信息，黑匝子功能實(shí)現(xiàn)的機(jī)制和記錄存放位置不同，請(qǐng)注意按照不同的操作系統(tǒng)類型和 發(fā)生死機(jī)的時(shí)間反饋對(duì)應(yīng)的黑匣子日志。系統(tǒng)監(jiān)控記錄galax系統(tǒng)提供對(duì)操作系統(tǒng)各種資源進(jìn)行監(jiān)控的功能，并生成監(jiān)控口志保

20、存在每個(gè)節(jié)點(diǎn) 的/opt/osinfo/statistics/目錄中，監(jiān)控日志會(huì)根據(jù)大小和時(shí)間在同一目錄下保存為ustatistics< 時(shí)間戳格式，請(qǐng)注意按照發(fā)生死機(jī)的時(shí)間反饋對(duì)應(yīng)的系統(tǒng)監(jiān)控日志。a、系統(tǒng)串口消息如杲出于調(diào)測(cè)的目的開放系統(tǒng)的串口，請(qǐng)反饋問題服務(wù)器的串口打印信息，通常情況下 galax系統(tǒng)中各個(gè)節(jié)點(diǎn)的串口功能是關(guān)閉的。串口打印的堆棧信息、臨終遺言對(duì)死機(jī)定位非常有用，如果沒有部署串口，請(qǐng)盡量將串 口部署上，串口信息對(duì)于死機(jī)問題的定位很重要。b、底層日志：c、收集系統(tǒng)的打印信息：命令：cat /proc/sys/kernel/printk# cat /proc/sys/ker

21、nel/printk14171、定位方法1 是否硬件狗復(fù)位a. 在死機(jī)問題中，較多的死機(jī)問題都是由于軟件狗未喂碩件狗，或者喂狗不成功，導(dǎo)致 硬件狗超時(shí)（超時(shí)時(shí)間為20min）,從而重啟服務(wù)器，這樣就認(rèn)為系統(tǒng)死機(jī)后的重啟。b. 因此查看watchdog的日志，看是否是喂狗的時(shí)候出現(xiàn)問題.首先需要判定是否由于 watchdog自身的原因或者某些規(guī)則導(dǎo)致硬件狗超時(shí)而重啟服務(wù)器，這樣的原因下就是上層業(yè) 務(wù)造成的，不是os本身的問題。c. 同時(shí)在查看watchdog的日志時(shí)，注意查看是否是喂狗的腳本執(zhí)行不成功？有無及時(shí)的 返回喂狗腳木執(zhí)行的結(jié)杲？這樣判定是否是由于喂狗腳木阻塞引起的碩件狗超時(shí)？同時(shí)比 對(duì)

22、是否在其它的業(yè)務(wù)模塊日志中也有執(zhí)行腳本不成功的情況？這樣如果所有的模塊都存在 這種執(zhí)行腳本不成功、卡死的話，那就不是watchdog本身的原因，而是在系統(tǒng)中的其它原因 造成，需要向系統(tǒng)更深入的排查原因了。如果是由硬件狗復(fù)位服務(wù)器，在bmc界面日志中能夠記錄到相應(yīng)的日志，通過此可以進(jìn) 行判定；2. 是否系統(tǒng)負(fù)載過高linux系統(tǒng)不是孤立的存在的，其上往往是運(yùn)行這產(chǎn)品自身的業(yè)務(wù)，而業(yè)務(wù)既然使用語(yǔ) 言代碼編程，那也就存在bug,而對(duì)于這些bug也可能引起linux的崩潰或者類似死機(jī)的現(xiàn)象。這類問題往往最常見的現(xiàn)象是系統(tǒng)響應(yīng)緩慢，或者無法響應(yīng)，從而認(rèn)為系統(tǒng)死機(jī)，這往 往從監(jiān)控口志屮能夠看到內(nèi)存和cpu

23、使用飆高，而這往往是由于系統(tǒng)負(fù)載過高導(dǎo)致的。由于系統(tǒng)負(fù)載過高導(dǎo)致的卡死，一定是解決的越快越好！需要通過命令行終端進(jìn)行定位。 通過clrl + all+fl（通常f1-f6都可以進(jìn)行切換），此時(shí)可能鍵盤的輸入速度比較慢，請(qǐng)耐性 等候，在提示符后輸入top回車，看到一張動(dòng)態(tài)的表，上而列出了耗用資源最多的進(jìn)程。觀 察到刷新兒次后，按q退出，然后輸入kill pid,其中pid為top中顯示的占用資源較多的進(jìn)程， 此時(shí)系統(tǒng)應(yīng)該會(huì)快不少，如果沒有結(jié)束掉進(jìn)程，通過kill -9,這樣基本上沒有問題了（這個(gè)動(dòng) 作一般不要做）。ipiduserprnivirtresshr s% cpu% mehtime+co

24、mmand"091rooc3919000s280.0764:19.88kipmio32root200000s100.0396:51.92ksoftirqd/1416root200000s90.0421:41.96ksoftirqd/627981root1464720m63m8864s30.4144:44.46java2208root20089001336856r10.00:00.26top4119root2008968628420s00.05:08.89irqbalancem99postgres200673001456496s00.02:27.83postmaster4360root

25、200323m218n2352s01.443:21.55perl27297root200206m17961020s00.049:19.08rsyslogd1root20010376784652s00.00:44.07init2root200000s00.00:00.00kthreadd3rootrt0000s00.00:07.13mlgration/0qroot200000s00.0501:14.50ksoftirqd/05rootrt0000s00.00:06.62migratlon/16root200000s00.0322 :10.83ksoftirqd/l7rootrt0000300.0

26、0:07.48migration/28root200000s00.0326:48.78ksoftirqd/29rootrt0000s00.00:07.16migratlon/310root200000s00.0397:14.96ksoftirqd/311rootrt0000s00.00:06.36roigration/412root200000s00.0394:26.52ksoftirqd/43. 是否業(yè)務(wù)導(dǎo)致判斷到是由于系統(tǒng)的負(fù)載過高導(dǎo)致系統(tǒng)的死機(jī)，然后就是判泄是否是由于業(yè)務(wù)導(dǎo)致的？業(yè)務(wù)模塊相對(duì)來說是一個(gè)比較新開發(fā)的，出現(xiàn)問題的兒率還是相對(duì)來說比較人的。因此 首先是從業(yè)務(wù)模塊下手。1. 在出

27、現(xiàn)間題時(shí)，現(xiàn)場(chǎng)是否做了哪些的操作？2. 而這些操作是否會(huì)引起某些系統(tǒng)資源的過載使用？3. 結(jié)合業(yè)務(wù)模塊的日志，分析在出現(xiàn)問題時(shí)是否有某些異常的日志記錄？4. 如果有，則找到出現(xiàn)這些異常的原因，向上找到出現(xiàn)這些異常的起始點(diǎn)，再向上查 找比較長(zhǎng)的時(shí)間段日志，看是否有明顯的異常。4. 是否硬件相關(guān)因此首先需要同判定現(xiàn)場(chǎng)壞境中的bios中的某些項(xiàng)的設(shè)置是否正確？看當(dāng)時(shí)配套版本屮說明的設(shè)置，以及此版本是否本身就存在此問題？在判定完上述后，如果都不符合，則有可能是出現(xiàn)了新的問題，獲取到messages和監(jiān)控 日志等，在其中進(jìn)行查看是否有報(bào)硬件相關(guān)的錯(cuò)誤，針對(duì)這些錯(cuò)誤，判斷分析是否正常？而 同時(shí)這些錯(cuò)誤有可

28、能在出現(xiàn)問題之前比較長(zhǎng)的時(shí)間，需要向上冋溯。需要專業(yè)硬件人員來分析。5. 是否內(nèi)核問題問題與kernel可能也有關(guān)系了，而如果同kernel有較大關(guān)系的話，系統(tǒng)會(huì)產(chǎn)生kbox文件, 而管理節(jié)點(diǎn)由于使用linuximg,則產(chǎn)生的黑匣子日志文件在本地/var目錄下，計(jì)算節(jié)點(diǎn)采用 的是smartuvp,則產(chǎn)生的黑匣子日志文件會(huì)存放在tftp服務(wù)器上，在galax系統(tǒng)中，通常 使用mn節(jié)點(diǎn)作為tftp服務(wù)器，所以對(duì)應(yīng)計(jì)算節(jié)點(diǎn)的黑匣子口志保存在mn節(jié)點(diǎn)的/tftpboot 目錄中。通過黑盒子或者串口信息基本就能確認(rèn)，需要查看源代碼一起分析。部署串口串口信息分析:&$8080s593s2 d&qu

29、ot;id "or: 0000【叫】 * j(9s8080.so439j (9s8o8o.s69403)(9s8080.s7k42) (9i8080.«7183j(9s8080.m0880j (pid: nkip：rsf：rax：mx lrbp：m01lest y幺 til: /ys/module/drbd/par<m«t«r*/cnsidx cfu smodules linked in: 8021q gerp tp 11c drbd(n) bndxrm ipmi_d«vin supported: yes, external(9s9090

30、s0938) (9s8080.6s9601j (9)6080.<65223) (9s8080.«72s13) (9)8080.*79804) (9$e080.m7098) (9s8080.(94382)(9s8080 701671)fps: r»8080.70»05kc3? (9s8080.71s7«j (9)8080.723049) (9s8080.730343) (9s8080.737<29) (9j808o.74wooj (9s8080.748436) (958080.7ss801) (9s8080.763675j (>$8080

31、.771546) (9s8080.779420) (9s8080.787s2o os8080.790106j (9$e080.79(317) (9$8080.«02008) os8080.807265 (9s8080.8122s9) (>$8080.817339)s 2.«.32.12-0.7-det<ult fl tecel bk620teinttd: p:0010sfffffff81046c44>) 0018:ff<<880c09«edcl0 oooooooooooooooo oooooooooooooooo ftft880c09

32、e<dd80 oooooooooooooooooooooooooooooooomx imilm)8:kll:k14:f f f f f f8104<e44>) fxnd bu«x« 宅 bpiag3: 00010046ttttttititttittt00000000000000180000000000000018ooooooootttt<tftoooooooot<<<<ff<kcxlmilr09:ml2i0000000000000001 oooooooooooooooo fftt8800282«e<900

33、000000000013480任務(wù)p【dl"roup*0x<34/0x9b00000000000000000(0000f gs： ftf <8800282«0000(0000) knlgs:000000000000000000x0 ds: ooxb 001。cko: 00000000800s003bc池：00007t73280731c8 cr3: 0000000001804000 cm: oooooooooooooceodm): 0000000000000000 dr1: 0000000000000000 dr2: 0000000000000000dk3i 000000000000