深度學(xué)習(xí)后端分布式存儲ceph技術(shù)建議書

深度學(xué)習(xí)后端分布式存儲

ceph技術(shù)建議書-標(biāo)準(zhǔn)化文件發(fā)布號：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KIIAI平臺分布式存儲(ceph)技術(shù)建議書目錄TOC\o"1-5"\h\z\o"CurrentDocument"前言 3\o"CurrentDocument"現(xiàn)狀 4\o"CurrentDocument"技術(shù)調(diào)研 5要求 5\o"CurrentDocument"技術(shù)選型 5分布式存儲分類 5\o"CurrentDocument"特性對比 6\o"CurrentDocument"ceph 技術(shù)原理 6\o"CurrentDocument"基本組成 6邏輯架構(gòu) 8\o"CurrentDocument"4.3.數(shù)據(jù)流程 9\o"CurrentDocument"資源要求 9\o"CurrentDocument"硬件指標(biāo) 9cpu 10內(nèi)存 10硬盤 10日志盤 11osd節(jié)點密度 11分配方式 11\o"CurrentDocument"網(wǎng)絡(luò)結(jié)構(gòu) 12\o"CurrentDocument"軟件兼容性 13快速配置參考 14\o"CurrentDocument"數(shù)據(jù)安全 15\o"CurrentDocument"用戶 15\o"CurrentDocument"認(rèn)證機(jī)制 15\o"CurrentDocument"用戶分類 16\o"CurrentDocument"授權(quán)類型 17\o"CurrentDocument"存儲割接 18其他 181.前言目前公司AI平臺所用后端數(shù)據(jù)存儲包含三種方式，對象存儲（0SS）：冷數(shù)據(jù)，備份數(shù)據(jù)，共享存儲（NFS）:熱數(shù)據(jù)，訓(xùn)練任務(wù)用數(shù)據(jù)，節(jié)點存儲（DEV）:服務(wù)器自身磁盤，除了節(jié)點存儲，其他兩類在遷移容器云后依然保留，節(jié)點存儲則不再使用。由于nfs服務(wù)的局限性，建議使用分布式共享存儲替換當(dāng)前的nfs方式，以滿足后續(xù)的因業(yè)務(wù)增長，對存儲的容量和性能更高要求。2.現(xiàn)狀目前物理服務(wù)器5臺，借用其他業(yè)務(wù)測試用主機(jī)構(gòu)建NFS高可用，單機(jī)磁盤裸容量36T,為了增加磁盤的讀寫效率，同時保障數(shù)據(jù)安全性，做了RAID5+RAID0組合方式，該架構(gòu)目前提供共計20T共享熱數(shù)據(jù)文件存儲。由于nfs容易上手，部署方便且快速，維護(hù)十分簡單，在項目前期可以作為簡單的共享存儲使用，伴隨著用戶訓(xùn)練任務(wù)的增長，nfs方式的短板日趨明顯，擴(kuò)容受限，已不能夠支撐后續(xù)多任務(wù)，多用戶對數(shù)據(jù)的大批量、高性能讀寫請求。當(dāng)前存在問題：容易發(fā)生單點故障，雖然采用keepalived高可用，但增加了維護(hù)的復(fù)雜度，同時更拔高了其他短板的表現(xiàn)，尤其在連接管理，效率性能方面，并且在兩節(jié)點切換期間不可避免存在數(shù)據(jù)丟失情況；擴(kuò)容受限，在高并發(fā)下NFS效率/性能有限；客戶端沒用用戶認(rèn)證機(jī)制，且數(shù)據(jù)是通過明文傳送，無安全保障;e.多臺機(jī)器掛載NFS服務(wù)器時，連接管理維護(hù)麻煩；3.技術(shù)調(diào)研要求目前公司提供的存儲，能夠和AI當(dāng)前架構(gòu)對接的僅限于OSS對象存儲，其他的hdfs,hive、hbase均無法采用，公司的NAS資源有限，目前支撐其他項目，無擴(kuò)容計劃，不借用，在無資源和資金支撐下，分布式存儲選擇需要以下要求：?文件存儲：支持POSIX接口，可以像普通文件系統(tǒng)（如ext4）那樣訪問?開源性：不采用第三方公司產(chǎn)品，或二次封裝方式；?安全性：能夠滿足最基本的用戶接入控制，并不限于此；?去中心化：高可用，能夠縱向升級和橫向擴(kuò)展，即分布式需求；?通用性：普通硬件，即能夠正常運(yùn)行Linux服務(wù)器即可；技術(shù)選型分布式存儲已經(jīng)研究很多年，但直到近年來，伴隨著谷歌、亞馬遜和阿里等互聯(lián)網(wǎng)公司云計算和大數(shù)據(jù)應(yīng)用的興起，它才大規(guī)模應(yīng)用到工程實踐中。如谷歌的分布式文件系統(tǒng)GFS、分布式表格系統(tǒng)googleBigtable，亞馬遜的對象存儲AWS，阿里的TFS等都是很好的代表，同時也催生了一大批優(yōu)秀的開源分布式存儲系統(tǒng)，包括ceph、swift、Lustre和glusterfs等。3.2.1,分布式存儲分類分布式存儲按其存儲接口分為三種：文件存儲、塊存儲和對象存儲。在主流的分布式存儲技術(shù)中，HDFS/GPFS/GFS屬于文件存儲，Swift屬于對象存儲，而Ceph可支持塊存儲、對象存儲和文件存儲，故稱為統(tǒng)一存儲。文件存儲通常支持POSIX接口（如glusterfs，但GFS、HDFS是非POSIX接口的），可以像普通文件系統(tǒng)（如ext4）那樣訪問，但又比普通文件系統(tǒng)多了并行化訪問的能力和冗余機(jī)制。主要的分布式文件存儲系統(tǒng)有TFS、cephfs、glusterfs和HDFS等。主要存儲非結(jié)構(gòu)化數(shù)據(jù)，如普通文件、圖片、音視頻等?？梢圆捎肗FS和CIFS等協(xié)議訪問，共享方便。塊存儲這種接口通常以QEMUDriver或者KernelModule的方式存在，主要通過qemu或iscsi協(xié)議訪問。主要的塊存儲系統(tǒng)有ceph塊存儲、sheepdog等。主要用來存儲結(jié)構(gòu)化數(shù)據(jù)，如數(shù)據(jù)庫數(shù)據(jù)。數(shù)據(jù)共享不方便。DAS和SAN都是塊存儲類型。對象存儲對象存儲系統(tǒng)綜合了NAS和SAN的優(yōu)點，同時具有SAN的高速直接訪問和NAS的數(shù)據(jù)共享等優(yōu)勢。以對象作為基本的存儲單元，向外提供RESTful數(shù)據(jù)讀寫接口，常以網(wǎng)絡(luò)服務(wù)的形式提供數(shù)據(jù)訪問。主要的對象存儲系統(tǒng)有AWS、swift和ceph對象存儲。主要用來存儲非結(jié)構(gòu)化數(shù)據(jù)。3.2.2,特性對比按照選型要求和各技術(shù)特性對比，規(guī)劃采用ceph方式的文件系統(tǒng)。CephGFSHDFSSwiftLustrefrlusterfs平臺屬性開源開源開晅開源開源系統(tǒng)架構(gòu)云中心化中心化中心化去中心化口心化去中心化教據(jù)存赭方式塊、立件、對象玄件文件文件文件、對象元勘據(jù)節(jié)點數(shù)里咨個1個1個（主卜）多個1個天教據(jù)冗窠參副本參副本多副本參副本無數(shù)據(jù)一致性強(qiáng)一致性最終一致性過程一致性弱—致性無弱—玫性分塊大小（默認(rèn)）4MB64MB128MB現(xiàn)對象大小1MB適用場晨小文件頒繁讀寫大文件連續(xù)讀與大教據(jù)場景云對象存儲大文件連續(xù)讀寫（HPC超算）大文件讀寫4.ceph技術(shù)原理4.1.基本組成Ceph支持三種存儲接口：對象存儲RGW（radosgateway）、塊存儲RBD（radosblockdevice）和文件存儲CephFS，這三個接口只是在客戶端的封裝庫不同，到服務(wù)端了都是對象存儲；

■X應(yīng)用（仃接訪問RADOS）對景存陸接口

■X應(yīng)用（仃接訪問RADOS）對景存陸接口

（SS/S'ivifi）丈件系統(tǒng)接口埃存儲接口（物理主機(jī)，虛擬機(jī)）（libcephfs廊posix接口}數(shù)據(jù)JibrM元數(shù)據(jù)元數(shù)據(jù)服務(wù)

器（MDSJlil）iaclo^［訪問ILADOS對象存系統(tǒng)的作.支持CO-而誦PyrhmR訥yPHP、RAJg旨對象存朝系統(tǒng)（可轍的.目如織的、國自動惟賣.自捷竹理的分布式對象存慵系統(tǒng)】對象存儲（RGW：RADOSgateway）Ceph對象存儲服務(wù)提供了REST風(fēng)格的API，它有與AmazonS3和OpenStackSwift兼容的接口。也就是通常意義的鍵值存儲，其接口就是簡單的GET、PUT、DEL和其他擴(kuò)展；塊存儲（RBD：RADOSblockdevice）RBD是通過librbd庫對應(yīng)用提供塊存儲，主要面向云平臺的虛擬機(jī)提供虛擬磁盤；RBD類似傳統(tǒng)的SAN存儲，提供數(shù)據(jù)塊級別的訪問；目前RBD提供了兩個接口，一種是直接在用戶態(tài)實現(xiàn)，通過QEMUDriver供KVM虛擬機(jī)使用。另一種是在操作系統(tǒng)內(nèi)核態(tài)實現(xiàn)了一個內(nèi)核模塊。通過該模塊可以把塊設(shè)備映射給物理主機(jī)，由物理主機(jī)直接訪問。文件存儲Ceph文件系統(tǒng)服務(wù)提供了兼容POSIX的文件系統(tǒng)，可以直接掛載為用戶空間文件系統(tǒng)。它跟傳統(tǒng)的文件系統(tǒng)如Ext4是一個類型，區(qū)別在于分布式存儲提供了并行化的能力；原生接口除了以上3種存儲接口，還可以直接使用librados的原生接口，直接和RADOS通信；原生接口的優(yōu)點是是它直接和和應(yīng)用代碼集成，操作文件很方便；但它的問題是它不會主動為上傳的數(shù)據(jù)分片；一個1G的大對象上傳，落到Ceph的存儲磁盤上就是1G的文件；ceph的組件采用插件的機(jī)制，包括后端存儲，KV數(shù)據(jù)庫，磁盤管理等。各組件之間可以靈活的組合。ceph的組件采用插件的機(jī)制，包括后端存儲，KV數(shù)據(jù)庫，磁盤管理等。各組件之間可以靈活的組合。CephMonitor（ceph-mon）維護(hù)集群狀態(tài)的映射，包括監(jiān)視器映射，管理器映射，OSD映射和CRUSH映射。這些映射是Ceph守護(hù)進(jìn)程相互協(xié)調(diào)所需的關(guān)鍵集群狀態(tài)。監(jiān)視器還負(fù)責(zé)管理守護(hù)進(jìn)程和客戶端之間的身份驗證。冗余和高可用性通常至少需要三個監(jiān)視器。CephManager守護(hù)程序（ceph-mgr）負(fù)責(zé)跟蹤運(yùn)行時指標(biāo)和Ceph集群的當(dāng)前狀態(tài)，包括存儲利用率，當(dāng)前性能指標(biāo)和系統(tǒng)負(fù)載。CephManager守護(hù)進(jìn)程還托管基于python的插件來管理和公開Ceph集群信息，包括基于Web的儀表板和RESTAPI。高可用性通常至少需要兩名經(jīng)理。CephOSD（對象存儲守護(hù)進(jìn)程ceph-osd）存儲數(shù)據(jù)，處理數(shù)據(jù)復(fù)制，恢復(fù)，重新平衡，并通過檢查其他CephOSD守護(hù)進(jìn)程來獲取心、跳，為Ceph監(jiān)視器和管理器提供一些監(jiān)視信息。冗余和高可用性通常至少需要3個CephOSD。Ceph元數(shù)據(jù)服務(wù)器（MDSceph-mds）代表Ceph文件系統(tǒng)存儲元數(shù)據(jù)（即，Ceph塊設(shè)備和Ceph對象存儲不使用MDS）。Ceph的元數(shù)據(jù)服務(wù)器允許POSIX文件系統(tǒng)的用戶來執(zhí)行基本的命令（如ls，find沒有放置在一個Ceph存儲集群的巨大負(fù)擔(dān)，等等）。4.3.數(shù)據(jù)流程ceph尋址過程file object映射，把file分割成N個相同的對象object-PG映射，利用靜態(tài)hash得到objectID的偽隨機(jī)值，在"位與"mask上使得object獲取屬于自己的PGpg--osd映射，將pg映射到實際的存儲單元osd，RADOS利用crush算法，由pgid得到一組n個osd，再由osddaemon執(zhí)行映射到本地的object在本地系統(tǒng)中存儲，訪問，數(shù)據(jù)維護(hù)，此次映射功能直接受到crushmap以及rule限制，只有clustermap和rule不發(fā)生改變時，pg和osd的映射關(guān)系才固定。散據(jù)客戶端CRUSHPCilPG-1OSD-1□ND」散據(jù)客戶端CRUSHPCilPG-1OSD-1□ND」OSD-4資源要求5.1.硬件指標(biāo)Ceph可以運(yùn)行在廉價的普通硬件上，小型生產(chǎn)集群和開發(fā)集群可以在一般的硬件上，PB級生產(chǎn)集群也可以使用普通硬件，但應(yīng)該配備更多內(nèi)存、CPU和數(shù)據(jù)存儲空間來解決流量壓力。5.1.1.cpu每一個osd守護(hù)進(jìn)程至少有一個cpu核，計算公式如下：((cpusockets*cpucorespersoket*cpuclockspeedinGHZ)/No.OfOSD)>=1例如：一臺服務(wù)器擁有一個單插座，6核，2.5Ghz的cpu，就足以支持12個osd，每個osd將大致得到1.25FGhz的計算能力((1*6*2.5)/12)=1.25IterXeonProcessorE5-2620(2.4GHz,6core)1*6*2.40=14.1適合多達(dá)14個osd的ceph節(jié)點5.1.2.內(nèi)存moniter和metadata的守護(hù)進(jìn)程，一般會隨著集群的大小而變化，cephmds很大程度上取決于數(shù)據(jù)緩存，需要大量的RAM，RAM越高，cephfs性能越好。osd會要求數(shù)量客觀的內(nèi)存，一般每個OSD守護(hù)進(jìn)程1G足以，不過從性能上講每個守護(hù)進(jìn)程2G是一個更好的選擇。5.1.3,硬盤當(dāng)一個osd接受請求寫一個object時，它會首先把object寫到pgactingset中的osd對應(yīng)的日志盤，然后發(fā)送一個寫確認(rèn)給客戶端，很快日志數(shù)據(jù)會同步到數(shù)據(jù)盤，使用ssd做日志盤，可以減少訪問時間，降低寫延遲，大幅提升吞吐量。OSD應(yīng)該有足夠的硬盤空間來存放對象數(shù)據(jù)。我們建議硬盤驅(qū)動器的最小容量為1T?？紤]到較大磁盤的每GB的成本優(yōu)勢。我們建議將硬盤驅(qū)動器的價格除以千兆字節(jié)，得出每千兆字節(jié)的成本，因為較大的驅(qū)動器可能會對每千兆字節(jié)的成本有很大影響。例如，價格為75美元的1T硬盤，每千兆字節(jié)的成本為0.07美元。相比之下，價格為150美元的3T硬盤的成本為每千兆字節(jié)0.05美元。在上述例子中，使用1T硬盤通常會使每千兆字節(jié)的成本增加40%——使集群的成本效益大大降低。Tips:在一個磁盤上運(yùn)行多個OSD，無論分區(qū)如何，都不是一個好主意Tips：在單一磁盤上運(yùn)行OSD、寫日志、或者元數(shù)據(jù)服務(wù)器，無論分區(qū)如何，都不是一個好主意Ceph最佳實踐規(guī)定，你應(yīng)該在不同的驅(qū)動器上運(yùn)行操作系統(tǒng)、OSD數(shù)據(jù)和OS。日志日志盤在sata/sasssd上獲取高性能，ssd和osd的比例應(yīng)該為1:4,也就是說4個OSD數(shù)據(jù)硬盤可共享一個ssdPCIe或者NVMe閃存設(shè)備的情況取決也設(shè)備性能，ssd和。sd壁壘可以達(dá)到1：12或者1:18osd節(jié)點密度osd數(shù)據(jù)分區(qū)Cephosd節(jié)點的密度也是影響集群性能、可用容量和TCO的一個重要因素，一般來說大量的小容量量節(jié)點比少量的大容量節(jié)點要好，但這不是定論，應(yīng)該選擇適當(dāng)?shù)腸ephosd節(jié)點的密度，是單個節(jié)點容量小于總集群容量的10%。例如：在一個1PB的ceph集群，你應(yīng)該避免使用4個250Tb的osd節(jié)點，因為每個幾點占用了25%的集群容量，相反，你可以使用13個80TB的osd節(jié)點，每個節(jié)點容量小于集群容量的10%，但是這回增加你的TCO,具體實施期間依賴存儲容量需求評估，依照該評估規(guī)劃適宜的節(jié)點密度。分配方式按照ceph邏輯組件構(gòu)成，分布式集群需要承載4類進(jìn)程，組網(wǎng)方式有兩種：精簡型，完全型，為了達(dá)到資源利用最大化，采用精簡型，即OSD進(jìn)程和其他進(jìn)程合設(shè)。完全型方式：對于物理資源充裕情況下，采用該模式，管理節(jié)點和數(shù)據(jù)節(jié)點分開部署，架構(gòu)清晰，便于維護(hù)、減少進(jìn)程干擾。節(jié)點節(jié)點類型進(jìn)程備注node01管理節(jié)點mon、mgr、mdsnode02管理節(jié)點mon、mgr、mds

mon、mgrmon、mgr、mdsosdosdosdnode04數(shù)據(jù)節(jié)點… 數(shù)據(jù)節(jié)點node0N數(shù)據(jù)節(jié)點精簡型方式:由于管理進(jìn)程和數(shù)據(jù)進(jìn)程在資源耗用上各有偏重，影響不大，在資源受限情況下可以采用該模式，所有節(jié)點均為數(shù)據(jù)節(jié)點，按照規(guī)劃把管理進(jìn)程合設(shè)到指定數(shù)據(jù)節(jié)點即可。節(jié)點節(jié)點類型 ■進(jìn)程備注node01管理節(jié)點、數(shù)據(jù)節(jié)點osd、mon、mgr可以合設(shè)其他節(jié)點node02管理節(jié)點、數(shù)據(jù)節(jié)點osd、mon、mgr可以合設(shè)其他節(jié)點node03管理節(jié)點、數(shù)據(jù)節(jié)點osd、mon、mgr可以合設(shè)其他節(jié)點node04數(shù)據(jù)節(jié)點osd、mds可以合設(shè)其他節(jié)點…數(shù)據(jù)節(jié)點osd、mds可以合設(shè)其他節(jié)點NodeN數(shù)據(jù)節(jié)點osd、mds可以合設(shè)其他節(jié)點5.2.網(wǎng)絡(luò)結(jié)構(gòu)少量節(jié)點的ceph集群，1Gbps網(wǎng)絡(luò)速率可以滿足正常運(yùn)行，如果是一個中型或大型的網(wǎng)絡(luò)（數(shù)十個節(jié)點），應(yīng)該考慮使用萬兆甚至更高帶寬的網(wǎng)絡(luò)。數(shù)據(jù)恢復(fù)和重新平衡期間，網(wǎng)絡(luò)很重要，如果有10G的網(wǎng)絡(luò)會縮短集群恢復(fù)的時間。比如：在1Gbps網(wǎng)絡(luò)上復(fù)制1TB的數(shù)據(jù)需要3個小時，而10TB需要30個小時！相比之下，使用10Gbps網(wǎng)絡(luò)，復(fù)制時間分別需要20分鐘和1小時。但每個流量路徑都代表了潛在的容量、吞吐量和/或性能瓶頸，在部署大規(guī)模數(shù)據(jù)集群之前，您應(yīng)該仔細(xì)考量，建議雙明面，或者三網(wǎng)規(guī)劃。IheclusternetwoilkrelievesOSDreplicationandheartbeattrafficfromthepublicnetwork.CephMD5IheclusternetwoilkrelievesOSDreplicationandheartbeattrafficfromthepublicnetwork.CephMD5（1）提高性能：消除副本創(chuàng)建、數(shù)據(jù)恢復(fù)和再平衡對publicnetwork的壓力；增強(qiáng)OSD心跳網(wǎng)絡(luò)的可靠性。(2)安全性：使用一個徹底與外網(wǎng)分離的內(nèi)部網(wǎng)絡(luò)作為clusternetwork，可以防止比如DDOS這樣的網(wǎng)絡(luò)攻擊。5.3.軟件兼容性按常規(guī)來說，我們建議在較新的Linux發(fā)行版上部署Ceph；同樣，要選擇長期支持的版本，當(dāng)前我們推薦：4.1.4orlater3.16.3orlater(rbddeadlockregressionin3.16.[0-2])NOTv3.15.*(rbddeadlockregression)3.14.*如果您堅持用很舊的，可以考慮這些：3.10.*更詳盡的操作系統(tǒng)版本和內(nèi)核請參考：/start/os-recommendations/進(jìn)程類型硬件類型建議的最低標(biāo)準(zhǔn)ceph-osdProcessor最低一核200-500MB/S單核心1000-3000IOPS單核心結(jié)果是復(fù)甘之前的結(jié)果結(jié)果可能會因為小同的LPU型號和區(qū)ph切能血木同〔糾環(huán)碼池、壓縮等）ARM處理器可能會蔻更多的核心實際性能取決于許務(wù)因表r包括磴盤、網(wǎng)絡(luò)、春戶端吞吐量和延退。我們強(qiáng)烈建喪進(jìn)行菖準(zhǔn)測試RAM每個咨護(hù)進(jìn)程4GB以上（越多越好）2-4GB可以正常工作（可能甕很慢）低于2GE是不推薦的VolumeStorage每個守護(hù)進(jìn)程對應(yīng)一塊硬盤DB/WAL每個守護(hù)進(jìn)程對應(yīng)一個SSD分區(qū)（可選）hJetwork最少一塊千兆以上的網(wǎng)卡C萬兆網(wǎng)卡是被推薦的｝ceph-monProcessor最低一核RAM每個進(jìn)程2GB以上的內(nèi)有DiskSpace每進(jìn)程10G日以上的硬盤空間hJetwork最少一塊千兆以上的網(wǎng)卡ceph-mdsProcessor最低一核RAM每個進(jìn)程2GB以上的內(nèi)存DiskSpace每個進(jìn)程IMB以上的硬盤空間hJetwork最少一塊千兆以上的網(wǎng)卡數(shù)據(jù)安全6.1.用戶Cephstoragecluster的認(rèn)證和授權(quán)默認(rèn)是啟用的。Ceph的客戶端用戶要么是獨立的個體用戶，要么是系統(tǒng)中的一個應(yīng)用，他們都使用ceph的客戶端與ceph存儲集群交互。usesClientsSei"versusesClientsSei"versCeph的用戶可以是一個具體的人或系統(tǒng)角色（e.g.應(yīng)用程序），Ceph管理員通過創(chuàng)建用戶并設(shè)置權(quán)限來控制誰可以訪問、操作CephCluster、Pool或Objects等資源。6.2.認(rèn)證機(jī)制Ceph提供了兩種身份認(rèn)證方式：None和CephX。前者表示客戶端不需要通過密鑰訪問即可訪問Ceph存儲集群，顯然這種方式是不被推薦的。所以我們一般會啟用CephX認(rèn)證系統(tǒng)，通過編輯ceph.conf開啟采用cephx驗證機(jī)制，每個用戶操作ceph時均需要一個表達(dá)身份的Keyring文件。當(dāng)我們在ceph-deploy節(jié)點上操作ceph命令時，系統(tǒng)隱含的認(rèn)為我們是管理員，意即在/etc/ceph/目錄下有一個ceph.client.admin.keyring，對于其他用戶來說，若需要通過cephx驗證，必須為每個用戶創(chuàng)建不同的代表身份的keyring文件，此文件不僅說明了用戶名，還標(biāo)記了用戶所具備的權(quán)限。

Client Monitorgeneialeandencryptsessionkeygeneriiteandencryptticketauthenticategeneialeandencryptsessionkeygeneriiteandencryptticketti'anstnitenci-yptedlsessionkey deci-yptsession4 keyreq.ticketrecvilicketdeciyptticket用戶通過客戶端向MON發(fā)起請求?？蛻舳藢⒂脩裘麄鬟f到MON。MON對用戶名進(jìn)行檢查，若用戶存在，則通過加密用戶密鑰生成一個 sessionkey并返回客戶端。客戶端通過共享密鑰解密sessionkey，只有擁有相同用戶密鑰環(huán)文件的客戶端可以完成解密?？蛻舳说玫絪essionkey后，客戶端持有sessionkey再次向MON發(fā)起請求MON生成一個ticket，同樣使用用戶密鑰進(jìn)行加密，然后發(fā)送給客戶端?？蛻舳送瑯油ㄟ^共享密鑰解密得到ticketo往后，客戶端持有ticket向MON、