基于MPI的并行文件傳輸服務(wù)器群.doc

基于MPI的并行文件傳輸服務(wù)器群 黃松林1 王 鵬1, 2 嚴(yán)偉才1 李裕森1 聶 治3(1. 成都信息工程學(xué)院并行計(jì)算實(shí)驗(yàn)室 四川 成都 610225；2. 電子科技大學(xué) 四川 成都 610054；3.成都理工大學(xué) 四川 成都 610059)摘 要：本文運(yùn)用MPI、COM/ActiveX和面向緩存等技術(shù)設(shè)計(jì)并實(shí)現(xiàn)了文件并行傳輸理論的新模型，將傳統(tǒng)的最小負(fù)載均衡調(diào)度單位縮小至低于單文檔大小，并將命令處理和數(shù)據(jù)服務(wù)相分離。文中給出了系統(tǒng)拓?fù)鋱D、命令處理流程圖和核心模塊的設(shè)計(jì)原理圖。實(shí)際測試結(jié)果表明，該系統(tǒng)增強(qiáng)了處理并發(fā)請求的能力和帶寬，大大提高了數(shù)據(jù)傳輸速率，證明了這一設(shè)計(jì)方案的可行性和有效性。關(guān)鍵詞：并行文件傳輸協(xié)議；MPI；并行文件I/O；集群監(jiān)控中圖分類號：TP393文獻(xiàn)標(biāo)識碼：ATree-Structure Web Server Clusters Based on MPIHuang Songlin1 Wang Peng1, 2 Yan Weicai1 Li Yusen1 Nie Zhi3(1.Parallel Computing Laboratory, Chengdu University of Information Technology, Sichuan, Chengdu, 610225; 2. University of Electronic Science and Technology of China, Sichuan, Chengdu, 610054; 3. Chengdu University of Technology, Sichuan Chengdu 610059)Abstract： This paper discusses a new model of paralleled transfer theory of files in detail with technology of MPICOM/ActiveX and caching-oriented,which effectively reduce to single document for traditional least load balance scheduling units.System topology graph、the deal flow charts of command and the diagram of central module are described in the same time.The circulation result shows:this system enhances the ability of parallel query and increases the data transfer velocity, moreover, validates the feasibility of this model. Key Words：PFTP ; MPI; Paralleled File I/O; Cluste Monitor.1 引言隨著網(wǎng)絡(luò)技術(shù)的發(fā)展和普及，人們對FTP傳輸?shù)乃俣扰c穩(wěn)定性要求越來越高。從結(jié)構(gòu)上講，F(xiàn)TP屬于客戶/服務(wù)器結(jié)構(gòu)，是一種簡單的多對一結(jié)構(gòu)，即多臺客戶機(jī)向一臺服務(wù)器發(fā)出請求，此服務(wù)器對各個(gè)客戶機(jī)分時(shí)作出應(yīng)答。隨著并行FTP用戶的增加, 服務(wù)器的網(wǎng)絡(luò)傳輸效率會顯著下降, 表現(xiàn)為：數(shù)據(jù)傳輸速度不穩(wěn)定，服務(wù)器對請求響應(yīng)遲緩，甚至拒絕應(yīng)答,傳統(tǒng)的解決方法是限制客戶的連接數(shù)。本文將并行計(jì)算理論應(yīng)用到傳統(tǒng)的FTP系統(tǒng)中，通過增加服務(wù)器結(jié)點(diǎn)的數(shù)量來增加帶寬和同時(shí)訪問連接數(shù)，并對這些服務(wù)器結(jié)點(diǎn)進(jìn)行集中控制和管理，以確保整個(gè)系統(tǒng)中對用戶是透明的，多臺服務(wù)器節(jié)點(diǎn)并行地傳輸同一個(gè)文件的不同塊，因而既增大了系統(tǒng)帶寬又提高了文件傳輸速度?；谶@種思想的并行文件傳輸服務(wù)器群，可以有效地解決現(xiàn)有FTP系統(tǒng)存在問題1-5。2 MPI及相關(guān)技術(shù)MPI (Message Passing Interface) 是由MPI論壇開發(fā)的一個(gè)非專利且獨(dú)立于平臺的消息傳遞函數(shù)庫的與語言無關(guān)的標(biāo)準(zhǔn)規(guī)范，而不特指某一具體實(shí)現(xiàn)6。MPI是目前最重要的并行編程工具，它具有移植性好、功能強(qiáng)大、效率高等優(yōu)點(diǎn)，而且有多種不同的實(shí)現(xiàn)版本，幾乎所有的并行計(jì)算機(jī)廠商都提供對它的支持，這是其他并行編程環(huán)境所無法比擬的。MPI不僅提供了多種通訊模式，其打/解包收發(fā)不連續(xù)數(shù)據(jù)功能有效的減少了通訊次數(shù)；他的擴(kuò)充版本MPI-2提供文件并行I/O ，能夠方便的實(shí)現(xiàn)文件的并行讀寫。基于這些原因，本文選用了MPI作為服務(wù)端系統(tǒng)的開發(fā)平臺。3 基于MPI的并行文件傳輸服務(wù)器群模型3.1 并行服務(wù)器群的拓?fù)浣Y(jié)構(gòu)服務(wù)器節(jié)點(diǎn)呈層疊結(jié)構(gòu)排列，分為調(diào)度節(jié)點(diǎn)與子結(jié)點(diǎn)。調(diào)度結(jié)點(diǎn)只有一個(gè)，調(diào)度服務(wù)器可能在下層搜尋負(fù)載最輕的子節(jié)點(diǎn)和進(jìn)行并行I/O操作。子結(jié)點(diǎn)有多個(gè)，結(jié)點(diǎn)數(shù)可擴(kuò)展，增加層內(nèi)節(jié)點(diǎn)數(shù)目即可提升系統(tǒng)處理大批量請求的能力。當(dāng)然，服務(wù)樹具體的規(guī)模應(yīng)以實(shí)際需求和單個(gè)服務(wù)器性能而定。監(jiān)控結(jié)點(diǎn)只有一個(gè)，獨(dú)立于服務(wù)器群。如圖1圖1 PFTP系統(tǒng)拓?fù)鋱D【注：11，接收用戶請求。12分析消息中包含的文檔大小，文件并行I/O。13，本地?cái)?shù)據(jù)服務(wù)。14，MPI消息傳遞。15，響應(yīng)客戶請求；21,收集各結(jié)點(diǎn)監(jiān)控?cái)?shù)據(jù)。22，讀取監(jiān)控?cái)?shù)據(jù)】3.2 并行服務(wù)器群的調(diào)度策略傳統(tǒng)的分布式調(diào)度策略和負(fù)載均衡算法所采用的最小調(diào)度單位為文件甚至為本次連接，很難實(shí)現(xiàn)理想中的負(fù)載均衡。我們的目標(biāo)是要設(shè)計(jì)并行服務(wù)的調(diào)度策略。模型中主服務(wù)器（單臺）所維護(hù)的文件索引列表面向緩存，當(dāng)解析到用戶發(fā)出信息為列表目錄時(shí)，立即在該索引表中應(yīng)列表信息并返回用戶；對應(yīng)解析為下載信號時(shí)則根據(jù)用戶所創(chuàng)線程數(shù)和子服務(wù)器實(shí)時(shí)負(fù)載對任務(wù)分解、動(dòng)態(tài)調(diào)度，并由子服務(wù)器（多臺）并行提供數(shù)據(jù)服務(wù)，調(diào)度算法遵循在并行粒度范圍內(nèi)按最輕網(wǎng)絡(luò)流量負(fù)載節(jié)點(diǎn)優(yōu)先調(diào)度的法則，使得各子服務(wù)器在任意時(shí)刻其負(fù)載量均趨于一致，整體負(fù)載更加均衡。具體流程請參考表1。表1 主服務(wù)器處理用戶的不同命令b a獲取列表信息下載文件第一步讀取文件索引表調(diào)用任務(wù)分配算法第二步由主服務(wù)器返回用戶由子服務(wù)器并行返回用戶（a. 用戶命令；b. 主服務(wù)器處理步驟）與分布式系統(tǒng)一樣7, 文件并行傳輸系統(tǒng)(稱為PFTP系統(tǒng))把命令處理和數(shù)據(jù)服務(wù)分離，并分別在不同的機(jī)器上執(zhí)行，能有效的在不增加連接數(shù)的前提下增加帶寬。子服務(wù)器能具體到對某一個(gè)文件進(jìn)行并行服務(wù)，且任一子服務(wù)器間無交互，很容易實(shí)現(xiàn)分布化。主服務(wù)器的內(nèi)存中文件索引列表覆蓋了鏡像子服務(wù)器內(nèi)共享目錄的全部信息。對應(yīng)在子服務(wù)器內(nèi)存有簡化版的文件索引表，只具有文件編號和路徑的映射功能。主服務(wù)器直接返回列表信息于用戶避免的大量的費(fèi)時(shí)的tcp轉(zhuǎn)接操作，而在所有服務(wù)器均設(shè)置文件索引表則優(yōu)化了任務(wù)分配時(shí)的內(nèi)部網(wǎng)絡(luò)通信。主服務(wù)器申請load集合，用于緩存當(dāng)前各子服務(wù)器實(shí)際文件服務(wù)負(fù)載信息，該全局信息為任務(wù)的精確調(diào)度提高了依據(jù)。該load集合的維護(hù)采用異步模式，即能在每次調(diào)度時(shí)直接于內(nèi)存中獲得信息又能根據(jù)子服務(wù)器的狀態(tài)改變或當(dāng)前文件服務(wù)完畢而發(fā)往主服務(wù)器的信號引起主服務(wù)器動(dòng)態(tài)改變load集合的值。子服務(wù)器申請一隊(duì)列用于緩存主服務(wù)器分配的任務(wù)，該隊(duì)列設(shè)有超時(shí)功能，在規(guī)定時(shí)限內(nèi)一旦有用戶通過連接驗(yàn)證立即將對應(yīng)任務(wù)取出并按任務(wù)規(guī)定的偏移量I/O和提高數(shù)據(jù)服務(wù)。3.3 并行服務(wù)器群的MPI實(shí)現(xiàn)3.3.1 文件索引表 本文提出的并行文件傳輸服務(wù)器群建立在MPI的消息傳遞機(jī)制之上. 為了減少主服務(wù)器給子服務(wù)器通信的數(shù)據(jù)量, 在各子服務(wù)器內(nèi)存中維護(hù)了同樣的文件索引表(字符串?dāng)?shù)組), 數(shù)組的下標(biāo)代表文件編號, 相應(yīng)的字符串代表此文件的完整路徑。 主服務(wù)器只需告訴子服務(wù)器文件編號, 子服務(wù)器就能從文件索引表得到完整路徑。 但這樣做的結(jié)果是主服務(wù)器每更改一次文件列表都要對子服務(wù)器上的索引表進(jìn)行更新。而對數(shù)組進(jìn)行增加/減少元素開銷比較大, 但穩(wěn)定運(yùn)行的服務(wù)器都不會經(jīng)常變動(dòng)文件,這種運(yùn)行期間的文件列表更新操作是很少的, 所以不會對服務(wù)器性能造成影響。3.3.2 服務(wù)器命令處理流程圖根據(jù)不同命令的處理情況, 將常用的命令分為以下5個(gè)組。1 申請數(shù)據(jù)通道命令, 用于主服務(wù)器傳送文件列表信息給客戶； 2 讀文件列表命令； 3 寫文件列表命令； 4 讀寫文件命令； 5 其它命令。 主服務(wù)器初始化完成后等待客戶發(fā)送命令請求, 接收到客戶端命令后, 通過命令解析，根據(jù)以上分類，進(jìn)行不同的處理。流程圖如下：圖2 命令處理流程圖本文提出的并行文件傳輸服務(wù)器群建立在MPI的消息傳遞機(jī)制之上。 由主節(jié)點(diǎn)維護(hù)文件列表(沒有數(shù)據(jù)文件)，各子服務(wù)器必須具有相同的文件。 主服務(wù)器根據(jù)子服務(wù)器的負(fù)載進(jìn)行任務(wù)分配, 然后各個(gè)子服務(wù)器同時(shí)發(fā)送數(shù)據(jù)到客戶端。其基本流程圖如下:3.3.3 客戶端的實(shí)現(xiàn)COM (Component Object Model, 組件對象模型)是Microsoft創(chuàng)建的一種編程規(guī)范, 它允許任意兩個(gè)組件互相通信, 在二進(jìn)制級別上重用代碼。 activeX是COM規(guī)范的一個(gè)實(shí)現(xiàn)。 客戶端以activeX插件的形式實(shí)現(xiàn), 它能夠在Microsoft 的 Internet Explorer中被html代碼調(diào)用, 這樣就將c/s和b/s應(yīng)用無縫集成。用戶第一次訪問時(shí)插件將自動(dòng)下載并注冊。 在客戶端的角度看，基本流程如圖3：圖3. 時(shí)序圖3.4 并行服務(wù)器的監(jiān)控模型為了確保服務(wù)器各個(gè)服務(wù)器節(jié)點(diǎn)安全地運(yùn)行，增加一個(gè)節(jié)點(diǎn)作為監(jiān)控節(jié)點(diǎn)，該節(jié)點(diǎn)獨(dú)立運(yùn)行于windows平臺。監(jiān)控內(nèi)容包含: 機(jī)器名,CPU利用率，內(nèi)存利用率,網(wǎng)卡流量，用戶線程數(shù),結(jié)點(diǎn)負(fù)載和系統(tǒng)時(shí)間等。服務(wù)器各結(jié)點(diǎn)每隔一秒寫入一條記錄。為了便于顯示數(shù)據(jù)，采用B/S模式,用圖形把當(dāng)前各個(gè)節(jié)點(diǎn)的狀態(tài)動(dòng)態(tài)地顯示在網(wǎng)頁上。紅色的柱形描述每秒各節(jié)點(diǎn)狀況，曲線圖描述各個(gè)節(jié)點(diǎn)最近10秒的記錄。這樣，管理員即使在遠(yuǎn)程,也能查看到系統(tǒng)的運(yùn)行狀況。4. 系統(tǒng)實(shí)際運(yùn)行性能評價(jià)表2為系統(tǒng)在不同節(jié)點(diǎn)數(shù)的情況下傳輸不同大小的文件所需要的時(shí)間，從表中我們可以看出，采用本文所提出的并行FTP（PFTP）系統(tǒng)后，系統(tǒng)的傳輸速度隨著節(jié)點(diǎn)數(shù)的增加呈線性增長趨勢。證明系統(tǒng)性能達(dá)到我們的設(shè)計(jì)要求。表2 不同節(jié)點(diǎn)數(shù)下系統(tǒng)文件傳輸時(shí)間實(shí)測表 節(jié)點(diǎn)數(shù)文件大小（MB）12341012秒6秒4秒3秒5061秒31秒21秒16秒100124秒42秒43秒32秒200248秒130秒86秒64秒5. 結(jié)語本文通過采用層疊式服務(wù)器結(jié)構(gòu)及MPI作為通訊實(shí)現(xiàn)了并行文件傳輸。基于MPI的并行文件傳輸服務(wù)器群，可以很好地解決文件下載速度與并行連接上限等問題。通過系統(tǒng)數(shù)據(jù)傳輸性能進(jìn)行實(shí)測，取得了良好的效果，驗(yàn)證了這種方案的可行性。該模型具有較高的性價(jià)比，實(shí)現(xiàn)了低成本、高性能服務(wù)器構(gòu)架方法。在理論上，只需增加子服務(wù)器結(jié)點(diǎn)的個(gè)數(shù),即可提高服務(wù)器的性能，這就為網(wǎng)絡(luò)視頻傳輸，網(wǎng)絡(luò)硬盤等存在大量數(shù)據(jù)傳輸?shù)膽?yīng)用提供了一種新的思路。參考文獻(xiàn)：1 Zhang XL,Barrientos M,Chen JBSeltzer M.HACC : An architecture for cluster-based Web servers.Proceedings of the 3rd USENIX Windows NT Symposium.1999.155-164.2 Yang CS, Luo MY. Efficient support for content-based routing in web server clusters.Proceeding of the 2nd USENIX/IEEE Symposium on Internet Technologies and Systems. 1999.3 徐忻,吳介一. Web服務(wù)結(jié)構(gòu)模型的研究與實(shí)現(xiàn)J. 微計(jì)算機(jī)信息，2006，5-3：103-105。4 Cohen A, Rangarajan S, Slye H. On the performance of TCP splicing for URL-