思特奇Infiniband解決方案測試報告

思特奇Infiniband解決方案測試報告北京思特奇信息技術股份有限公司二○一三年五月

目錄1 測試概述 2什么是infiniband(百度百科) 21.1 測試目標 51.2 測試環(huán)境 51.2.1 拓撲結構 51.2.2 詳細配置 61.3 環(huán)境配置 61.3.1 安裝infinibandintel驅動 61.3.2 安裝infiniband開源驅動 81.4 安裝測試軟件netpipe 111.4.1 注意 111.5 InfiniBand性能測試 111.5.1 測試io帶寬 111.5.2 測試網(wǎng)絡延時 131.1 業(yè)務測試 141.1.1 安裝內存數(shù)據(jù)庫 151.1.2 測試兩臺主機間內存查詢吞吐量 151.1.3 測試兩臺主機間Infiniband網(wǎng)絡延時 152 結果驗證 153 結論 15測試概述什么是infiniband(百度百科)InfiniBand架構是一種支持多并發(fā)鏈接的“轉換線纜”技術，在這種技術中，每種鏈接都可以達到2.5Gbps的運行速度。這種架構在一個鏈接的時候速度是500MB/秒，四個鏈接的時候速度是2GB/秒，12個鏈接的時候速度可以達到6GB/秒。HCA卡:單口:雙口:infiniband交換機: infiniband連接線:InfiniBand技術不是用于一般網(wǎng)絡連接的，它的主要設計目的是針對服務器端的連接問題的。因此，InfiniBand技術將會被應用于服務器與服務器（比如復制，分布式工作等），服務器和存儲設備（比如SAN和直接存儲附件）以及服務器和網(wǎng)絡之間（比如LAN，WANs和theInternet）的通信。我們?yōu)槭裁葱枰狪nfiniBand？采用Intel架構的處理器的輸入/輸出性能會受到PCI或者PCI-X總線的限制?？偩€的吞吐能力是由總線時鐘決定的（比如33.3MHz，66.6MHz以及133.3MHz）和總線的寬度（比如32位或者64位）。在最通常的配置中，PCI總線速度被限制在500MB/秒，而PCI-X總線速度被限制在1GB/秒。這種速度上的限制制約了服務器和存儲設備、網(wǎng)絡節(jié)點以及其他服務器通訊的能力。在InfiniBand的技術構想中，InfiniBand直接集成到系統(tǒng)板內，并且直接和CPU以及內存子系統(tǒng)互動。但是，在短期內，InfiniBand支持將由PCI和PCI-X適配器完成；這樣，InfiniBand在最初將會受到總線的制約。在2002年年底，InfiniBand技術將會完全被整合在Intel服務器供應商以及Sun生產(chǎn)的服務器中（80%的可能性）誰在倡導InfiniBand？InfiniBand是由InfiniBand行業(yè)協(xié)會所倡導的。協(xié)會的主要成員是：康柏，戴爾，惠普，IBM，Intel，微軟和Sun。從歷史的角度看，InfiniBand代表了兩種計算潮流的融合：下一代I/O（NGIO）和未來的I-O（FIO）。大部分NGIO和FIO潮流的成員都加入了InfiniBand陣營。InfiniBand是純硬件的嗎？不。InfiniBand的成功還需要軟件--包括很多不同的層。這種技術架構和架構上的代理（服務器，存儲設備，通訊設備，switch以及其他的一些設備）都需要軟件管理。應用軟件也必須適應這種架構。操作系統(tǒng)也必須進行調整以和芯片組進行最優(yōu)化的通信。我們認為InfiniBand的相關軟件的發(fā)展將會成為InfiniBand產(chǎn)品應用的一個瓶頸。但是，到2005年，80%大、中型企業(yè)都會有在數(shù)據(jù)中心環(huán)境下的正式的InfiniBand產(chǎn)品。Windows2000支持InfiniBand嗎？既支持也不支持。在InfiniBand的試制，測試階段，對InfiniBand的支持是由設備供應商的驅動來提供的，而不是直接由操作系統(tǒng)來支持。而且，微軟沒有時間把對InfiniBand的支持加入到它的Windows2000中。不過微軟有可能在2002年第二季度把這種支持添加進來。（60%的可能性）InfiniBand會取代線纜通道嗎？現(xiàn)在還沒有計劃。就象InfiniBand技術完全被整合到服務器的軟件和硬件中需要時間一樣，它被完全整合到存儲設備和SAN中也需要時間。2003年，90%的InfiniBand服務器會采用InfiniBand-線纜通道、InfiniBand-千兆以太網(wǎng)或者InfiniBand-SCSI橋的方式連接網(wǎng)絡上的外接存儲。（90%的可能性）。InfiniBand會取代千兆（或者更快的）以太網(wǎng)嗎？對這個問題的回答是：不會。以太網(wǎng)是應用于高層網(wǎng)絡通信（比如TCP/IP）的技術，而InfiniBand是用于低層輸入/輸出通信的技術。即使以太網(wǎng)達到甚至超過了InfiniBand的速度，高層網(wǎng)絡通信的特點使得它也不能夠成為適合服務器端輸入/輸出的解決方案。總結：InfiniBand架構肩負著改善服務器端輸入/輸出性能的使命。但是，InfiniBand不僅僅是芯片和硬件。為了發(fā)揮應有的作用，硬件和軟件必須充分在操作系統(tǒng)，管理層以及應用層整合起來。按照技術激進程度劃分，“A類型”的企業(yè)將會在2002年第二季度考慮小批量生產(chǎn)InfiniBand產(chǎn)品，而沒有那么激進的企業(yè)可能會等到2003年第一季度或者更遲。如果你還沒有關注InfiniBand，那要準備好應付鋪天蓋地的相關信息，甚至是產(chǎn)品。經(jīng)過多年的醞釀，和使其成為規(guī)范的努力，以及實驗室的開發(fā)。InfiniBand即將橫空出世。不管你最終采用InfiniBand，或是放棄，亦或是等等看看，你都要了解這種用于數(shù)據(jù)中心的新型互聯(lián)技術。InfiniBand產(chǎn)品正逐步進入市場，預計在2003年將有大批產(chǎn)品上市。由康柏、戴爾、惠普、IBM、英特爾、微軟和SUN公司于1999年創(chuàng)建的InfiniBand行業(yè)協(xié)會(IBTA)，現(xiàn)在有180多加公司參加。這些業(yè)界巨人也組成了籌劃指導委員會。自從2000年1月以來，共吸收了3億美元的風險資金，很明顯，InfiniBand是業(yè)界推出的重大項目。存儲網(wǎng)絡界的許多大公司認為，InfiniBand將會作為PCI總線的替代品，首先出現(xiàn)在服務器內部。這樣就很容易解釋為什么他們對InfiniBand互聯(lián)不熱心。但是，沒有什么事情是必然的。隨著啟動的一系列工作，InfiniBand將會很容易地進入存儲網(wǎng)絡。如果InfiniBand確實作為PCI的替代品用于數(shù)據(jù)中心，則會出現(xiàn)這樣的情況，或者InfiniBand證明自己同樣適用網(wǎng)絡傳輸，或者需要進一步的開發(fā)。這就是要關注該技術的原因。或許需要投入時間、資金，并重新規(guī)劃，但是，這會潛在地改進公司的互聯(lián)體系結構。InfiniBand如何工作InfiniBand是一個統(tǒng)一的互聯(lián)結構，既可以處理存儲I/O、網(wǎng)絡I/O，也能夠處理進程間通信(IPC)。它可以將磁盤陣列、SANs、LANs、服務器和集群服務器進行互聯(lián)，也可以連接外部網(wǎng)絡（比如WAN、VPN、互聯(lián)網(wǎng)）。設計InfiniBand的目的主要是用于企業(yè)數(shù)據(jù)中心，大型的或小型的。目標主要是實現(xiàn)高的可靠性、可用性、可擴展性和高的性能。InfiniBand可以在相對短的距離內提供高帶寬、低延遲的傳輸，而且在單個或多個互聯(lián)網(wǎng)絡中支持冗余的I/O通道，因此能保持數(shù)據(jù)中心在局部故障時仍能運轉。如果深入理解，你會發(fā)現(xiàn)InfiniBand與現(xiàn)存的I/O技術在許多重要的方面都不相同。不像PCI、PCI-X、IDE/ATA和SCSI那樣共享總線，因此沒有相關的電子限制、仲裁沖突和內存一致性問題。相反，InfiniBand在交換式互聯(lián)網(wǎng)絡上，采用點到點的、基于通道的消息轉發(fā)模型，同時，網(wǎng)絡能夠為兩個不同的節(jié)點提供多種可能的通道。這些方面，InfiniBand更像以太網(wǎng)，而以太網(wǎng)構成LANs、WANs和互聯(lián)網(wǎng)的基礎。InfiniBand和以太網(wǎng)都是拓撲獨立──其拓撲結構依賴于交換機和路由器在源和目的之間轉發(fā)數(shù)據(jù)分組，而不是靠具體的總線和環(huán)結構。像以太網(wǎng)一樣，InfiniBand能夠在網(wǎng)絡部件故障時重新路由分組，分組大小也類似。InfiniBand的分組大小從256b到4KB，單個消息（攜帶I/O處理的一系列數(shù)據(jù)分組）可以達到2GB。以太網(wǎng)跨越全球，InfiniBand則不同，其主要用于只有幾間機房的數(shù)據(jù)中心，分布于校園內或者位于城市局部。最大距離很大程度上取決于纜線類型（銅線或光纖）、連接的質量、數(shù)據(jù)速率和收發(fā)器。如果是光纖、單模的收發(fā)器和基本數(shù)據(jù)速率的情況下，InfiniBand的最大距離大約是10公里。如同以太網(wǎng)一樣使用交換機和路由器，InfiniBand在理論上能夠跨越更遠的距離，盡管如此，在實際應用中距離要受到更多的限制。為了確保數(shù)據(jù)分組的可靠傳輸，InfiniBand具備諸如反應超時、流控等特點，以防止阻塞造成的分組丟失。延長InfiniBand的距離將降低這些特征的有效性，因為延遲超過了合理的范圍。為了超越數(shù)據(jù)中心的范圍，其它I/O技術必須解決長距離的問題。InfiniBand廠商通過能夠連接到以太網(wǎng)和光纖通道網(wǎng)絡的設備來解決這個問題（光纖通道的最大距離大約為10公里，因此橋接設備使得InfiniBand能夠與現(xiàn)存的用光纖通道連接的校園網(wǎng)絡和城域網(wǎng)絡的分布式數(shù)據(jù)中心相兼容）。測試目標測試IntelQLE7342ckQlogicDual-Port40GBIBtoX8ADAQLE7342-CKInfinibandHCA卡在pc機上的吞吐量以及網(wǎng)絡延遲情況.HCA卡的驅動的安裝硬件管理功能測試IPoIB功能測試IPoIB基本性能測試編譯并行程序測試業(yè)務部門測試(billing的內存庫測試)測試環(huán)境使用兩塊IntelHCA卡,兩臺pc機作為硬件測試平臺拓撲結構詳細配置硬件平臺網(wǎng)絡配置操作系統(tǒng)應用軟件pcserver服務器14*2.67GHz,36GB內存，2塊SATA500GB硬盤eth0：75ib0： CentOSrelease6.3(Final)OFEDnetpipe內存庫軟件pcserver服務器24*2.67GHz,36GB內存，2塊SATA500GB硬盤eth0: 76ib0: CentOSrelease6.3(Final)OFEDnetpipe內存庫軟件環(huán)境配置操作系統(tǒng)均為完全安裝的CentOSrelease6.3(Final)系統(tǒng)。同時還需要另外下載安裝以下一些rpm包：pciutils-devel-2.2.1-16.2.rpmsysfsutils-64bit-1.3.0-14.rpm在Redhat中sysfsutils-64bit庫需要自己編譯。參照如下方法下載sysfsutils-src-1.2.0-1.rpm 解壓rpm2cpiosysfsutils-src-1.2.0-1.rpm|cpio–div //編輯sysfsutils.spec，修改其中Release：64bit #exportCC=’gcc–m64’ #cpsysfsutils-1.2.0.tar.gz/usr/src/redhat/SOURCES/ #rpmbuild-basysfsutils.spec 編譯好的sysfsutils在/usr/src/redhat/RPMS/目錄下安裝infinibandintel驅動第一次安裝intel提供的官方驅動:/SearchResult.aspx?lang=zho&keyword=infiniband按照安裝菜單:1)ViewOFEDInstallationGuide2)InstallOFEDSoftware3)ShowInstalledSoftware4)ConfigureIPoIB5)UninstallOFEDSoftwareQ)ExitSelectOption[1-5]:q安裝后,hca卡狀態(tài)為down,CA'qib0'CAtype:InfiniPath_QLE7342Numberofports:2Firmwareversion:Hardwareversion:2NodeGUID:0x0011750000709a70SystemimageGUID:0x0011750000709a70Port1:State:DownPhysicalstate:SleepRate:40Baselid:2LMC:0SMlid:2Capabilitymask:0x0761086aPortGUID:0x0011750000709a70Linklayer:IBPort2:State:DownPhysicalstate:SleepRate:40Baselid:65535LMC:0SMlid:65535Capabilitymask:0x07610868PortGUID:0x0011750000709a71Linklayer:IB然后咨詢intel專家回復如下:WearenotsupportHCA<>HCAconnected.Butmaybeyouhassomeworkaroundmaybework,youcantry.KeeptheSubnetmanageractiveandworked.#serviceopensmdstartThanmanualenabletheport…##Theworkaroundistorun“ibportstate-D01enable”ononeend.(thatisibportstate-D<HCA><Port>enable.HCAnumbersfrom0,Portnumbersfrom1)##得知intel技術上不支持hca卡互連.安裝infiniband開源驅動從/downloads/OFED/ofed-1.5.3/?下載ofed1.5.3驅動運行命令[root@infini2OFED-]#./install.pl安裝菜單OFEDDistributionSoftwareInstallationMenu1)ViewOFEDInstallationGuide2)InstallOFEDSoftware3)ShowInstalledSoftware4)ConfigureIPoIB5)UninstallOFEDSoftwareQ)ExitSelectOption[1-5]:.選擇2,然后:OFEDDistributionSoftwareInstallationMenu1)Basic(OFEDmodulesandbasicuserlevellibraries)2)HPC(OFEDmodulesandlibraries,MPIanddiagnostictools)3)Allpackages(allofBasic,HPC)4)CustomizeQ)ExitSelectOption[1-4]:選擇3修改mm.h文件vi/usr/src/kernels/2.6.32-279.el6.x86_64/include/linux/mm.h注釋其中代碼:/*int__get_user_pages(structtask_struct*tsk,structmm_struct*mm,unsignedlongstart,intlen,unsignedintfoll_flags,structpage**pages,structvm_area_struct**vmas);*/重新安裝步驟開始1運行命令查看ib卡狀態(tài)[root@infini1~]#ibstatCA'qib0'CAtype:InfiniPath_QLE7342Numberofports:2Firmwareversion:Hardwareversion:2NodeGUID:0x0011750000709a70SystemimageGUID:0x0011750000709a70Port1:State:InitializingPhysicalstate:LinkUpRate:40Baselid:2LMC:0SMlid:2Capabilitymask:0x0761086aPortGUID:0x0011750000709a70Linklayer:IBPort2:State:InitializingPhysicalstate:LinkUpRate:40Baselid:65535LMC:0SMlid:65535Capabilitymask:0x07610868PortGUID:0x0011750000709a71Linklayer:IB發(fā)現(xiàn)hca卡狀態(tài)都是Initializing執(zhí)行命令[root@infini1~]#serviceopensmdrestart在第二主機上重復上述安裝過程查看hca卡狀態(tài)[root@infini1~]#ibstatCA'qib0'CAtype:InfiniPath_QLE7342Numberofports:2Firmwareversion:Hardwareversion:2NodeGUID:0x0011750000709a70SystemimageGUID:0x0011750000709a70Port1:State:ActivePhysicalstate:LinkUpRate:40Baselid:2LMC:0SMlid:2Capabilitymask:0x0761086aPortGUID:0x0011750000709a70Linklayer:IBPort2:State:InitializingPhysicalstate:LinkUpRate:40Baselid:65535LMC:0SMlid:65535Capabilitymask:0x07610868PortGUID:0x0011750000709a71Linklayer:IB分別在兩臺主機配置ipoib[root@infini1~]#ipaa/24devib0[root@infini2~]#ipaa/24devib0兩臺主機互相ping[root@infini1~]#pinginfini2PINGinfini2()56(84)bytesofdata.64bytesfrominfini2():icmp_seq=1ttl=64time=5.72ms64bytesfrominfini2():icmp_seq=2ttl=64time=0.108ms^Cinfini2pingstatistics2packetstransmitted,2received,0%packetloss,time1597msrttmin/avg/max/mdev=0.108/2.915/5.723/2.808ms[root@infini2OFED-]#pinginfini1PINGinfini1()56(84)bytesofdata.64bytesfrominfini1():icmp_seq=1ttl=64time=0.088ms64bytesfrominfini1():icmp_seq=2ttl=64time=0.113ms64bytesfrominfini1():icmp_seq=3ttl=64time=0.095ms64bytesfrominfini1():icmp_seq=4ttl=64time=0.106ms^Cinfini1pingstatistics4packetstransmitted,4received,0%packetloss,time3136msrttmin/avg/max/mdev=0.088/0.100/0.113/0.013ms驅動安裝結束 測試過程具體的測試過程，包括基本功能測試，網(wǎng)絡性能測試兩類，請參看以下幾個步驟。安裝測試軟件netpipe本次測試InfiniBand的網(wǎng)絡性能使用的工具是NETPIPE。并且與千兆以太網(wǎng)做一個性能對比。下載NETPIPE源碼并解壓修改makefile其中的cc選項，在cc后加上-m64然后執(zhí)行make生成NPtcp。這個程序是用來測試以太網(wǎng)性能。我們將分別測試IPoverIB，以及IPoverEthernet再執(zhí)行makeibv生成NPibv。這個程序是用來專門測是InfiniBand的傳輸性能的。執(zhí)行以太網(wǎng)測試方法。infini1#./NPtcp//啟動偵聽服務infini2#./NPtcp–hIP_ADDRESS//啟動測試客戶端,其中IP地址為對應的測試網(wǎng)段的地址測試infiniband方法infini1#./NPibv//啟動偵聽服務infini2#./NPibv–hoceanib1//-h后為遠端的主機名注意在編譯NPibv的時候可能會出現(xiàn)代碼bug,修改ibv.c文件:[root@infini1src]#pwd/work/NetPIPE-3.7.1/src[root@infini1src]#viibv.c修改staticintmax_wq=50000;/*maxwritequeueentries*/為staticintmax_wq=15000;/*maxwritequeueentries*/重新編譯后開始測試過程InfiniBand性能測試測試io帶寬ftp文件以太網(wǎng)ftp測試sftp>getCentOS-6.3-x86_64-bin-DVD1.isoFetching/workmnt/CentOS-6.3-x86_64-bin-DVD1.isotoCentOS-6.3-x86_64-bin-DVD1.iso/workmnt/CentOS-6.3-x86_64-bin-DVD1.iso100%4091MB11.2MB/s06:05測試使用CentOS-6.3-x86_64-bin-DVD1.iso系統(tǒng)鏡像文件,大小4G.ftp時間6分5秒,平均速度11.2MB/Sinfinibandoveripftp測試sftp>getCentOS-6.3-x86_64-bin-DVD1.isoFetching/workmnt/CentOS-6.3-x86_64-bin-DVD1.isot