支持虛擬化和帶寬分享的網(wǎng)絡(luò)適配器FPGA實現(xiàn)碩士論文

1、電 子 科 技 大 學UNIVERSITY OF ELECTRONIC SCIENCE AND TECHNOLOGY OF CHINA碩士學位論文MASTER THESIS論文題目支持虛擬化和帶寬分享的網(wǎng)絡(luò)適配器FPGA 實現(xiàn)學 科 專 業(yè)通信與信息系統(tǒng)學 號1作 者 姓 名唐 遠 開指 導 教 師謝軍 副教授分類號密級UDC 注 10 位 論 文 支持虛擬化和帶寬分享的網(wǎng)絡(luò)適配器FPGA 實現(xiàn)唐 遠 開指導教師謝軍 副教授電子科技大學成 都（姓名、職稱、單位名稱）申請學位級別 碩士 學科專業(yè) 通信與信息系統(tǒng)提交論文日期 2014 年 5 月 論文答辯日期2014 年 6 月學位授予單位和日期

2、 電子科技大學2014 年 6 月 30 日答辯委員會主席評閱人注 1：注明國際十進分類法 UDC的類號。IMPLEMENTATION OF NETWORK ADAPTER SUPPORTS VIRTUALIZATION AND BANDWIDTH SHARING ON FPGAA Master Thesis Submitted to University of Electronic Science and Technology of ChinaMajor:Information and Communication SystemAuthor:Tang Yuan KaiAdvisor:Xie J

3、unSchool:School of Communication and InformationEngineering獨創(chuàng)性聲明本人聲明所呈交的學位論文是本人在導師指導下進行的研究工作 及取得的研究成果。據(jù)我所知，除了文中特別加以標注和致謝的地方 外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含為 獲得電子科技大學或其它教育機構(gòu)的學位或證書而使用過的材料。與 我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確的 說明并表示謝意。作者簽名：日期： 年 月 日論文使用授權(quán)本學位論文作者完全了解電子科技大學有關(guān)保留、使用學位論文 的規(guī)定，有權(quán)保留并向國家有關(guān)部門或機構(gòu)送交論文的復印

4、件和磁盤， 允許論文被查閱和借閱。本人授權(quán)電子科技大學可以將學位論文的全 部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進行檢索，可以采用影印、縮印或掃描 等復制手段保存、匯編學位論文。（保密的學位論文在解密后應遵守此規(guī)定）作者簽名：導師簽名：日期：年 月摘要摘要伴隨著以太網(wǎng)技術(shù)的快速發(fā)展，萬兆以太網(wǎng)技術(shù)已經(jīng)變得成熟。再加上 CPU 的性能不斷提高，PCI Express 總線的帶寬越來越寬。萬兆以太網(wǎng)以網(wǎng)絡(luò)適配器形 式通過 PCI Express 總線部署在服務(wù)器平臺上已經(jīng)變得現(xiàn)實。與此同時，云計算的 概念被提出后，云計算的熱潮也席卷了各個行業(yè)，眾多 IT 企業(yè)和電信運營商都在 向云計算進軍，都已經(jīng)推出了自己相

5、關(guān)的服務(wù)。隨著虛擬化技術(shù)的發(fā)展和云計算 規(guī)模的壯大，在數(shù)據(jù)中心中的服務(wù)工作量日益增長，租戶數(shù)量也隨之增多，傳統(tǒng) 的數(shù)據(jù)中心網(wǎng)絡(luò)也暴露出了很多局限性。局限性主要集中在可擴展性和資源合理 分配問題上?？蓴U展性是當規(guī)模龐大后再擴建帶來成本高，而且會影響原有的網(wǎng) 絡(luò)服務(wù)質(zhì)量。分配在問題上，像 CPU 和內(nèi)存等硬件資源有合理的分配管理，但是 網(wǎng)絡(luò)帶寬仍然是使用傳統(tǒng)的“盡力而為”方式被共享。網(wǎng)絡(luò)中經(jīng)常會出現(xiàn)堵塞， 租戶正面臨著帶寬分配不公平的困境。網(wǎng)絡(luò)資源的分配變成了一個迫切而棘手的 問題。雖然很多相關(guān)的技術(shù)解決方案目前也有被提出，但是那些解決方案都有各自 的局限性，到目前為止沒有一種完美的解決方案。針對

6、這些問題，本文提出了一 種與機架交換機一起控制發(fā)送帶寬的解決方案，在一定程度上解決了帶寬分享問 題，并將數(shù)據(jù)中心網(wǎng)絡(luò)拓撲中的服務(wù)器端網(wǎng)絡(luò)適配器硬件部分進行了實現(xiàn)。網(wǎng)絡(luò)適配器硬件部分是在 FPGA 上進行實現(xiàn)的，采用 Altera 的 Strativ IV 530芯片。實現(xiàn)中采用的主要技術(shù)如下：硬件使用 DMA 技術(shù)通過 PCI Express 總線與 CPU 實現(xiàn)通信；接口使用萬兆以太網(wǎng)接口；虛擬機隊列的調(diào)度采用差額輪詢調(diào)度。本設(shè)計主要成果如下：整體來說，在一定程度解決帶寬分配問題的同時，擴 展性問題上也有良好的解決。一臺服務(wù)器上支持 16 個虛擬機，一個租戶中的虛擬 機數(shù)量可以軟件動態(tài)控制分

7、配。細節(jié)來說，在支持 PCI Express 2.0 總線基礎(chǔ)上， 采用高性能 DMA 技術(shù)，特別是 DMA 讀內(nèi)存的速率得到大幅提升，以適應本設(shè)計 需求；萬兆以太網(wǎng)接口中將 MAC 層進行了設(shè)計實現(xiàn)；調(diào)度中對差額輪詢調(diào)度在 FPGA 上進行了實現(xiàn)。實現(xiàn)過程中，采用先功能仿真后下板測試，最終設(shè)計得到實 現(xiàn)和驗證。關(guān)鍵詞：網(wǎng)絡(luò)適配器，萬兆以太網(wǎng)，帶寬分享，PCI Express 總線，直接存儲器訪問IABSTRACTABSTRACTWith the rapid development of Ethernet technology, 10-Gigabit Ethernet technology h

8、as become mature. In addition, due to the continues improving CPU performance and the wider and wider bandwidth of PCI Express, it is possible to deploy 10-Gigabit Ethernet on the server platform in the form of network adapter via PCI Express. On the other hand, the development of virtual technology

9、 and the expansion of cloud computing cause a growing number of tenants and increasing workload in the data center. Therefore, limitations in traditional data center network have been revealed, which are concentrated in scalability and rational allocation of resources. The scalability refers to the

10、high costs and reduced network quality brought by scale expansion. And the allocation of resources refers to the best-effort sharing manner of bandwidth unlike the allocation of hardware resources such as the CPU and memory is rational, which will lead to jams and unfair bandwidth allocation. As a r

11、esult, the allocation of network resources has become a critical and difficult issue.Although many related technology solutions have been proposed, they all have some limitations. So far none of them is perfect. To solve these problems, we propose a solution of controlling the egress bandwidth with

12、rack switch together, which solves the problem of bandwidth sharing to a certain degree. Furthermore, we implement the hardware part of the network adapter in server of the data center network topology.The hardware part of network adapter is implemented on the FPGA, by Alteras Strativ IV 530 chip. T

13、he main technologies used are as follows: hardware communicates with the CPU using the DMA technology through the PCI Express; the interface of Ethernet is 10-Gigabit Ethernet; the scheduling of virtual machine queues uses the deficit round-robin scheduling.The main results of the design are as foll

14、ows: in a word, the design solves the bandwidth allocation and the scalability issues to a certain degree. It supports 16 virtual machines on a single server; the number of virtual machines in a tenant can be dynamically distributed and controlled by software. In detail, on the basis of support PCI

15、Express 2.0, using high-performance DMA technology, especially the rate of DMA read memory has been significantly improved to meet the design requirements; the MAC layer in10-Gigabit Ethernet interface has been designed and implemented; theIIABSTRACTdeficit round-robin scheduling has been implemente

16、d on the FPGA. In the process of implementation, we first carry out functional simulation, then test on the board, finally realize and verify the design.Keywords: Network Adapter, 10-Gigabit Ethernet, Bandwidth Sharing, PCI Express， Direct Memory Access( DMA)III目錄目 錄第一章 緒論.11.1研究背景.11.1.1以太網(wǎng)的高速發(fā)展.11

17、.1.2云計算概念的提出.11.2研究問題的提出.21.3研究現(xiàn)狀.31.4論文的主要工作.41.4.1研究內(nèi)容與意義.41.4.2本文的結(jié)構(gòu).4第二章 協(xié)議分析與技術(shù)介紹.62.1萬兆以太網(wǎng).62.1.1萬兆以太網(wǎng)接口.62.1.2無損以太網(wǎng)與擁塞處理.82.2 PCI Express 總線介紹.92.2.1 PCI Express 的優(yōu)越性.92.2.2 PCI Express 總線分層結(jié)構(gòu).112.2.3 PCI Express 總線事務(wù)層介紹.122.2.3.1 事務(wù)層包（TLP）介紹.122.2.3.2 PCI Express 事務(wù)介紹.142.2.4 PCI Express 鏈路初

18、始化和訓練.152.3高性能 DMA 技術(shù).152.3.1 常見的 DMA 傳輸方式.152.3.2 影響 PCI Express 系統(tǒng)上 DMA 傳輸效率的因素分析.162.3.3高性能的存儲器讀寫技術(shù).162.4輪詢調(diào)度技術(shù).182.4.1 FCFS 類型的調(diào)度.182.4.2 RR 類型的調(diào)度.192.4.3 GPS 相關(guān)調(diào)度.192.5本章小結(jié).21第三章 總體設(shè)計的架構(gòu).22IV目錄3.1簡單的數(shù)據(jù)中心的系統(tǒng)部署.223.2帶寬分享要求下各設(shè)備的設(shè)計要求分析.233.3服務(wù)器端網(wǎng)絡(luò)適配器的總體框架.243.3.1網(wǎng)絡(luò)適配器軟件和硬件任務(wù)分配.243.3.2網(wǎng)絡(luò)適配器硬件設(shè)計的總框架.

19、263.4硬件開發(fā)環(huán)境和相關(guān)設(shè)計工具簡介.273.5本章小結(jié).27第四章 硬件設(shè)計方案及 FPGA 實現(xiàn).284.1硬件中的調(diào)度器實現(xiàn).284.1.1調(diào)度器的位置放置選擇.284.1.2調(diào)度器算法的實現(xiàn).294.1.2.1 DRR 算法原理及參數(shù)等級分析.294.1.2.2 本設(shè)計中 DRR 算法的實現(xiàn).304.2 DMA 控制器實現(xiàn).304.2.1接收和發(fā)送引擎模塊的實現(xiàn).314.2.2 DMA 高速寫內(nèi)存的實現(xiàn).344.2.3 DMA 高速讀內(nèi)存的實現(xiàn).354.2.3.1原設(shè)計方案的分析.354.2.3.2多種設(shè)計方案的提出并比較.364.2.3.3最終實現(xiàn)的提速方案.374.2.4中斷管

20、理模塊的實現(xiàn).394.2.5寄存器配置與管理模塊的實現(xiàn).404.3 MAC 層實現(xiàn).404.3.1 MAC 層接收模塊的實現(xiàn).414.3.2 MAC 層發(fā)送模塊的實現(xiàn).434.3.3端到端的流量控制實現(xiàn)方案.434.4關(guān)于本地流量的實現(xiàn)方案.444.5提高帶寬利用率和必要的帶寬限制.464.6本章小結(jié).47第五章 仿真與測試.485.1功能仿真.485.1.1 應用于 PCI Express 上的 DMA 控制器仿真.485.1.1.1仿真平臺的搭建.48V目錄5.1.1.2驗證 PCI Express 硬核是否正常工作.505.1.1.3寫內(nèi)存的仿真.505.1.1.4讀內(nèi)存的仿真.525.

21、1.1.5寄存器配置與管理的仿真.555.1.2調(diào)度器的仿真.565.1.3 MAC 層的仿真.585.1.3.1 MAC 層發(fā)送模塊的仿真.595.1.3.2 MAC 層接收模塊的仿真.595.2 下板測試.605.2.1時序情況.605.2.2功能測試.605.2.2性能測試.625.2.2.1 DMA 讀寫內(nèi)存速率測試.625.2.2.2萬兆以太網(wǎng)和調(diào)度的速率測試.645.3 本章小結(jié).70第六章 結(jié)束語.716.1 論文總結(jié).716.2 工作展望.71致謝.72參考文獻.73攻讀碩士學位期間的研究成果.75VI圖目錄圖目錄圖 2-1 10G 以太網(wǎng)接口結(jié)構(gòu)圖6圖 2-2 以太網(wǎng)幀格式圖

22、7圖 2-3 PCI Express 的雙單工總線11圖 2-4 PCI Express 總線分層結(jié)構(gòu)和相關(guān)的數(shù)據(jù)包類型12圖 2-5 TLP 的基本格式12圖 2-6 通用 TLP 頭標格式13圖 2-7 存儲器讀請求響應的延時累加示意圖17圖 2-8 存儲器讀請求響應的延時覆蓋示意圖17圖 2-9 同時存儲器讀寫時鏈路上的數(shù)據(jù)包18圖 2-10 WFQ 和 WF2Q 使用的調(diào)度模型圖20圖 2-11 WFQ 和 WF2Q 分組選擇上的區(qū)別示意圖20圖 3-1 帶寬分享系統(tǒng)模型22圖 3-2 輸出帶寬控制機制示意圖23圖 3-3 軟件和硬件的調(diào)度任務(wù)分配圖25圖 3-4 網(wǎng)絡(luò)適配器硬件的總框

23、架26圖 4-1 調(diào)度器位置放置方案28圖 4-2 DMA 控制器的模塊劃分圖31圖 4-3 3DW 存儲器請求的 TLP 頭標格式32圖 4-4 3DW 帶數(shù)據(jù)完成的 TLP 頭標格式32圖 4-5 發(fā)送模塊的時序圖33圖 4-6 接收模塊的時序圖33圖 4-7 原方案 DMA 讀內(nèi)存流程圖35圖 4-8 多個描述符組成的描述符塊格式37圖 4-9 DMA 讀內(nèi)存提速的設(shè)計方案38圖 4-10 兩個讀請求后返回的完成時序圖39圖 4-11 中斷模塊時序圖40圖 4-12 MAC 層的模塊劃分圖41圖 4-13 MAC 層接收模塊幀處理流程42圖 4-14 數(shù)據(jù)對齊處理示意圖42圖 4-15

24、純軟件實現(xiàn)本地流量的方案架構(gòu)44VII圖目錄圖 4-16 硬件實現(xiàn)本地流量的方案架構(gòu)45圖 4-17 對端交換機實現(xiàn)本地流量的方案架構(gòu)46圖 5-1 總線功能模型結(jié)構(gòu)圖48圖 5-2 PCI Express 默認下的鏈路訓練信息49圖 5-3 PCI Express 協(xié)商至第二代鏈路訓練信息50圖 5-4 往內(nèi)存寫 64 字節(jié)幀的打印信息51圖 5-5 往內(nèi)存寫 64 字節(jié)幀的時序圖51圖 5-6 往內(nèi)存寫 2000 字節(jié)幀的打印信息52圖 5-7 往內(nèi)存寫 2000 字節(jié)幀的時序圖52圖 5-8 讀內(nèi)存中 2000 字節(jié)的幀打印信息53圖 5-9 讀內(nèi)存中 2000 字節(jié)幀的時序圖53圖 5

25、-10 連續(xù)讀內(nèi)存中 2000 字節(jié)幀的初始讀請求的時序圖54圖 5-11 連續(xù)讀內(nèi)存中 2000 字節(jié)幀的讀請求和完成返回的時序圖54圖 5-12 亂序處理后的延時示意圖54圖 5-13 各個 VM 隊列接收的統(tǒng)計量示意圖55圖 5-14 寄存器配置與管理的打印信息55圖 5-15 配置寄存器的時序圖56圖 5-16 讀取寄存器的時序圖56圖 5-17 調(diào)度器和 MAC 層的仿真平臺結(jié)構(gòu)圖57圖 5-18 調(diào)度器的時序圖58圖 5-19 MAC 層發(fā)送模塊的時序圖59圖 5-20 MAC 層接收模塊的時序圖59圖 5-21 時序分析報告圖60圖 5-22 網(wǎng)卡功能測試場景61圖 5-23 配

26、置 IP 與 Ping 操作61圖 5-24 Ping 操作期間用 Wireshark 抓到的數(shù)據(jù)61圖 5-25 DMA 只讀內(nèi)存速率測試結(jié)果圖62圖 5-26 DMA 只寫內(nèi)存速率測試結(jié)果圖63圖 5-27 DMA 同時讀寫內(nèi)存速率測試結(jié)果圖64圖 5-28 萬兆以太網(wǎng)和調(diào)度的速率測試數(shù)據(jù)流示意圖65圖 5-29 全部無約束下 MAC 層發(fā)送方向速率測試結(jié)果圖66圖 5-30 MAC 層接收方向速率測試結(jié)果圖66圖 5-31 全部無約束下各個虛擬機實際使用帶寬柱形圖67VIII圖目錄圖 5-32 各個虛擬機分配的帶寬權(quán)重值柱形圖67圖 5-33 部分虛擬機帶寬受限下 MAC 層發(fā)送方向速率

27、測試結(jié)果圖68圖 5-34 部分虛擬機帶寬受限下各個虛擬機實際使用帶寬柱形圖68圖 5-35 全部帶寬限制下 MAC 層發(fā)送方向速率測試結(jié)果圖69IX表目錄表目錄表 2-1 各層接收和發(fā)送通路上數(shù)據(jù)對應關(guān)系8表 2-2 PCI Express 各種鏈路上的總帶寬10表 2-3 PCI 和 PCI-X 各種時鐘和位寬的總線帶寬11表 2-4 TLP 中 Fmt 和 Type 字段編碼對應的事務(wù)類型13表 3-1 PCI Express 硬核的參數(shù)表26表 4-1 不同理論等級帶寬與權(quán)重值的對應關(guān)系30表 4-2 狀態(tài)字段編碼與對應意義的描述32表 4-3 DMA 操作全部動作的順序及其描述36表

28、 5-1 仿真中各個虛擬機帶寬權(quán)重值分配表57表 5-2 全部帶寬限制下各個虛擬機使用帶寬與分配的理論帶寬對比表69X縮略詞表縮略詞表英文縮略英文全稱中文釋義FCFibre Channel光纖通道10 GE10-Gigabit Ethernet萬兆以太網(wǎng)PaaSPlatform as a Service平臺即服務(wù)SaaSSoftware as a Service軟件即服務(wù)IaaSInfrastructure as a Service基礎(chǔ)設(shè)施即服務(wù)PHYPhysical Layer物理層RSReconciliation Sublayer調(diào)和子層MACMedia Access Control媒體接

29、入控制XGMII10 Gigabit Media Independent Interface萬兆媒體獨立接口PMDPhysical Medium Dependent物理相關(guān)子層PMAPhysical Medium Attachment物理媒體接入層PCSPhysical Coding Sublayer物理編碼子層CRCCyclic Redundancy Check循環(huán)冗余碼檢驗DMADirect Memory Access直接存儲器訪問PCI ExpressPeripheral Component Interconnect Express高速外設(shè)互連標準PCI-SIGPeripheral Co

30、mponent Interconnect Special周邊元件互連特別興趣Interest Group小組TLPTransaction Layer Packets事務(wù)層包FCFSFirst Come First Serve先來先服務(wù)RRRound Robin輪詢調(diào)度WRRWeighted Round Robin權(quán)重輪詢調(diào)度DRRDeficit Round Robin差額輪詢調(diào)度GPSGeneralized Processor Sharing通用處理器共享WFQWeighted Fair Queuing加權(quán)公平調(diào)度WF2QWorst-case Fair Weighted Fair Queuin

31、g最壞情況加權(quán)公平調(diào)度WF2Q+Worst-case Fair Weighted Fair Queuing+改進的最壞情況加權(quán)公平調(diào)度DRRDeficit Round Robin差額輪詢VMVirtual Machine虛擬機DWDouble Words雙字XI第一章 緒論第一章 緒論1.1 研究背景1.1.1 以太網(wǎng)的高速發(fā)展以太網(wǎng)發(fā)展至今 30 多年，網(wǎng)速、介質(zhì)和技術(shù)都得到跨越式提升。網(wǎng)速上從初 始的 2.94Mbps 提升到了現(xiàn)在的 100Gbps；介質(zhì)上同軸電纜從粗到細，再到雙絞線、 光纖，直到無線網(wǎng)絡(luò)；技術(shù)上從 CSMA/CD 總線結(jié)構(gòu)到交換機，再到無線接入點。 回顧這 30 年時光，以太網(wǎng)經(jīng)歷了多次標準化過程。在 70 年代末，包括以太網(wǎng)在 內(nèi)的多種局域網(wǎng)技術(shù)涌現(xiàn)出來。在 80 年代初，DEC、Intel 和 Xerox 發(fā)布了“以太 網(wǎng)，一種局域網(wǎng)：數(shù)據(jù)鏈路層和物理層規(guī)范 1.0 版”，這為后續(xù)的以太網(wǎng)技術(shù)