FPGA研究設(shè)計(jì)平臺(tái)不斷推動(dòng)網(wǎng)絡(luò)發(fā)展

1、    FPGA研究設(shè)計(jì)平臺(tái)不斷推動(dòng)網(wǎng)絡(luò)發(fā)展        時(shí)間:2011年03月28日     字 體: 大 中 小        關(guān)鍵詞:<"cblue" " target='_blank'>FPGA<"cblue" " target='_blank&#

2、39;>Virtex            斯坦福大學(xué)與賽靈思研究實(shí)驗(yàn)室(Xilinx Research Labs) 聯(lián)手，正在開(kāi)發(fā)專(zhuān)門(mén)面向研究社群的第二代高速網(wǎng)絡(luò)設(shè)計(jì)平臺(tái)Net<"cblue" " title="FPGA">FPGA-10G。該新型平臺(tái)預(yù)計(jì)年內(nèi)完成，其采用最先進(jìn)的技術(shù)，能夠幫助研究人員迅速構(gòu)建高速?gòu)?fù)雜的原型，以解決網(wǎng)絡(luò)領(lǐng)域新出現(xiàn)的技術(shù)問(wèn)題。正如第一代平臺(tái)已在世界各地的大學(xué)中得到廣泛應(yīng)用一樣，

3、我們希望新平臺(tái)能夠催生一個(gè)開(kāi)源社區(qū)，貢獻(xiàn)并共享IP，從而加快創(chuàng)新步伐?；A(chǔ)平臺(tái)為最終用戶(hù)提供了迅速上手所需的所有要素，而開(kāi)源社區(qū)則可以讓研究人員利用彼此的成果，這樣一來(lái)最大限度地減少了理念實(shí)際實(shí)施所需的時(shí)間，從而讓設(shè)計(jì)人員集中精力進(jìn)行創(chuàng)新。2007年，我們開(kāi)發(fā)出了第一代開(kāi)發(fā)板NetFPGA-1G，其采用賽靈思<"cblue" " title="Virtex">Virtex-II Pro 50，主要用于電氣工程和計(jì)算機(jī)科學(xué)系學(xué)生的網(wǎng)絡(luò)硬件教學(xué)。許多電氣工程和計(jì)算機(jī)科學(xué)的畢業(yè)生走上了開(kāi)發(fā)網(wǎng)絡(luò)產(chǎn)品的崗位，我們希望他們能夠有機(jī)會(huì)進(jìn)行實(shí)際操作

4、，親自動(dòng)手使用業(yè)界標(biāo)準(zhǔn)設(shè)計(jì)流程開(kāi)發(fā)以線速運(yùn)行且可植入正在運(yùn)行的網(wǎng)絡(luò)中的硬件。為此，最初的開(kāi)發(fā)板必須具有低成本性。在多家半導(dǎo)體供應(yīng)商的慷慨捐贈(zèng)下，我們得以把設(shè)計(jì)的最終價(jià)格壓到 500 美元以下。結(jié)果許多大學(xué)很快采用了該開(kāi)發(fā)板，目前約有 2,000個(gè)NetFPGA-1G開(kāi)發(fā)板被世界各地的150個(gè)學(xué)院使用。不過(guò)很快NetFPGA就超越了教學(xué)工具的范疇。研究社群逐漸將其用于實(shí)驗(yàn)和原型設(shè)計(jì)。為此，NetFPGA小組提供了免費(fèi)的開(kāi)源參考設(shè)計(jì)，并維護(hù)著有約50項(xiàng)研究人員貢獻(xiàn)的設(shè)計(jì)的設(shè)計(jì)庫(kù)。我們?yōu)樾掠脩?hù)提供支持，運(yùn)行在線論壇，提供輔導(dǎo)資料，舉辦夏令營(yíng)和開(kāi)發(fā)人員技術(shù)座談。可編程技術(shù)勢(shì)在必行10多年以來(lái)，網(wǎng)絡(luò)技術(shù)

5、在交換機(jī)、路由器及其它產(chǎn)品中的發(fā)展越來(lái)越體現(xiàn)出轉(zhuǎn)發(fā)路徑的可編程性。這在很大程度上是因?yàn)殡S著更多隧道格式、服務(wù)質(zhì)量方案、防火墻過(guò)濾器和加密技術(shù)等的問(wèn)世，網(wǎng)絡(luò)硬件日益復(fù)雜化。加上日新月異的標(biāo)準(zhǔn)，可編程技術(shù)勢(shì)在必行，比如說(shuō)使用NPU或FPGA。研究人員往往想改變部分或所有轉(zhuǎn)發(fā)流水線。近來(lái)，有許多人關(guān)注全新的轉(zhuǎn)發(fā)模型，比如OpenFlow。研究人員可以在全國(guó)范圍內(nèi)在國(guó)家級(jí)測(cè)試平臺(tái)上，比如美國(guó)的GENI () 和歐盟的FIRE( http:/cordis.europa.eu/fp7/ict/fire/calls_en.html ) 上試驗(yàn)新型網(wǎng)絡(luò)架構(gòu)。研究人員還越來(lái)越多地將NetFPGA開(kāi)發(fā)板用于新理念

6、的硬件原型設(shè)計(jì)，諸如新的轉(zhuǎn)發(fā)模式、調(diào)度與查找算法，以及新的深層數(shù)據(jù)監(jiān)測(cè)器。NetFPGA開(kāi)發(fā)板上最常見(jiàn)的參考設(shè)計(jì)是功能齊全的開(kāi)源OpenFlow交換機(jī)，可以讓研究人員體驗(yàn)到標(biāo)準(zhǔn)設(shè)計(jì)的各個(gè)變體。另一項(xiàng)常用的參考設(shè)計(jì)則可以通過(guò)鏡像硬件中內(nèi)核路由表并以線速轉(zhuǎn)發(fā)所有數(shù)據(jù)包來(lái)加速計(jì)算機(jī)主機(jī)內(nèi)置的路由功能。第二代NetFPGA在第二代平臺(tái)NetFPGA-10G上，我們添加了易用性，旨在為最終客戶(hù)提供基本的基礎(chǔ)架構(gòu)，以簡(jiǎn)化他們的設(shè)計(jì)工作，這不僅擴(kuò)大了我們的原始設(shè)計(jì)目標(biāo)，而且這個(gè)目標(biāo)與賽靈思主流目標(biāo)設(shè)計(jì)平臺(tái)的目標(biāo)很接近，即除FPGA芯片外，還為客戶(hù)提供工具、IP核和參考設(shè)計(jì)，以加快設(shè)計(jì)流程。為實(shí)現(xiàn)這一目標(biāo)，我

7、們將以基礎(chǔ)IP構(gòu)建塊和特定領(lǐng)域 IP 構(gòu)建塊形式提供與FPGA基礎(chǔ)架構(gòu)設(shè)計(jì)配套的開(kāi)發(fā)板，以增強(qiáng)易用性，縮短開(kāi)發(fā)時(shí)間。我們將進(jìn)一步開(kāi)發(fā)諸如網(wǎng)絡(luò)接口卡和IPv4參考路由器等參考設(shè)計(jì)，以及協(xié)助設(shè)計(jì)構(gòu)建、仿真和調(diào)試的基本基礎(chǔ)架構(gòu)。我們的想法是讓用戶(hù)把開(kāi)發(fā)時(shí)間真正聚焦于他們特定的專(zhuān)業(yè)領(lǐng)域或者專(zhuān)題上，無(wú)需深入了解底層硬件的詳細(xì)情況。與主流目標(biāo)設(shè)計(jì)平臺(tái)不一樣，我們的網(wǎng)絡(luò)平臺(tái)針對(duì)的是一個(gè)與眾不同的最終用戶(hù)群體，即囊括了學(xué)術(shù)研究和商業(yè)研究的這樣一個(gè)龐大的研究群體。為了讓該開(kāi)發(fā)板得到廣泛采用，多家半導(dǎo)體合作伙伴慷慨解囊，期望能將其成本降至最低。賽靈思及Micron、賽普拉斯半導(dǎo)體公司和NetLogic Micro

8、systems等其他主力組件制造商也紛紛在向?qū)W術(shù)界最終用戶(hù)捐贈(zèng)部件（商業(yè)研究人員則需給付更高的價(jià)格）。這個(gè)項(xiàng)目的部分優(yōu)勢(shì)在于這個(gè)平臺(tái)得到了社區(qū)和開(kāi)源硬件庫(kù)的支持，可以以最初的基礎(chǔ)方案為基礎(chǔ)，促進(jìn)軟件、IP核和經(jīng)驗(yàn)的共享。這樣，我們期望在眾多知名大學(xué)、研究群體和企業(yè)的支持下，IP庫(kù)能夠日益擴(kuò)大完善，最終能夠覆蓋各種參考組件、網(wǎng)絡(luò)IP核、軟件和尖端的基礎(chǔ)構(gòu)架。我們還期望通過(guò)提供精心設(shè)計(jì)的框架，用系統(tǒng)的方法對(duì)專(zhuān)業(yè)知識(shí)和IP的共享稍加協(xié)調(diào)，并采用具有標(biāo)準(zhǔn)接口的設(shè)計(jì)精良的即插即用型架構(gòu)，就可以讓開(kāi)源硬件庫(kù)不斷擴(kuò)大，從而催生新一代網(wǎng)絡(luò)問(wèn)題的解決方案。NetFPGA-10G是一種40Gb/s的PCI Exp

9、ress®適配卡，擁有龐大的FPGA架構(gòu)，能夠盡可能多地支持各種應(yīng)用。如圖1 所示，該板卡設(shè)計(jì)以一個(gè)大型的賽靈思 FPGA 器件Virtex-5XC5VTX240T-2 1 為中心。     圖1 圍繞Virtex-5 FPGA構(gòu)建的NetFPGA-10G板卡 FPGA與5個(gè)子系統(tǒng)相連（見(jiàn)圖2）。第一個(gè)子系統(tǒng)是網(wǎng)絡(luò)接口子系統(tǒng)，有4個(gè)帶有物理層器件的10 Gbps以太網(wǎng)接口，用于讓網(wǎng)絡(luò)流量進(jìn)入FPGA。第二個(gè)子系統(tǒng)是存儲(chǔ)子系統(tǒng)，其由多個(gè)QDRII和RLDRAMII組件構(gòu)成。I/O主要用于該接口，用來(lái)為諸如路由表或包緩存這樣的功

10、能提供盡可能高的可用片外帶寬。第三個(gè)子系統(tǒng)是 PCIe 子系統(tǒng)。     圖 2 FPGA開(kāi)發(fā)板與網(wǎng)絡(luò)接口、PCIe、擴(kuò)展、存儲(chǔ)器、配置和電源五個(gè)子系統(tǒng)相連 第四個(gè)子系統(tǒng)是擴(kuò)展接口，用于加載子卡或與其它板卡通信。為此我們把所有剩余的高速串行I/O連接端都接到了兩個(gè)高速接插件上。第五個(gè)子系統(tǒng)是配置子系統(tǒng)，用于FPGA的配置?？傮w而言，該板卡就是作為一個(gè)雙插槽、全尺寸PCIe適配器來(lái)實(shí)現(xiàn)的。使用兩個(gè)插槽是出于散熱、功耗和高度方面的考慮。與高端圖形卡一樣，該板卡需要外接ATX電源，因?yàn)镕PGA在絕對(duì)最大負(fù)載條件下，功耗可能會(huì)超過(guò)單槽PCIe

11、允許的50 W。不過(guò)該板卡也可在服務(wù)器環(huán)境外獨(dú)立運(yùn)行。存儲(chǔ)器子系統(tǒng)我們?cè)O(shè)計(jì)流程的核心焦點(diǎn)是到SRAM和DRAM組件的接口。因?yàn)镕PGA器件上的I/O總數(shù)限制了可用的片外總帶寬，我們必須小心地達(dá)成一定的妥協(xié)，爭(zhēng)取盡量多支持一些應(yīng)用。要支持從網(wǎng)絡(luò)監(jiān)控到安全性、路由、流量管理等各類(lèi)應(yīng)用，會(huì)帶來(lái)很大不同的約束。例如，對(duì)外部存儲(chǔ)器存取來(lái)說(shuō)，網(wǎng)絡(luò)監(jiān)控器會(huì)采用一個(gè)大型的基于流量的統(tǒng)計(jì)表，而且多數(shù)情況下可能還需要一個(gè)流量分類(lèi)查找表。對(duì)兩者的存取都會(huì)帶來(lái)較短的時(shí)延，因?yàn)榱髁糠诸?lèi)需要對(duì)內(nèi)部依賴(lài)性進(jìn)行多次查找，而流量統(tǒng)計(jì)表的更新則一般會(huì)覆蓋整個(gè)讀取修改寫(xiě)入周期。因此，SRAM是合適的器件選擇。不過(guò)流量管理器主要需要

12、大量存儲(chǔ)空間用于包緩存，通常出于密度要求，還會(huì)采用DRAM組件。對(duì)外部存儲(chǔ)器而言，最后可以考慮使用需要路由表查找和包緩存的IPv4路由器?？偨Y(jié)各種應(yīng)用的要求，我們認(rèn)識(shí)到某些功能會(huì)占用外部存儲(chǔ)器帶寬，不管是SRAM還是DRAM。包緩存（要求大量存儲(chǔ)空間）適合采用DRAM，SRAM則更適用于流量分類(lèi)搜索存取、路由表查詢(xún)、基于流量的數(shù)據(jù)統(tǒng)計(jì)表或基于規(guī)則的防火墻、用于包緩沖區(qū)實(shí)現(xiàn)的存儲(chǔ)器管理表以及報(bào)頭隊(duì)列等。所有這些功能都需要逐包執(zhí)行。因此，假定在最?lèi)毫拥那闆r下最小尺寸的包是帶20字節(jié)開(kāi)銷(xiāo)的64字節(jié)，系統(tǒng)需要處理的包率就是大約每秒6000萬(wàn)個(gè)包。其次，我們需要將存取做進(jìn)一步的區(qū)分。首先，許多存儲(chǔ)器組件

13、，比如QDR SRAM 和RLDRAM SIO器件有獨(dú)立的讀/寫(xiě)數(shù)據(jù)總線。由于存取模式不能假定為系統(tǒng)分布，我們就無(wú)法匯聚總的存取帶寬，不得不對(duì)單獨(dú)考慮每項(xiàng)業(yè)務(wù)。另外，還存在第三類(lèi)存取，就是“搜索”。搜索可以通過(guò)基于TCAM的器件很好地完成，搜索時(shí)延固定，且確保能獲得搜索結(jié)果。不過(guò)，出于價(jià)格和功耗方面的考慮，以及TCAM會(huì)進(jìn)一步限制I/O使用，我們不準(zhǔn)備在我們的開(kāi)發(fā)板上使用 TCAM器件。搜索還可以通過(guò)諸如決策樹(shù)、哈希算法和分解法等其他方式來(lái)完成，可采用高速緩存也可不用，僅以這些為例2。為了便于探討，我們假定完成一次搜索平均需要近兩次讀取。鑒于此，以及對(duì)數(shù)據(jù)寬度進(jìn)行了一些慣常的假設(shè)后，我們將我們

14、的要求精簡(jiǎn)為表1所示。    表 SRAM帶寬需求 假定接口上的時(shí)鐘速度為300MHz，那么QDRII接口可以實(shí)現(xiàn)每秒2X300=6億次讀/寫(xiě)存取操作。因此，三個(gè)QDRII x36位的接口就可以滿(mǎn)足我們的所有要求。對(duì)于DRAM存取，我們主要考慮的是包存儲(chǔ)的方便程度，僅從存儲(chǔ)器中對(duì)包進(jìn)行一次讀/寫(xiě)。把包開(kāi)銷(xiāo)從原本進(jìn)入的2x40Gbps中扣除后，這相對(duì)于約62Gbps的存取帶寬。用物理資源來(lái)衡量，RLDRAMII存取可以實(shí)現(xiàn)約97%的效率，而DDR2或DDR3存儲(chǔ)設(shè)備則可能在40%左右3，因此會(huì)要求多得多的I/O。因此我們選擇了RLDRAMII C

15、IO組件。兩個(gè)運(yùn)行在300MHz的64位RLDRAMII接口提供的總帶寬可以大致滿(mǎn)足這個(gè)要求。網(wǎng)絡(luò)接口NetFPGA-10G的網(wǎng)絡(luò)接口由4個(gè)能夠以10Gbps或1Gbps以太網(wǎng)鏈路方式運(yùn)行的子系統(tǒng)構(gòu)成。為了最大化平臺(tái)的利用率和最小化功耗，我們使用了4個(gè)增強(qiáng)型小型封裝可熱插拔(SFP+) 模塊 (cage) 作為物理接口。與XENPAK和XFP等其他 10G 收發(fā)器標(biāo)準(zhǔn)相比，SFP+ 在功耗和尺寸方面有著明顯的優(yōu)勢(shì)。使用SFP+模塊，我們可以支持一系列接口標(biāo)準(zhǔn)，包括10GBase-LR、10GBase-SR、10GBase-LRM和低成本直聯(lián) SFP+ 銅纜（雙同軸）。此外，還可以利用針對(duì)1Gp

16、bs運(yùn)行的SFP模塊，從而支持1000Base-T或1000Base-X物理標(biāo)準(zhǔn)。4個(gè)SFP+模塊每個(gè)都通過(guò)SFI接口連接到一個(gè)NetLogic AEL2005器件。AEL2005是一個(gè)帶有符合IEEE 802.3aq規(guī)范的嵌入式電分散補(bǔ)償引擎的10Gb以太網(wǎng)物理層收發(fā)器。除了常規(guī)的10G模式，該物理層器件還能夠支持千兆位以太網(wǎng) (1G) 模式。在系統(tǒng)側(cè)，這些物理層器件通過(guò)一個(gè)10Gb連接單元接口 (XAUI) 連接到FPGA。在1G模式下工作時(shí)，其中一個(gè)XAUI信道用作串行千兆位介質(zhì)無(wú)關(guān)接口(SGMII)。Virtex-5 FPGA內(nèi)部提供適當(dāng)?shù)腎P核。對(duì)于10Gbps的業(yè)務(wù)，賽靈思推出了X

17、AUI LogiCORETM IP核和10Gb以太網(wǎng)媒體訪問(wèn)控制器 (10GEMAC)LogiCORE IP 核 4,5。對(duì)于1G的業(yè)務(wù)，接口可以直接連接至賽靈思嵌入式三態(tài)以太網(wǎng) MAC 內(nèi)核6。PCIe 子系統(tǒng)NetFPGA-10G平臺(tái)使用開(kāi)放式組件可移植性基礎(chǔ)架構(gòu) (OpenCPI) 作為開(kāi)發(fā)板和計(jì)算機(jī)主機(jī)通過(guò)PCIe互聯(lián)的主要互聯(lián)實(shí)現(xiàn)方式 7。我們目前支持x8的第一代，將來(lái)可能會(huì)升級(jí)到支持第二代。OpenCPI 是一種通用開(kāi)源框架，用于連接使用不同類(lèi)型的通信接口、且?guī)捄蜁r(shí)延要求不同的 IP 模塊（串流、字節(jié)可尋址等）。就其本質(zhì)來(lái)說(shuō)，OpenCPI是一種高度可配置的框架，能夠?yàn)橛糜诳焖賹?shí)

18、現(xiàn)新設(shè)計(jì)的 IP 核提供關(guān)鍵性的通信“橋梁”。OpenCPI為NetFPGA-10G平臺(tái)帶來(lái)了一些關(guān)鍵特性。在軟件側(cè)，我們能夠提供無(wú)干擾 (clean) DMA接口，用于傳輸數(shù)據(jù)（主要是數(shù)據(jù)包，雖然也有其他類(lèi)型的信息）以及通過(guò)編程的輸入/輸出控制器件。對(duì)于網(wǎng)絡(luò)應(yīng)用，我們提供Linux網(wǎng)絡(luò)驅(qū)動(dòng)程序，將網(wǎng)絡(luò)接口導(dǎo)出到NetFPGA器件上的每個(gè)物理以太網(wǎng)端口上。這樣可以讓用戶(hù)空間軟件把網(wǎng)絡(luò)數(shù)據(jù)包傳輸?shù)狡骷?，并且讀取設(shè)計(jì)中任何主機(jī)可視寄存器。在硬件側(cè)，OpenCPI為我們提供了無(wú)干擾、甚至多種數(shù)據(jù)流接口，而且每個(gè)接口都可以通過(guò)OpenCPI框架進(jìn)行配置。此外，OpenCPI能夠處理主機(jī)側(cè)和硬件側(cè)所有

19、的緩存和PCIe事務(wù)處理，這樣用戶(hù)就能夠集中精力進(jìn)行特定應(yīng)用開(kāi)發(fā)，而不必處理器件通信的細(xì)節(jié)。擴(kuò)展接口與配置子系統(tǒng)擴(kuò)展接口子系統(tǒng)的目的是讓用戶(hù)通過(guò)連接第二塊 NetFPGA-10G板卡來(lái)增加端口密度，比如通過(guò)光學(xué)子卡來(lái)豐富網(wǎng)絡(luò)接口特性，或者通過(guò)高速串行接口連接更多搜索組件，比如基于知識(shí)的處理器等。我們將FPGA上的20個(gè)GTX收發(fā)器取出，然后通過(guò)AC耦合傳輸線連接到兩個(gè)高速接插件上。這些接插件是為諸如XAUI、PCIe、SATA和Infiniband這樣的傳輸接口設(shè)計(jì)的，既可以通過(guò)匹配接插件直接連接到另一塊板卡上，也可以通過(guò)電纜組件連接到另一塊板卡上。每條傳輸線經(jīng)測(cè)試雙向傳輸速率均可達(dá)到6.5G

20、bps，從而為進(jìn)出FPGA提供了一條額外的130Gbps數(shù)據(jù)路徑。使用不斷變大的比特流位寬來(lái)配置FPGA，如果器件的配置時(shí)間超過(guò)PCIe的限制，可能就會(huì)出現(xiàn)問(wèn)題。V5TX240T就會(huì)遇到這樣的問(wèn)題：平臺(tái)閃存器件的存取速度遠(yuǎn)遠(yuǎn)低于V5TX240T理論上能夠處理的速度，從而帶來(lái)了瓶頸。作為應(yīng)對(duì)措施，設(shè)計(jì)人員可以考慮配置部分比特流，并通過(guò)并行方式存取平臺(tái)閃存器件，從而以最大速度配置FPGA。為了提高實(shí)現(xiàn)的可能性，我們?yōu)榘蹇ㄅ鋫淞藘蓚€(gè)平臺(tái)閃存器件，可以通過(guò)CPLD連接到FPGA的配置接口。此外，該板卡還支持標(biāo)準(zhǔn)的JTAG編程接口。FPGA設(shè)計(jì)構(gòu)建成功的開(kāi)源庫(kù)的一個(gè)關(guān)鍵因素是嚴(yán)格的架構(gòu)規(guī)范以及標(biāo)準(zhǔn)的、抽

21、象且定義準(zhǔn)確的接口。實(shí)際上，我們認(rèn)為這些接口對(duì)提供一個(gè)能夠輕松地將大型全球性社區(qū)貢獻(xiàn)的組件組合在一起的構(gòu)建塊系統(tǒng)具有重要的意義。標(biāo)準(zhǔn)化保證了物理兼容性，物理連接功能之外的清晰定義避免了對(duì)接口協(xié)議的誤解。在理想的情況下，用戶(hù)可以不對(duì)實(shí)施內(nèi)在的知識(shí)做詳細(xì)了解，就可以部署抽象組件。作為完整平臺(tái)發(fā)布的一部分，我們將提供完備的架構(gòu)規(guī)范和帶有關(guān)鍵組件的參考設(shè)計(jì)。這些關(guān)鍵組件包括： OpenCPI 的 PCIe 端點(diǎn) 4 4 個(gè)XAUI LogiCORE IP模塊和4個(gè)10G模式下的10GEMAC LogiCORE內(nèi)核（后者許可協(xié)議下使用）7、8 2 個(gè)基于XAPP852的RLDRAMII存儲(chǔ)器控制器 8 3 個(gè)基于MIG3.1的QDRII存儲(chǔ)器控制器 9 用以檢查時(shí)鐘頻率和加電完畢信號(hào)，并生成所有所需系統(tǒng)時(shí)鐘的時(shí)鐘及復(fù)位模塊 針對(duì)1G運(yùn)行模式的三態(tài)以太網(wǎng)MAC(TEMAC) 9 用于配置物理層器件的MDIO接口 帶有能夠處理所有管理任務(wù)的支持系統(tǒng)的MicroBlaze控制處理器UART