審計(jì)學(xué)培訓(xùn)講義(-90張)

第二部分端節(jié)點(diǎn)算法學(xué)第二部分端節(jié)點(diǎn)算法學(xué)端節(jié)點(diǎn)算法學(xué)端節(jié)點(diǎn)算法學(xué)：建立高速服務(wù)器的一組系統(tǒng)性技術(shù)，是網(wǎng)絡(luò)算法學(xué)在端節(jié)點(diǎn)（尤其是服務(wù)器）上的運(yùn)用節(jié)點(diǎn)間通信已成為大數(shù)據(jù)分析、深度學(xué)習(xí)等應(yīng)用的主要瓶頸之一隨著網(wǎng)絡(luò)功能虛擬化的提出，將來(lái)數(shù)據(jù)中心絕大部分的網(wǎng)絡(luò)設(shè)備都會(huì)在通用服務(wù)器上實(shí)現(xiàn)端節(jié)點(diǎn)算法學(xué)研究如何減少以下開銷：數(shù)據(jù)拷貝（chapter5）控制轉(zhuǎn)移（chapter6）定時(shí)器（chapter7）解復(fù)用（chapter8）其它一般性協(xié)議處理任務(wù)（chapter9）端節(jié)點(diǎn)算法學(xué)端節(jié)點(diǎn)算法學(xué)：第五章拷貝數(shù)據(jù)第五章拷貝數(shù)據(jù)消除不必要的拷貝（P1）網(wǎng)絡(luò)報(bào)文在收發(fā)和處理的過(guò)程中，通常會(huì)被拷貝多次計(jì)算機(jī)中的數(shù)據(jù)拷貝消耗兩個(gè)寶貴的資源：內(nèi)存帶寬：如果處理一個(gè)報(bào)文涉及k次拷貝，系統(tǒng)吞吐量可能降至1/k內(nèi)存：如果一個(gè)報(bào)文在內(nèi)存中被保存k份，有效內(nèi)存容量降至1/k本章關(guān)注如何消除不必要的拷貝：一個(gè)拷貝如果不是由硬件要求的，該拷貝是不必要的本章還將討論其它影響內(nèi)存使用效率的操作消除不必要的拷貝（P1）網(wǎng)絡(luò)報(bào)文在收發(fā)和處理的過(guò)程中，通常會(huì)5.1為什么要拷貝數(shù)據(jù)應(yīng)用場(chǎng)景：用戶向web服務(wù)器請(qǐng)求一個(gè)靜態(tài)文件服務(wù)器從磁盤讀出文件，發(fā)送到網(wǎng)絡(luò)上兩個(gè)內(nèi)核子系統(tǒng)：文件子系統(tǒng)網(wǎng)絡(luò)子系統(tǒng)5.1為什么要拷貝數(shù)據(jù)應(yīng)用場(chǎng)景：一個(gè)簡(jiǎn)單的故事直觀上，這是一個(gè)簡(jiǎn)單的故事：web應(yīng)用程序通過(guò)一個(gè)系統(tǒng)調(diào)用（讀文件），將文件從磁盤讀入到它的緩沖區(qū)中構(gòu)造一個(gè)HTTP響應(yīng)頭，通過(guò)一個(gè)系統(tǒng)調(diào)用（寫套接字），將響應(yīng)頭和緩沖區(qū)內(nèi)容交給網(wǎng)絡(luò)子系統(tǒng)網(wǎng)絡(luò)子系統(tǒng)將數(shù)據(jù)劃分成適當(dāng)大小的塊，加上各層協(xié)議頭，交給網(wǎng)絡(luò)驅(qū)動(dòng)程序一個(gè)簡(jiǎn)單的故事直觀上，這是一個(gè)簡(jiǎn)單的故事：一個(gè)真實(shí)的故事Copy1：硬盤

文件緩沖區(qū)（內(nèi)核空間）Copy2：文件緩沖區(qū)

應(yīng)用緩沖區(qū)（用戶空間）Copy3：應(yīng)用緩沖區(qū)

套接字緩沖區(qū)（內(nèi)核空間）Copy4：套接字緩沖區(qū)

網(wǎng)卡TCP程序還需要掃描一遍數(shù)據(jù)，計(jì)算TCP檢查和一個(gè)真實(shí)的故事Copy1：資源消耗情況拷貝和TCP檢查和計(jì)算：每個(gè)字需要穿過(guò)內(nèi)存總線7~9次！不同內(nèi)存區(qū)域之間的拷貝（copy2，copy3）：每個(gè)字都要通過(guò)內(nèi)存總線讀一次和寫一次計(jì)算TCP檢查和：每個(gè)字都要通過(guò)內(nèi)存總線讀一次涉及外設(shè)的拷貝（copy1，copy4）：如果由CPU做拷貝（PIO）：每個(gè)字都要通過(guò)內(nèi)存總線讀一次和寫一次如果由設(shè)備做拷貝（DMA）：每個(gè)字只需通過(guò)內(nèi)存總線讀一次或?qū)懸淮紊婕巴庠O(shè)的拷貝都需要消耗I/O總線帶寬資源消耗情況拷貝和TCP檢查和計(jì)算：每個(gè)字需要穿過(guò)內(nèi)存總線7對(duì)服務(wù)器吞吐量的影響在上面的例子中：Web服務(wù)器吞吐量不超過(guò)T/7，T為內(nèi)存速度和內(nèi)存總線速度中的較小值有效的文件緩沖區(qū)大小僅為總?cè)萘康?/3多余的拷貝在兩個(gè)方面損害了服務(wù)器的性能：由于使用了過(guò)多的總線和內(nèi)存帶寬，服務(wù)器的運(yùn)行速度遠(yuǎn)遠(yuǎn)低于總線速度由于使用了過(guò)多的內(nèi)存，服務(wù)器不得不更多地從磁盤而不是主存讀文件如果請(qǐng)求動(dòng)態(tài)內(nèi)容，還要增加一次拷貝（CGI程序web服務(wù)器）對(duì)服務(wù)器吞吐量的影響在上面的例子中：請(qǐng)求動(dòng)態(tài)內(nèi)容Step6：CGI程序?qū)?gòu)造好的網(wǎng)頁(yè)文件，通過(guò)進(jìn)程間通信機(jī)制傳給web服務(wù)器程序，涉及一次拷貝請(qǐng)求動(dòng)態(tài)內(nèi)容Step6：CGI程序?qū)?gòu)造好的網(wǎng)頁(yè)文件，通5.2消除copy4為什么需要copy4？簡(jiǎn)單的解釋：適配器內(nèi)存和內(nèi)核存儲(chǔ)空間不在同一個(gè)硬件上但是，這個(gè)理由并不充分！5.2消除copy4為什么需要copy4？消除Copy4在一個(gè)內(nèi)存映射的體系結(jié)構(gòu)中，設(shè)備寄存器被映射到一塊內(nèi)存區(qū)域，CPU通過(guò)讀寫這塊內(nèi)存區(qū)域與設(shè)備通信理論上，內(nèi)存可以位于總線上的任何地方，包括在適配器中消除copy4的解決方案：利用網(wǎng)絡(luò)適配器中已有的存儲(chǔ)空間（P4，利用系統(tǒng)組件），以及內(nèi)核存儲(chǔ)空間放置的自由度（P13，利用自由度），將套接字緩沖區(qū)放在網(wǎng)絡(luò)適配器中應(yīng)用緩沖區(qū)的內(nèi)容直接拷貝到網(wǎng)絡(luò)適配器的內(nèi)存中消除Copy4在一個(gè)內(nèi)存映射的體系結(jié)構(gòu)中，如何計(jì)算TCP檢查和？如何計(jì)算TCP檢查和？如何計(jì)算檢查和？Witless方法（P2c，共享開銷）：CPU執(zhí)行拷貝，當(dāng)讀入每個(gè)字時(shí)，捎帶計(jì)算檢查和致命的問(wèn)題：接收的時(shí)候，當(dāng)發(fā)現(xiàn)檢查和出錯(cuò)時(shí)數(shù)據(jù)包已被寫入應(yīng)用緩沖區(qū)，與TCP語(yǔ)義不符（所以該方法從未被實(shí)施）Afterburner適配器（TCPoffloadingengine）：數(shù)據(jù)傳輸由網(wǎng)卡通過(guò)DMA完成，檢查和也由網(wǎng)卡計(jì)算TCP連接的管理（建立、關(guān)閉等）仍由主CPU完成，僅將建立好的TCP連接移交給網(wǎng)絡(luò)適配器問(wèn)題：網(wǎng)絡(luò)適配器需要很大的內(nèi)存空間和較強(qiáng)的處理器來(lái)支持大量的TCP連接，網(wǎng)卡成本可能較高如何計(jì)算檢查和？Witless方法（P2c，共享開銷）：5.3消除Copy3為什么需要copy3？應(yīng)用和內(nèi)核使用不同的虛擬地址空間（不是必要的）SocketAPI使用拷貝語(yǔ)義，應(yīng)用和內(nèi)核之間需通過(guò)拷貝解除耦合（必要的）如果拷貝不能避免，那么能否減小拷貝的開銷呢？5.3消除Copy3為什么需要copy3？寫時(shí)拷貝（copy-on-write）當(dāng)應(yīng)用程序?qū)?nèi)核執(zhí)行一個(gè)寫時(shí)拷貝時(shí)，OS將內(nèi)核緩沖區(qū)映射到應(yīng)用緩沖區(qū)的物理內(nèi)存頁(yè)上當(dāng)應(yīng)用程序試圖修改其緩沖區(qū)時(shí)，內(nèi)核進(jìn)行真正的拷貝有些操作系統(tǒng)提供寫時(shí)拷貝，很多情況下可以避免真正的拷貝寫時(shí)拷貝（copy-on-write）當(dāng)應(yīng)用程序?qū)?nèi)核執(zhí)行一寫時(shí)拷貝的實(shí)現(xiàn)舉例：假定進(jìn)程P1的虛擬頁(yè)X映射到物理頁(yè)L上，需要復(fù)制X的內(nèi)容到進(jìn)程P2的虛擬頁(yè)Y當(dāng)P1對(duì)X進(jìn)行寫時(shí)拷貝時(shí)：內(nèi)核修改P2的頁(yè)表，令Y指向物理頁(yè)L將X表項(xiàng)的COW保護(hù)位置位當(dāng)P1試圖寫頁(yè)X時(shí)：硬件讀X的COW位，發(fā)現(xiàn)置位，產(chǎn)生一個(gè)異常操作系統(tǒng)將物理頁(yè)L拷貝到物理頁(yè)L’，清除X的COW位，令X指向L’，Y繼續(xù)指向L

寫時(shí)拷貝的實(shí)現(xiàn)舉例：寫時(shí)拷貝的實(shí)現(xiàn)（續(xù)）對(duì)于不提供寫時(shí)拷貝功能的操作系統(tǒng)（如UNIX和Windows），也可以基于虛擬內(nèi)存實(shí)現(xiàn)類似的功能：可以通過(guò)修改頁(yè)表避免物理拷貝需要找到一種替代COW位的保護(hù)機(jī)制寫時(shí)拷貝的實(shí)現(xiàn)（續(xù)）對(duì)于不提供寫時(shí)拷貝功能的操作系統(tǒng)（如UN5.4優(yōu)化頁(yè)面重映射對(duì)頁(yè)面重映射過(guò)于簡(jiǎn)單的看法：只需修改P2的頁(yè)表（一次寫操作），令VP8指向存放包的物理頁(yè)，所有工作就結(jié)束了

（X）5.4優(yōu)化頁(yè)面重映射對(duì)頁(yè)面重映射過(guò)于簡(jiǎn)單的看法：（X）頁(yè)面重映射的開銷修改多級(jí)頁(yè)表：實(shí)際映射可能要求修改多級(jí)頁(yè)表，當(dāng)頁(yè)表不在內(nèi)存中時(shí)要調(diào)入，并修改目錄頁(yè)要求鎖操作：修改頁(yè)表前要請(qǐng)求鎖，修改后要釋放鎖刷新TLB：新的地址映射寫入頁(yè)表時(shí)，相關(guān)TLB表項(xiàng)要清除或修正在目標(biāo)域中分配虛擬內(nèi)存：系統(tǒng)要在目標(biāo)進(jìn)程中找到一個(gè)空閑的頁(yè)表表項(xiàng)鎖住物理頁(yè)：為防止頁(yè)被換出，必須鎖住物理頁(yè)以上開銷在多處理器系統(tǒng)中會(huì)被放大頁(yè)面重映射雖然只需常數(shù)時(shí)間，但這個(gè)常數(shù)因子非常大結(jié)論：如果只是簡(jiǎn)單地使用頁(yè)表重映射來(lái)避免拷貝，結(jié)果可能不像預(yù)期的那么好頁(yè)面重映射的開銷修改多級(jí)頁(yè)表：在目標(biāo)域中分配虛擬內(nèi)存：結(jié)論：Fbufs（fastbuffers）基本觀察：如果一個(gè)應(yīng)用正在發(fā)送大量的數(shù)據(jù)包，那么一個(gè)包緩沖區(qū)可能會(huì)被重用多次方法一：提前分配好需要的包緩沖區(qū)，并計(jì)算好所有的頁(yè)面映射信息（P2a），發(fā)送時(shí)重復(fù)使用這些包緩沖區(qū)方法二：數(shù)據(jù)傳輸開始時(shí)分配包緩沖區(qū)并計(jì)算頁(yè)面映射，然后將其緩存起來(lái)（P11a），消除后續(xù)包的頁(yè)面映射開銷基本思想：映射一次，重復(fù)使用Fbufs（fastbuffers）基本觀察：為應(yīng)用分配一組固定的物理頁(yè)為避免內(nèi)核空間和用戶空間之間的拷貝，將一組物理頁(yè)P(yáng)1、P2、……、Pk同時(shí)映射給內(nèi)核和應(yīng)用來(lái)使用數(shù)據(jù)包經(jīng)過(guò)的一系列處理程序構(gòu)成一個(gè)有序的安全域序列，定義為一條路徑為隔離不同的應(yīng)用，為每一條路徑預(yù)留固定的一組物理頁(yè)，數(shù)據(jù)包到達(dá)時(shí)立即確定其所屬的路徑（提前解復(fù)用）為應(yīng)用分配一組固定的物理頁(yè)為避免內(nèi)核空間和用戶空間之間的拷貝在路徑上傳遞包緩沖區(qū)描述符對(duì)于每條路徑，適配器有一個(gè)空閑緩沖區(qū)鏈表：適配器把數(shù)據(jù)包寫入一個(gè)空閑緩沖區(qū)，將緩沖區(qū)描述符傳給接收路徑上的下一個(gè)進(jìn)程最后一個(gè)進(jìn)程將用完的緩沖區(qū)交還給第一個(gè)進(jìn)程，緩沖區(qū)重新回到空閑緩沖區(qū)鏈表在路徑上傳遞包緩沖區(qū)描述符對(duì)于每條路徑，適配器有一個(gè)空閑緩沖實(shí)現(xiàn)單向路徑有序的安全域序列是一條單向路徑：規(guī)定第一個(gè)進(jìn)程是writer，其余進(jìn)程是reader（為了提供一定的保護(hù)級(jí)別）給第一個(gè)進(jìn)程的頁(yè)表表項(xiàng)設(shè)置寫允許位，給其它進(jìn)程的頁(yè)表表項(xiàng)設(shè)置只讀位實(shí)現(xiàn)單向路徑有序的安全域序列是一條單向路徑：映射到同一個(gè)物理頁(yè)的虛擬頁(yè)號(hào)應(yīng)相同在進(jìn)程間傳遞緩沖區(qū)描述符的問(wèn)題：理論上，各個(gè)進(jìn)程映射到同一個(gè)物理頁(yè)上的虛擬頁(yè)號(hào)可能不同解決方法：規(guī)定：映射到同一個(gè)物理頁(yè)的虛擬頁(yè)號(hào)必須相同實(shí)現(xiàn)：所有進(jìn)程的虛擬內(nèi)存中一定數(shù)量的起始頁(yè)預(yù)留為fbuf頁(yè)映射到同一個(gè)物理頁(yè)的虛擬頁(yè)號(hào)應(yīng)相同在進(jìn)程間傳遞緩沖區(qū)描述符的收包處理過(guò)程P1進(jìn)程：從freefbufs隊(duì)列取一個(gè)緩沖區(qū)描述符將數(shù)據(jù)包寫入緩沖區(qū)將緩沖區(qū)描述符寫入writtenfbufs隊(duì)列P2進(jìn)程從writtenfbufs隊(duì)列取緩沖區(qū)描述符從相應(yīng)緩沖區(qū)讀數(shù)據(jù)將緩沖區(qū)描述符寫回freefbufs隊(duì)列收包處理過(guò)程P1進(jìn)程：如何添加包頭？在發(fā)送路徑上，每一個(gè)安全域都要給數(shù)據(jù)包加上一個(gè)包頭然而，為了實(shí)現(xiàn)保護(hù)，每條路徑只允許一個(gè)writer，其余為reader問(wèn)題：怎么允許其它安全域添加包頭呢？如何添加包頭？在發(fā)送路徑上，每一個(gè)安全域都要給數(shù)據(jù)包加上一個(gè)定義數(shù)據(jù)包為聚合數(shù)據(jù)結(jié)構(gòu)將數(shù)據(jù)包定義為一個(gè)帶有指針的聚合數(shù)據(jù)結(jié)構(gòu)，每個(gè)指針指向一個(gè)fbuf給數(shù)據(jù)包添加包頭，就是將一個(gè)fbuf添加到聚合數(shù)據(jù)結(jié)構(gòu)中定義數(shù)據(jù)包為聚合數(shù)據(jù)結(jié)構(gòu)將數(shù)據(jù)包定義為一個(gè)帶有指針的聚合數(shù)據(jù)Fbufs總結(jié)Fbufs運(yùn)用了虛擬內(nèi)存映射的思想，通過(guò)在大量數(shù)據(jù)包之間分?jǐn)傢?yè)面映射開銷而做得更高效：包緩沖區(qū)映射一次，重復(fù)使用很多次消除了一般情形中的頁(yè)表更新有人擴(kuò)展了Fbufs思想，并實(shí)現(xiàn)在SunSolaris操作系統(tǒng)中IntelDPDK也運(yùn)用了“一次映射，重復(fù)使用”的思想Fbufs總結(jié)Fbufs運(yùn)用了虛擬內(nèi)存映射的思想，通過(guò)在大量應(yīng)用如何使用Fbufs？大量已有的應(yīng)用軟件是根據(jù)拷貝語(yǔ)義的socketAPI寫的:應(yīng)用執(zhí)行了write()系統(tǒng)調(diào)用后，就可以重用包緩沖區(qū)，甚至釋放包緩沖區(qū)了采用fbufs后：在包緩沖區(qū)被其它進(jìn)程使用完之前，應(yīng)用不允許寫或釋放包緩沖區(qū)應(yīng)用如何使用Fbufs？大量已有的應(yīng)用軟件是根據(jù)拷貝語(yǔ)義的s解決方案：修改應(yīng)用API解決方法：API不再保持拷貝語(yǔ)義應(yīng)用在寫緩沖區(qū)之前必須進(jìn)行判斷安全的實(shí)現(xiàn)方法：當(dāng)一個(gè)fbuf從應(yīng)用傳遞到內(nèi)核后，內(nèi)核翻轉(zhuǎn)一個(gè)寫允許比特，歸還fbuf時(shí)再重新設(shè)置該位若應(yīng)用在不允許寫的情況下做寫操作，會(huì)產(chǎn)生一個(gè)異常，提示出錯(cuò)，但不影響其它進(jìn)程解決方案：修改應(yīng)用API解決方法：已有的網(wǎng)絡(luò)應(yīng)用軟件必須重寫嗎？方法一：給已有的API增加新的系統(tǒng)調(diào)用，要求高性能的應(yīng)用使用新的系統(tǒng)調(diào)用進(jìn)行重寫方法二：用新的擴(kuò)展實(shí)現(xiàn)一個(gè)公共的I/O庫(kù)，鏈接到該庫(kù)的應(yīng)用不需要修改，就可以得到性能提升

實(shí)踐表明，將應(yīng)用移植到類fbuf的API，對(duì)應(yīng)用所做的修改不大，且是局部的，因此fbufs方案是可行的已有的網(wǎng)絡(luò)應(yīng)用軟件必須重寫嗎？方法一：5.5使用RDMA避免拷貝在web服務(wù)器的例子中：Web服務(wù)器接收請(qǐng)求，將文件傳輸?shù)骄W(wǎng)絡(luò)上Web服務(wù)器作為接收端并不需要保存請(qǐng)求消息現(xiàn)考慮在兩個(gè)計(jì)算機(jī)之間傳輸一個(gè)大文件，接收端需要保存收到的數(shù)據(jù)包為減少拷貝，接收端采用以下方式之一收包：采用fbufs采用TOE網(wǎng)卡5.5使用RDMA避免拷貝在web服務(wù)器的例子中：方法一：采用fbufs收包包到達(dá)網(wǎng)卡后，被拷貝到一個(gè)包緩沖區(qū)中包緩沖區(qū)描述符在路徑上傳遞，各安全域處理包應(yīng)用程序?qū)?shù)據(jù)拷貝到應(yīng)用緩沖區(qū)，釋放包緩沖區(qū)（這里需要一次拷貝）方法一：采用fbufs收包包到達(dá)網(wǎng)卡后，被拷貝到一個(gè)包緩沖區(qū)方法二：采用TOE網(wǎng)卡收包包到達(dá)網(wǎng)卡后，被送入套接字緩沖區(qū)進(jìn)行協(xié)議處理和重組DMA控制器將數(shù)據(jù)送入應(yīng)用緩沖區(qū)，向CPU發(fā)出中斷驅(qū)動(dòng)程序通知應(yīng)用接收數(shù)據(jù)應(yīng)用拷貝數(shù)據(jù)到文件緩沖區(qū)，將應(yīng)用緩沖區(qū)歸還給網(wǎng)卡（這里需要一次拷貝）方法二：采用TOE網(wǎng)卡收包包到達(dá)網(wǎng)卡后，被送入套接字緩沖區(qū)進(jìn)直接內(nèi)存訪問(wèn)（DMA）在上述兩種方法中，CPU要參與數(shù)據(jù)傳輸，且數(shù)據(jù)到達(dá)目的計(jì)算機(jī)的內(nèi)存后還要拷貝一次我們知道，使用DMA在外設(shè)和內(nèi)存之間傳輸數(shù)據(jù)，不需要CPU的參與：CPU設(shè)置DMA（給出數(shù)據(jù)的存放地址、長(zhǎng)度等）DMA控制器完成數(shù)據(jù)傳輸DMA控制器通過(guò)中斷通知CPU傳輸完成受DMA的啟發(fā)，能否在兩臺(tái)計(jì)算機(jī)的內(nèi)存之間直接傳輸數(shù)據(jù)，而不需要CPU參與？直接內(nèi)存訪問(wèn)（DMA）在上述兩種方法中，CPU要參與數(shù)據(jù)傳輸遠(yuǎn)程直接內(nèi)存訪問(wèn)（RDMA）RDMA的愿景：數(shù)據(jù)在兩臺(tái)計(jì)算機(jī)的主存之間直接傳輸，不需要CPU參與到數(shù)據(jù)傳輸?shù)倪^(guò)程中兩個(gè)網(wǎng)絡(luò)適配器協(xié)作地從一個(gè)主存讀數(shù)據(jù)，然后寫入另一個(gè)主存遠(yuǎn)程直接內(nèi)存訪問(wèn)（RDMA）RDMA的愿景：RDMA需要解決的問(wèn)題除了需要網(wǎng)卡執(zhí)行協(xié)議處理外，RDMA還需解決兩個(gè)問(wèn)題：接收端適配器如何知道應(yīng)將數(shù)據(jù)放在哪兒？（不能求助CPU）如何保證安全？（發(fā)送進(jìn)程不能隨意寫目標(biāo)終端的內(nèi)存）RDMA需要解決的問(wèn)題除了需要網(wǎng)卡執(zhí)行協(xié)議處理外，RDMA還VAX集群的RDMARDMA在VAX集群中已經(jīng)被使用：VAX系統(tǒng)的核心是一個(gè)140Mb/s的網(wǎng)絡(luò)（稱為ComputerInterconnect，CL），使用一個(gè)以太網(wǎng)風(fēng)格的協(xié)議用戶可以將許多VAX計(jì)算機(jī)和網(wǎng)絡(luò)硬盤連接到CLRDMA的需求背景：在遠(yuǎn)程硬盤和VAX機(jī)的內(nèi)存之間有效傳輸大量數(shù)據(jù)要求包含文件數(shù)據(jù)的包在進(jìn)入目的適配器之后，直接到達(dá)它的存放位置VAX集群的RDMARDMA在VAX集群中已經(jīng)被使用：接收端適配器應(yīng)將數(shù)據(jù)放在哪兒？接收端應(yīng)用鎖住一些物理頁(yè)，用作文件傳輸?shù)哪繕?biāo)存儲(chǔ)區(qū)域（其呈現(xiàn)出來(lái)的邏輯視圖是由地址連續(xù)的虛擬頁(yè)組成的一個(gè)緩沖區(qū)），緩沖區(qū)ID被發(fā)送給發(fā)送端應(yīng)用發(fā)送端應(yīng)用將緩沖區(qū)ID及包存放的偏移量，隨同數(shù)據(jù)包一起發(fā)送到接收端（P10，傳遞線索）接收端適配器根據(jù)緩沖區(qū)ID和偏移量，將數(shù)據(jù)包內(nèi)容存放到指定的位置（一步到位）接收端適配器應(yīng)將數(shù)據(jù)放在哪兒？接收端應(yīng)用鎖住一些物理頁(yè)，用作如何保證目標(biāo)存儲(chǔ)區(qū)域的安全？允許將一個(gè)攜帶緩沖區(qū)ID的網(wǎng)絡(luò)包直接寫入內(nèi)存，是一個(gè)明顯的安全隱患為降低安全風(fēng)險(xiǎn)，緩沖區(qū)ID中包含一個(gè)難以猜測(cè)的隨機(jī)串（防止偽造）VAX集群只在本集群內(nèi)部可信的計(jì)算機(jī)之間使用RDMA傳遞數(shù)據(jù)如何保證目標(biāo)存儲(chǔ)區(qū)域的安全？允許將一個(gè)攜帶緩沖區(qū)ID的網(wǎng)絡(luò)包RDMA的應(yīng)用存儲(chǔ)區(qū)域網(wǎng)（StorageAreaNetwork，SAN）：一種后端網(wǎng)絡(luò)，將大量計(jì)算機(jī)和網(wǎng)絡(luò)硬盤連接在一起目前有好幾種這樣的技術(shù)，都使用了RDMA的思想，如FiberChannel（FC）、iSCSI、Infiniband等數(shù)據(jù)中心支持高性能分布式計(jì)算：大數(shù)據(jù)分析（MapReduce框架）深度學(xué)習(xí)（TensorFlow、Caffe等）RDMA的應(yīng)用存儲(chǔ)區(qū)域網(wǎng)（StorageAreaNetw5.6把避免拷貝技術(shù)擴(kuò)展到文件系統(tǒng)為提高響應(yīng)速度，Copy1是必要的考慮消除copy25.6把避免拷貝技術(shù)擴(kuò)展到文件系統(tǒng)為提高響應(yīng)速度，Copy5.6.1共享內(nèi)存方法類UNIX操作系統(tǒng)提供一個(gè)系統(tǒng)調(diào)用mmap()，允許應(yīng)用（如web服務(wù)器）將一個(gè)文件映射到自己的虛擬地址空間。概念上，當(dāng)一個(gè)文件被映射到一個(gè)應(yīng)用的地址空間，這個(gè)應(yīng)用就好像在自己的內(nèi)存中緩存了這份文件。當(dāng)然，這個(gè)緩存的文件只是一組映射。如果Web程序?qū)⑽募成涞阶约旱牡刂房臻g，則它和文件cache訪問(wèn)的是同一組物理頁(yè)（免除了拷貝）。5.6.1共享內(nèi)存方法類UNIX操作系統(tǒng)提供一個(gè)系統(tǒng)調(diào)用舉例：FlashWeb服務(wù)器Web應(yīng)用程序?qū)⒔?jīng)常用到的文件映射到自己的內(nèi)存空間受到可分配給文件頁(yè)的物理頁(yè)數(shù)量及頁(yè)表映射的限制，F(xiàn)lashWeb服務(wù)器只能緩存和映射最近常用的文件事實(shí)上，F(xiàn)lashWeb服務(wù)器只是緩存了一些文件分片（通常是文件的頭幾個(gè)分片），并使用LRU策略將最近一段時(shí)間未用的文件unmap舉例：FlashWeb服務(wù)器Web應(yīng)用程序?qū)⒔?jīng)常用到的文件FlashWeb尚未解決的問(wèn)題FlashWeb不能避免web服務(wù)器與CGI進(jìn)程之間的拷貝文件緩存只能緩存靜態(tài)內(nèi)容，動(dòng)態(tài)網(wǎng)頁(yè)要由CGI程序生成CGI程序生成的動(dòng)態(tài)內(nèi)容通過(guò)UNIX管道傳給web服務(wù)器；典型地，管道要在兩個(gè)地址空間之間拷貝內(nèi)容到目前為止，我們的方案都沒(méi)有涉及TCP檢查和一個(gè)被訪問(wèn)多次的文件，文件分片都相同，但TCP檢查和未被緩存FlashWeb尚未解決的問(wèn)題FlashWeb不能避免由fbufs和mmap()想到的問(wèn)題fbufs可以消除copy3mmap()可以消除copy2Q：能否將fbufs和mmap()結(jié)合起來(lái)使用，同時(shí)消除copy2和copy3？由fbufs和mmap()想到的問(wèn)題fbufs可以消可以結(jié)合fbufs和mmap嗎？如果采用fbufs：所有進(jìn)程的虛擬內(nèi)存中一定數(shù)量的起始頁(yè)預(yù)留為fbuf頁(yè)應(yīng)用進(jìn)程的應(yīng)用緩沖區(qū)不能使用這些頁(yè)如果應(yīng)用將文件映射到其虛擬地址空間的一個(gè)緩沖區(qū)：這個(gè)緩沖區(qū)不能用fbuf發(fā)送，必須要有一次物理拷貝！當(dāng)用mmap消除copy2時(shí)，copy3不能避免！可以結(jié)合fbufs和mmap嗎？如果采用fbufs：5.6.2IO-LiteIO-Lite將fbufs推廣至包含文件系統(tǒng)，從而不必使用mmapIO-Lite可以一攬子解決前面所有的問(wèn)題：同時(shí)消除copy2和copy3消除CGI程序和web服務(wù)器之間的拷貝緩存?zhèn)魉瓦^(guò)的數(shù)據(jù)塊的檢查和5.6.2IO-LiteIO-Lite將fbufsIO-Lite的主要思想IO-Lite借用了fbufs的主要思想：為同一條路徑上的進(jìn)程映射相同的物理頁(yè)，實(shí)現(xiàn)只讀共享推遲創(chuàng)建路徑的緩沖區(qū)使用緩沖區(qū)聚合以允許添加包頭IO-Lite的主要思想IO-Lite借用了fbufsIO-Lite響應(yīng)Get請(qǐng)求IO-Lite響應(yīng)Get請(qǐng)求IO-Lite響應(yīng)Get請(qǐng)求的步驟當(dāng)文件第一次從磁盤讀入文件系統(tǒng)的高速緩存時(shí)，文件頁(yè)被保存為IO-Litebuffer當(dāng)應(yīng)用通過(guò)一個(gè)系統(tǒng)調(diào)用讀文件時(shí)，創(chuàng)建一個(gè)緩沖區(qū)聚合體，指針指向IO-Litebuffer當(dāng)應(yīng)用發(fā)送文件給TCP時(shí)，網(wǎng)絡(luò)子系統(tǒng)得到一個(gè)指向相同IO-Lite頁(yè)的指針應(yīng)用將常用文件的HTTP響應(yīng)頭維護(hù)在一個(gè)高速緩存中IO-Lite給每個(gè)緩沖區(qū)分配一個(gè)編號(hào)，TCP模塊維護(hù)一個(gè)以緩沖區(qū)編號(hào)為索引的檢查和高速緩存<緩沖區(qū)ID，檢查和>IO-Lite響應(yīng)Get請(qǐng)求的步驟當(dāng)文件第一次從磁盤讀實(shí)現(xiàn)零拷貝的管道IO-Lite也可以用來(lái)實(shí)現(xiàn)一個(gè)消除了拷貝的改良型管道程序（傳遞IO-Litebuffer的指針而不是拷貝）將改良后的管道應(yīng)用到CGI程序和web服務(wù)器之間，可以消除冗余的拷貝IO-Lite已經(jīng)在UNIX中實(shí)現(xiàn)了實(shí)現(xiàn)零拷貝的管道IO-Lite也可以用來(lái)實(shí)現(xiàn)一個(gè)消除了拷貝的5.6.3使用I/O拼接避免文件系統(tǒng)拷貝I/O拼接的基本思想：引入一個(gè)新的系統(tǒng)調(diào)用sendfile()，允許內(nèi)核將讀文件的調(diào)用和向網(wǎng)絡(luò)發(fā)送消息的調(diào)用合并文件到socket傳輸?shù)膫鹘y(tǒng)方法需兩次系統(tǒng)調(diào)用： read(file,tem_buf,len); write(socket,tmp_buf,len);使用sendfile()傳輸文件到socket： sendfile(socket,file,len);5.6.3使用I/O拼接避免文件系統(tǒng)拷貝I/O拼接的基本內(nèi)核2.1版本的sendfile實(shí)現(xiàn)調(diào)用sendfile()時(shí)：文件數(shù)據(jù)先被拷貝到內(nèi)核中的文件緩沖區(qū)（copy1）然后從文件緩沖區(qū)拷貝到內(nèi)核中的socket緩沖區(qū)（合并copy2和copy3）最后從socket緩沖區(qū)拷貝到適配器（copy4）與read/write方式相比，減少了一次拷貝內(nèi)核2.1版本的sendfile實(shí)現(xiàn)調(diào)用sendfile()內(nèi)核版本2.4之后的sendfile實(shí)現(xiàn)調(diào)用sendfile()時(shí)：文件數(shù)據(jù)先被拷貝到內(nèi)核中的文件緩沖區(qū)（copy1）將記錄數(shù)據(jù)位置和長(zhǎng)度的信息保存到socket緩沖區(qū)數(shù)據(jù)通過(guò)DMA通道直接發(fā)送到適配器（copy4）消除了copy2和copy3基于sendfile的機(jī)制不能推廣到與CGI程序通信Sendfile()已用于Apache、Nginx、Lighttpd等web服務(wù)器中內(nèi)核版本2.4之后的sendfile實(shí)現(xiàn)調(diào)用sendfile5.8擴(kuò)展到數(shù)據(jù)操作之外消除數(shù)據(jù)拷貝是為了避免冗余的數(shù)據(jù)讀/寫操作，以減少對(duì)內(nèi)存和內(nèi)存總線的壓力除拷貝外，對(duì)內(nèi)存總線使用效率影響較大的因素還有Cache5.8擴(kuò)展到數(shù)據(jù)操作之外消除數(shù)據(jù)拷貝是為了避免冗余的數(shù)據(jù)5.8.1有效使用I-cache處理器包含一個(gè)或多個(gè)數(shù)據(jù)cache（d-cache），以及一個(gè)或多個(gè)指令cache（I-cache）：一般而言，包數(shù)據(jù)幾乎不能從d-cache獲得好處處理數(shù)據(jù)包需要的狀態(tài)可以從d-cache獲益處理數(shù)據(jù)包的程序代碼可以從I-cache獲益數(shù)據(jù)、狀態(tài)、代碼都可能競(jìng)爭(zhēng)內(nèi)存帶寬，相比而言，代碼對(duì)內(nèi)存帶寬的競(jìng)爭(zhēng)更嚴(yán)重：以太網(wǎng)上最大的數(shù)據(jù)包為1.5KB處理一個(gè)包需要的狀態(tài)一般較小，比如一個(gè)連接表項(xiàng)1995年NetBSDTCP協(xié)議棧代碼34KB（不包括應(yīng)用協(xié)議代碼）I-cache容量很小，數(shù)據(jù)包處理代碼不可能都在I-cache中！5.8.1有效使用I-cache處理器包含一個(gè)或多個(gè)數(shù)I-Cache的實(shí)現(xiàn)特點(diǎn)（1）大多數(shù)處理器使用直接映射的I-cache：內(nèi)存地址的低位比特用來(lái)檢索I-cache條目如果高位比特匹配，直接從I-cache返回內(nèi)容若不匹配，進(jìn)行一個(gè)內(nèi)存訪問(wèn)，用新的內(nèi)容替換原來(lái)的條目對(duì)于32KB的I-cache，內(nèi)存地址最低15位相同的指令被映射到cache的同一位置問(wèn)題一：被映射到I-cache同一位置的代碼會(huì)被輪流替換出去，即使它們都是經(jīng)常使用的代碼。I-Cache的實(shí)現(xiàn)特點(diǎn)（1）大多數(shù)處理器使用直接映射的I-I-Cache的實(shí)現(xiàn)特點(diǎn)（2）每一個(gè)I-cache條目包含多條指令，可以看成是一個(gè)代碼塊：當(dāng)取一條指令時(shí)，同一個(gè)代碼塊中的全部指令都會(huì)被讀入（基于空間局部性假設(shè)做的優(yōu)化）問(wèn)題二：不常用的代碼會(huì)被讀入I-cache，如果它與常用代碼在一個(gè)塊中。I-Cache的實(shí)現(xiàn)特點(diǎn)（2）每一個(gè)I-cache條目包含多舉例許多網(wǎng)絡(luò)代碼包含錯(cuò)誤檢查，比如： ifconditionTdoX,elsedoZ雖然Z幾乎從不被執(zhí)行，但是編譯器通常會(huì)將Z的代碼緊跟在X的后面如果X和Z位于同一個(gè)指令塊中，取經(jīng)常使用的代碼X，會(huì)把不經(jīng)常使用的代碼Z也取進(jìn)來(lái)，浪費(fèi)了內(nèi)存帶寬和cache空間舉例許多網(wǎng)絡(luò)代碼包含錯(cuò)誤檢查，比如：?jiǎn)栴}與解決方案以上兩個(gè)結(jié)果和我們對(duì)于cache的一般預(yù)期不同：經(jīng)常使用的代碼不一定在cache中：由一個(gè)不完美的映射函數(shù)引起不常使用的代碼可能被經(jīng)常調(diào)入cache：由cache對(duì)空間局部性的優(yōu)化引起如何解決以上問(wèn)題？重新組織代碼，將經(jīng)常使用的代碼連續(xù)放置問(wèn)題與解決方案以上兩個(gè)結(jié)果和我們對(duì)于cache的一般預(yù)期不同重新組織代碼如果工作集超過(guò)了I-cache的大小，第一個(gè)問(wèn)題仍會(huì)出現(xiàn)，但會(huì)減少，而第二個(gè)問(wèn)題能夠得到很大程度的緩解代碼布局的基本思想：通過(guò)優(yōu)化代碼在內(nèi)存中的位置，減少代碼的換入換出重新組織代碼如果工作集超過(guò)了I-cache的大小，第一個(gè)問(wèn)題新的問(wèn)題處理包的協(xié)議代碼肯