基于FPGA的LZO實時無損壓縮的硬件設計

基于FPGA的LZO實時無損壓縮的硬件設計本文通過對多種壓縮算法作進一步研究對比后發(fā)現(xiàn)，LZO壓縮算法是一種被稱為實時無損壓縮的算法，LZO壓縮算法在保證實時壓縮速率的優(yōu)點的同時提供適中的壓縮率。如圖1（A）給出了Linux操作系統(tǒng)下常見開源壓縮算法的壓縮速率的測試結果，LZO壓縮算法速率極快;如圖1（B）給出了Gzip壓縮算法和LZO壓縮算法的壓縮率測試結構，從圖中可以看出，LZO壓縮算法可以提供平均約50%的壓縮率。1LZO壓縮算法基本原理分析1.1LZO壓縮算法壓縮原理LZO壓縮算法采用（重復長度L，指回距離D）代替當前已經在歷史字符串中出現(xiàn)過的字符串，其中，重復長度是指，后出現(xiàn)的字符串與先出現(xiàn)的字符串中連續(xù)相同部分的長度;指回距離是指，先后兩個相同字符串之間相隔的距離（每個字節(jié)為一個單位）;如果沒出現(xiàn)過（定義為新字符），則首先輸出新字符的個數(shù)，再輸出新字符。例如，待處理的字符串為“ABCDEFGHABCDEFJKLM”，壓縮算法逐個處理字符，處理ABCDEFGH時沒發(fā)現(xiàn)重復字符;處理到ABCDEF時發(fā)現(xiàn)這些字符在歷史字符串中已經出現(xiàn)過，計算重復長度為6，指回距離（當前A離歷史A的距離）為8，則用（6，8）代替ABCDEF;處理到JKLM時沒發(fā)現(xiàn)重復字符，字符串到此處理完畢，則整個字符串被壓縮成：（08）hABCDEFGH（6，8）（04）hJKLM，其中h表示16進制。1.2LZO壓縮算法編碼LZO壓縮后的數(shù)據(jù)需要經過特定的格式進行編碼，如圖2所示，LZO壓縮算法這樣做的目的有兩方面：調整LZO壓縮率，使得LZO適合壓縮重復長度短，但指回距離較長的數(shù)據(jù);使得解壓縮過程更加簡單，解壓縮速度更快，且不需要額外的內存。2LZO壓縮算法硬件設計與加速方案2.1LZO壓縮算法硬件結構如圖3（A）給出了一種LZO壓縮算法的硬件結構，其中輸入緩存模塊：用于緩存DMA傳輸?shù)拇龎嚎s數(shù)據(jù)，為高速緩存模塊提供數(shù)據(jù)源用以進行壓縮操作;高速緩存模塊：臨時緩存待壓縮數(shù)據(jù)，為LZSS壓縮模塊提供待壓縮數(shù)據(jù)，初始化時提前寫入一定量的數(shù)據(jù);LZSS模塊：對待壓縮數(shù)據(jù)進行壓縮處理;字典模塊：存儲壓縮過程中產生的壓縮信息，例如歷史字符串的索引信息，這樣便可為后續(xù)數(shù)據(jù)壓縮提供歷史字符串信息;LZO編碼模塊：對LZSS壓縮后的數(shù)據(jù)按照LZO編碼格式進行編碼，并將編碼數(shù)據(jù)組包成固定長度的數(shù)據(jù)包，方便總線通訊;輸出緩存模塊：緩存編碼后的數(shù)據(jù)，為DMA讀操作提供壓縮后的數(shù)據(jù)源;Avalon總線接口：按照Avalon總線規(guī)范對LZO壓縮算法模塊進行封裝，為后續(xù)集成SOPC提供準備。2.2LZO壓縮算法硬件加速方案（1）分離雙端口RAM為了加速LZO壓縮算法字符串的比對過程，本文提出如圖3（B）所示的分離雙端口RAM的結構，圖中的多路選擇器1用于將待壓縮數(shù)據(jù)交替式寫入雙端口RAM1和雙端口RAM2之一中，多路選擇器2用于將讀取的數(shù)據(jù)交替式輸出。例如，現(xiàn)有字符ABCDEFGHIJ要存入雙端口RAM中，具體如下：ABCD通過多路選擇器1被寫入RAM1中的data1處，EFGH通過多路選擇器1被寫入RAM2中的data2處，IJ通過多路選擇1被寫入data3，此時LZO壓縮算法模塊需要讀取字符串BCDE，則在讀取RAM1中data1處的BCD的同時讀取RAM2中data2處的E，即給RAM1讀地址的同時可以給RAM2讀地址，這樣同一時刻可以讀2處地址對應的內容。相比于一般性雙端口RAM結構，本結構可以實現(xiàn)一次完成讀取操作。做進一步擴展可得出如下結論：若RAM的寬度為W，則讀取字符數(shù)在2W以內時，采用分離雙端口RAM結構可以一次完成讀取操作;則讀取字符數(shù)在2~2W以內時，采用一般性雙端口RAM結構可能要讀兩次。當然，不僅RAM的寬度可以增加，RAM的個數(shù)也可以增加，當RAM的寬度和RAM個數(shù)越大時，完成讀操作只需一次的可能性就越大。（2）塊標記LZO壓縮算法在壓縮每個數(shù)據(jù)塊之前都要對字典模塊進行初始化為0的操作，即對RAM進行寫0操作，然而寫0操作會耗費若干個周期。若字典模塊深度為16K，即RAM的深度為16K，當進行寫0操作時至少花費16K個周期。通常解決此類問題的一種方法是采用乒乓操作的方式，即用兩個字典來交替處理。為了解決初始化帶來的時間花費和資源消耗的問題，本文提出一種如圖3（C）所示的塊標記字典結構，該結構主要包括：LZSS壓縮控制模塊，用于產生壓縮信息，即字符索引及字符所對應的Hash值;flag產生模塊，用于產生0或者1兩種flag標識，表示是當前數(shù)據(jù)塊還是歷史數(shù)據(jù)塊;信息合并模塊，用于將字符索引和flag標識進行合并，然后存入字典模塊。整個結構的工作原理可歸納如下：flag標識0或1表示是當前數(shù)據(jù)塊或歷史數(shù)據(jù)塊，如壓縮第一個數(shù)據(jù)塊時標識為0，壓縮第二個數(shù)據(jù)塊時標識為1，壓縮第三個數(shù)據(jù)塊時標識為0，壓縮第四個數(shù)據(jù)塊時標識為1，如此進行反復;LZSS壓縮控制模塊產生字符索引然后與flag進行合并共同存入通過字符計算出的Hash值對應的地址處。例如，現(xiàn)假設已經壓縮到第二個數(shù)據(jù)塊，則根據(jù)上面的工作原理可知，當前的標識應該為1，在壓縮時取出字典中的信息并判斷第一個bit位，如果第一個bit位為0則說明該壓縮信息是歷史數(shù)據(jù)塊，壓縮信息無效;如果第一個bit位為1則說明可能是當前數(shù)據(jù)塊（因為也有可能是很久以前的數(shù)據(jù)塊），根據(jù)壓縮信息取出相應字符進行比對確認。綜上所述，塊標記字典結構具有如下特點：無需初始化操作，避免了初始化過程帶來的時間花費;摒棄了乒乓操作的思想，節(jié)省了乒乓操作帶來的大量資源的消耗;該結構在片上資源緊缺的情況下是最優(yōu)的選擇。（3）字典分離軟件在實現(xiàn)LZO壓縮算法過程中，當碰撞發(fā)生時，LZO壓縮算法會進行第二次Hash操作，該次Hash操作在第一次Hash操作的基礎上進行偏移。為了提升LZO壓縮算法的壓縮率，本文提出一種如圖3（D）所示的字典分離的結構，當Hash碰撞發(fā)生時，LZO壓縮算法進行第二次Hash操作，但第二次Hash操作對應的字符串索引不再存入第一個字典中，而是單獨開辟一塊RAM空間進行存儲。字典分離結構的總存儲空間增加了字典2的大小，這樣在壓縮文件的過程中，文件的壓縮信息量也會增加?？梢?，該結構可以改進LZO壓縮算法的壓縮率。3LZO壓縮系統(tǒng)集成與測試驗證3.1LZO壓縮系統(tǒng)硬件結構如圖4（A）為LZO壓縮系統(tǒng)SOPC硬件結構，內層虛線表示FPGA，虛線內的模塊有相應的代碼或硬件電路構成，外層虛線表示DE2開發(fā)板，開發(fā)板提供了相應的資源。圖中：PC機通過下載線將待壓縮的數(shù)據(jù)傳送至DE2開發(fā)板上的SDRAM，數(shù)據(jù)經壓縮后再經下載線回傳至PC機;NiosII處理器負責與用戶交互，對待壓縮數(shù)據(jù)進行管理，控制整個SOPC的正常工作;JTAG-UART用于設計過程中的軟件和硬件調試;DMA控制器用于高速數(shù)據(jù)傳輸，它將片外SDRAM中的待壓縮數(shù)據(jù)傳送到LZO壓縮算法模塊，將LZO壓縮算法模塊中被壓縮后的數(shù)據(jù)傳送到片外SDRAM中;LZO壓縮算法模塊用于對用戶傳輸過來的數(shù)據(jù)進行壓縮，它與片外SRAM進行通訊;LCD控制器用于控制LCD的顯示，LCD可顯示LZO壓縮文件開始與結束，增加用戶交互的可視性，例如顯示待壓縮文件的大小，壓縮后的文件大小等;PIO控制LED指示燈的亮與滅，LED燈可用于指示LZO壓縮文件開始與結束，增加用戶交互的可視性;On-chipmemory用于存儲系統(tǒng)啟動時的軟硬件配置等信息;SDRAM控制器用于控制SDRAM與系統(tǒng)數(shù)據(jù)的交換;SDRAM用于存儲指令和數(shù)據(jù);SRAM用于存儲LZO壓縮算法過程中產生的壓縮信息，在硬件設計中扮演字典的角色，采用片外SRAM的原因是考慮到FPGA片內資源可能不夠使用;以上所有涉及到的模塊均采用Avalon總線規(guī)范進行數(shù)據(jù)通信，它們共同掛載到數(shù)據(jù)總線上，Avalon總線具有自身的仲裁結構、地址分析等功能，易于用戶集成開發(fā)。3.2開發(fā)板簡介測試與驗證平臺如圖4（B）所示的DE2開發(fā)板，該開發(fā)板上的核心芯片為Altera公司的CycloneIIEP2C35FPGA。選擇該開發(fā)板作為測試平臺主要基于以下考慮：擁有足夠的片外存儲資源（SDRAM8MB、SRAM512KB）;擁有較豐富的片上邏輯資源（35KLEs）;擁有豐富的可用于調試的外設（LCD、7-segment-displays）;支持NiosII嵌入式軟核;成本較低。3.3測試結果及對比針對LZO壓縮算法模塊和集成后的系統(tǒng)進行板級測試，一方面驗證算法模塊及集成后的系統(tǒng)的功能正確性，另一方面測試分析算法模塊及集成后系統(tǒng)的性能。測試內容包括：數(shù)據(jù)壓縮率（壓縮后的文件大小/壓縮前的