視頻行業(yè)的新應(yīng)用FPGA的效率勝過(guò)GPU

視頻行業(yè)的新應(yīng)用，F(xiàn)PGA的效率勝過(guò)GPU（網(wǎng)絡(luò)整理）隨著視頻行業(yè)逐漸進(jìn)入全平臺(tái)、全媒體化后，視頻行業(yè)在數(shù)據(jù)中心的底層技術(shù)上不要不斷投入，更要求快速創(chuàng)新。這也促使搜狐和英特爾早在2011年就創(chuàng)建了聯(lián)合實(shí)驗(yàn)室，英特爾最新技術(shù)會(huì)早于上市之前數(shù)月就率先引入搜狐；搜狐也會(huì)將新的業(yè)務(wù)場(chǎng)景遷移到英特爾的最新技術(shù)和產(chǎn)品，以新場(chǎng)景+新技術(shù)的方式確保視頻用戶的視聽(tīng)體驗(yàn)。其中，視頻轉(zhuǎn)碼是一項(xiàng)關(guān)乎視覺(jué)體驗(yàn)的重要技術(shù)：一是HDR轉(zhuǎn)碼，搜狐視頻自主研發(fā)的HDR轉(zhuǎn)碼系統(tǒng)，將線上各種片庫(kù)進(jìn)行HDR轉(zhuǎn)碼，彌補(bǔ)了HDR視頻源不足的缺陷，從而大幅提升了視頻效果；二是超分辨率，搜狐視頻開(kāi)發(fā)了基于深度學(xué)習(xí)的視頻超分辨率轉(zhuǎn)碼系統(tǒng)，實(shí)現(xiàn)將現(xiàn)有的藍(lán)光視頻到4k視頻的無(wú)損轉(zhuǎn)換，可以提供大量的高質(zhì)量4k視頻源超分辨率；三是老片翻新，搜狐視頻利用AI與轉(zhuǎn)碼系統(tǒng)相結(jié)合構(gòu)建了全自動(dòng)的老片翻新轉(zhuǎn)碼系統(tǒng)，提升了大量老片的畫(huà)面質(zhì)量。值得一提的是，云轉(zhuǎn)碼是搜狐視頻的強(qiáng)項(xiàng)，可以實(shí)現(xiàn)實(shí)時(shí)轉(zhuǎn)碼，即用戶在上傳的時(shí)候就已經(jīng)實(shí)現(xiàn)轉(zhuǎn)碼，上傳完成時(shí)轉(zhuǎn)碼也基本完成，可以立即分發(fā)。此外，一鍵實(shí)現(xiàn)添加濾鏡，人臉識(shí)別，也是AI提升用戶體驗(yàn)的用武之地。帶寬成本高、時(shí)延時(shí)間長(zhǎng)是視頻行業(yè)面臨的首要技術(shù)問(wèn)題，而搜狐視頻多地互聯(lián)，多點(diǎn)同步，多種轉(zhuǎn)碼，就要求具備穩(wěn)定性高，性能高效，技術(shù)協(xié)同的計(jì)算平臺(tái)。尤其值得一提的是，目前搜狐線上視頻全部采用CPU進(jìn)行轉(zhuǎn)碼，發(fā)揮了英特爾CPU技術(shù)和生態(tài)的巨大優(yōu)勢(shì)，因?yàn)橛⑻貭朇PU的指令級(jí)優(yōu)化是GPU上完全不具備的。據(jù)悉，應(yīng)用CPU轉(zhuǎn)碼，片源數(shù)量龐大的搜狐視頻片庫(kù)在三個(gè)月內(nèi)就完成了所有片源的視頻轉(zhuǎn)碼，將老片改頭換面。為此，搜狐視頻在視頻轉(zhuǎn)碼系統(tǒng)中最新應(yīng)用了英特爾第二代至強(qiáng)可擴(kuò)展處理器和英特爾傲騰固態(tài)硬盤(pán)。此外，搜狐視頻和英特爾展開(kāi)了多項(xiàng)聯(lián)合創(chuàng)新，除了硬件在軟件和人工智能等方面也一同合作，比如搜狐視頻與英特爾在軟件定義存儲(chǔ)的性能優(yōu)化、語(yǔ)音識(shí)別應(yīng)用和推薦系統(tǒng)的加速與優(yōu)化、DPDK網(wǎng)絡(luò)負(fù)載均衡加速等方面也有很多探索，這對(duì)加速搜狐視頻在深度學(xué)習(xí)領(lǐng)域的應(yīng)用發(fā)揮了重要的作用。大數(shù)據(jù)和AI融入工作負(fù)載已經(jīng)是大勢(shì)所趨，它們?cè)谧罨鸨亩桃曨l領(lǐng)域應(yīng)用更是如火如荼?？焓值尼绕鹗紫茸寴I(yè)界看到了視頻行業(yè)還可以迅速切分出短視頻這個(gè)潛力巨大的細(xì)分領(lǐng)域。誕生于2013年7月，彼時(shí)4G網(wǎng)絡(luò)和智能手機(jī)開(kāi)始普及，快手也算自帶科技基因。在后續(xù)的發(fā)展中，快手逐步證明自己“應(yīng)科技而生”——使用包括大數(shù)據(jù)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)用機(jī)器代替人力完成內(nèi)容審核，并在內(nèi)容生產(chǎn)、理解、分發(fā)、消費(fèi)、互動(dòng)等業(yè)務(wù)閉環(huán)的各個(gè)環(huán)節(jié)優(yōu)化用戶體驗(yàn)。如果你是短視頻app深度用戶，“娃娃臉”模板你肯定玩過(guò)。別小看這么一個(gè)看似簡(jiǎn)單快捷的功能，它實(shí)際上是在移動(dòng)端實(shí)時(shí)實(shí)現(xiàn)的GAN技術(shù)，類(lèi)似于iPhone手機(jī)上的emoji功能。最大的不同是只有在iPhoneX以上的機(jī)型才能實(shí)現(xiàn)的emoji功能，到了快手這里，哪怕用戶使用的是一千元以下的機(jī)型依舊可以變換自如?，F(xiàn)在，快手?jǐn)?shù)據(jù)總量超過(guò)EB級(jí)，每天的請(qǐng)求數(shù)超過(guò)2億，已經(jīng)儼然成為一家AI+大數(shù)據(jù)驅(qū)動(dòng)的公司。它對(duì)數(shù)據(jù)中心在存儲(chǔ)、網(wǎng)絡(luò)、計(jì)算三個(gè)方面的需求很明確：日均新增超過(guò)1500萬(wàn)個(gè)短視頻，帶來(lái)內(nèi)容數(shù)據(jù)、行為數(shù)據(jù)以及隨之而來(lái)的要對(duì)數(shù)據(jù)進(jìn)行特征提取對(duì)存儲(chǔ)的挑戰(zhàn)；在訓(xùn)練和推理中因?yàn)樘卣鲄?shù)越來(lái)越多，深度學(xué)習(xí)模型越來(lái)越深，模型越來(lái)越大，對(duì)傳輸網(wǎng)絡(luò)帶來(lái)挑戰(zhàn)；千億級(jí)的展示給計(jì)算和內(nèi)存帶來(lái)挑戰(zhàn)。這也使得快手成為第一批采用CPU+FPGA異構(gòu)計(jì)算的企業(yè)。與GPU相比，F(xiàn)PGA因低功耗、低延遲、高性能、可編程等特點(diǎn)，已成為線上AI推理平臺(tái)的重要選項(xiàng)；而GPU并不擅長(zhǎng)推理應(yīng)用場(chǎng)景，而被廣泛應(yīng)用在AI訓(xùn)練平臺(tái)。此外，F(xiàn)PGA相對(duì)GPU還有一個(gè)獨(dú)特的優(yōu)勢(shì)——具備網(wǎng)卡口，這也源于它最早應(yīng)用在通信領(lǐng)域。而針對(duì)FPGA相對(duì)劣勢(shì)——軟件開(kāi)發(fā)難，英特爾推出了OpenCL的開(kāi)發(fā)語(yǔ)言，從而降低了開(kāi)發(fā)難度和開(kāi)發(fā)周期。為此，快手基于英特爾FPGA提供的PACA10、E3S10和PACS10板卡，已經(jīng)構(gòu)建出了三大類(lèi)型的異構(gòu)計(jì)算平臺(tái)，并將在數(shù)據(jù)中心部署FPGA的創(chuàng)新應(yīng)用歸結(jié)為既要“上天”，又要“入地”。“上天”指的是FPGA是部署在云上的，首要問(wèn)題是需要在數(shù)據(jù)中心找到合適的業(yè)務(wù)場(chǎng)景，能夠提供有價(jià)值的解決方案，它需有一定的通用性和規(guī)?；?。具體體現(xiàn)為提高業(yè)務(wù)的服務(wù)容量，這需要充分利用FPGA的優(yōu)勢(shì)之一：確定性的低延時(shí)，來(lái)降低線上服務(wù)的延時(shí)。另外也需要采用一些高層次的開(kāi)發(fā)語(yǔ)言（如OpenCL，甚至OpenVINO這種推理應(yīng)用框架）來(lái)加速硬件交付，以匹配軟件開(kāi)發(fā)的速度?！叭氲亍眲t針對(duì)的是部署，成本、可靠性、穩(wěn)定性、能耗比上的競(jìng)爭(zhēng)力一個(gè)也不能少。另外，快手還利用容器實(shí)現(xiàn)規(guī)模化和彈性部署。具體實(shí)現(xiàn)來(lái)說(shuō)，讓FPGA分擔(dān)計(jì)算為主的工作負(fù)載實(shí)現(xiàn)DRN（DeepRankingNetwork）加速，消除排序網(wǎng)絡(luò)在業(yè)務(wù)高峰期的抖動(dòng)；通過(guò)分塊完成矩陣乘法來(lái)實(shí)現(xiàn)算法到FGPA陣列結(jié)構(gòu)的映射；采用SystolicArray結(jié)構(gòu)，通過(guò)片上大容量分布式SRAM，滿足計(jì)算單元高算力、高帶寬的需求，并降低了功耗。用三個(gè)簡(jiǎn)潔的接口將用軟件封裝好的硬件交付給業(yè)務(wù)使用，滿足動(dòng)態(tài)更新的要求，提供充足的算力。此外，在數(shù)據(jù)處理方面，為了優(yōu)化視頻檢索的時(shí)間，提升高并發(fā)下的檢索效率，快手拋棄了受限于內(nèi)存價(jià)格和單臺(tái)服務(wù)器上內(nèi)存容量的KV數(shù)據(jù)庫(kù)，轉(zhuǎn)投英特爾傲騰數(shù)據(jù)中心級(jí)持久內(nèi)存構(gòu)建了異構(gòu)存儲(chǔ)，在Redis和推薦系統(tǒng)中都所有應(yīng)用。通過(guò)實(shí)踐，快手發(fā)現(xiàn)在滿足業(yè)務(wù)性能需求的前提下，用傲騰持久內(nèi)存代替DRAM內(nèi)存，使得快手該存儲(chǔ)系統(tǒng)整體TCO大幅降低，AI算法效率大幅