浪潮NF5568M4支撐七牛高并發(fā)鑒黃服務(wù)

1、 浪潮NF5568M4支撐七牛高并發(fā)鑒黃服務(wù) 浪潮NF5568M4支撐七牛高并發(fā)鑒黃服務(wù)客戶信息七牛云網(wǎng)站：組織規(guī)模：行業(yè)：摘要網(wǎng)絡(luò)直播的火熱也伴隨著隱憂，非法視頻層出不窮讓人力鑒黃無(wú)法滿足直播平臺(tái)的需求，基于人工智能的機(jī)器鑒黃逐漸成為最佳解決方案。浪潮為七牛提提供NF5568M4 GPU服務(wù)器，以超高并行計(jì)算能力，保證直播平臺(tái)視頻實(shí)時(shí)、精準(zhǔn)鑒定。項(xiàng)目背景2015年，網(wǎng)絡(luò)直播突然間變得炙手可熱，不僅催生出各類網(wǎng)紅，更是形成了完整的直播經(jīng)濟(jì)。截至2016年6月，網(wǎng)絡(luò)直播用戶規(guī)模就已經(jīng)達(dá)到3.25億，而當(dāng)時(shí)的網(wǎng)民的總體數(shù)量為7.1億，也就是說(shuō)45.8%的網(wǎng)民都在使用直播服務(wù)。據(jù)預(yù)測(cè)，直播行業(yè)市場(chǎng)規(guī)

2、模將從2016年的150億元增至2020年的600億元，年復(fù)合增長(zhǎng)率為41%，其中移動(dòng)直播CAGR將高達(dá)84%！火爆的直播業(yè)務(wù)催生出“機(jī)器鑒黃師”但是伴隨著直播的超高速發(fā)展，直播業(yè)務(wù)也出現(xiàn)了一些隱憂。2016年6月，9家網(wǎng)絡(luò)直播平臺(tái)的40名主播遭到封禁，而封禁的原因是：涉黃。而這只是冰山一角，更多的主播涉黃案例層出不窮。因此國(guó)家網(wǎng)信辦發(fā)布互聯(lián)網(wǎng)直播服務(wù)管理規(guī)定，其中明確了四個(gè)關(guān)鍵詞：雙資質(zhì)、總編輯、先審后發(fā)、即時(shí)阻斷，也就是說(shuō)平臺(tái)需要牌照，主播需要實(shí)名，并設(shè)置總編輯來(lái)進(jìn)行總體負(fù)責(zé)。規(guī)定中更重要是先審后發(fā)和即時(shí)阻斷兩項(xiàng)措施，這要求所有的直播平臺(tái)對(duì)主播的視頻內(nèi)容進(jìn)行提前審核，并且在直播過(guò)程中出現(xiàn)違

3、禁行為時(shí)立即進(jìn)行阻斷。這兩劑強(qiáng)心針對(duì)直播環(huán)境的優(yōu)化起著立竿見(jiàn)影的效果，但是，這卻讓直播服務(wù)商們有些頭疼，如何審核平臺(tái)數(shù)以萬(wàn)計(jì)、數(shù)十萬(wàn)計(jì)的主播視頻？如何鑒定性感、色情還是正常的畫面？如何在發(fā)現(xiàn)色情畫面時(shí)候進(jìn)行快速的阻斷？傳統(tǒng)的解決方案是通過(guò)人力（鑒黃師）完成，所需要的人數(shù)會(huì)與主播成一個(gè)比例。通常都是幾百人坐在屏幕前面持續(xù)對(duì)閃過(guò)的畫面進(jìn)行篩選，如果發(fā)現(xiàn)不符合規(guī)定就進(jìn)行人工處理。一般來(lái)說(shuō)每名鑒黃師平均每天審核處理的圖片數(shù)只能在3萬(wàn)張左右，遠(yuǎn)遠(yuǎn)不能滿足數(shù)百萬(wàn)的直播間的實(shí)時(shí)鑒定。既然機(jī)器的圖片識(shí)別應(yīng)用已經(jīng)日益成熟，那么是不是也能夠?qū)⑦@一技術(shù)應(yīng)用到鑒黃，讓機(jī)器都變身成為24小時(shí)不間斷工作的“鑒黃師”？方案

4、概述詳細(xì)解決方案浪潮NF5568M4成為七牛的全職“鑒黃師”其實(shí)這種機(jī)器鑒黃早已應(yīng)用，比如國(guó)內(nèi)以技術(shù)聞名的云計(jì)算公司七牛在之前就推出了視頻鑒黃的服務(wù)，為各直播平臺(tái)提供服務(wù)。作為整體服務(wù)提供商，七牛面臨的就不只是單一一個(gè)直播平臺(tái)的用戶，而是多個(gè)平臺(tái)的直播間總和，鑒別總量和并發(fā)數(shù)量都有著成倍提升。那么七牛是如何高效地處理海量的鑒黃任務(wù)？答案是浪潮為七牛派駐的“鑒黃師”。浪潮向七牛派駐的“鑒黃師”是名為NF5568M4的GPU服務(wù)器。在鑒黃實(shí)戰(zhàn)之前，首先要教會(huì)服務(wù)器什么樣的圖片是色情圖片，這個(gè)任務(wù)需要成億級(jí)的圖片去“訓(xùn)練”它，過(guò)去用CPU看一張圖大概需要0.8秒，那10萬(wàn)張圖片看一遍需要一天的時(shí)間，

5、1億張圖得看1000天。況且機(jī)器不是看一遍就可以學(xué)會(huì)的，需要不斷的訓(xùn)練，假設(shè)看100遍，那么過(guò)億的圖片量，算起來(lái)得看上10萬(wàn)天才能學(xué)會(huì)，也就是需要273年。更經(jīng)典的一個(gè)例子，google用1000臺(tái)服務(wù)器、16000顆CPU、1000萬(wàn)張圖片素材、用時(shí)3天，讓服務(wù)器認(rèn)識(shí)了貓，這是何等龐大的工程，如果每家直播服務(wù)商都需要投入如此龐大的IT設(shè)施，那么估計(jì)視頻直播不可能如此火爆。而現(xiàn)在的算法和硬件的提升使得機(jī)器計(jì)算的速度有了幾何數(shù)量級(jí)的提升，利用GPU服務(wù)器去做非常復(fù)雜模型的處理和訓(xùn)練，往往只需要幾天，甚至幾個(gè)小時(shí)的時(shí)間就能完成。因此浪潮NF5568M4 GPU服務(wù)器才能夠快速、順利地“上崗”。浪潮

6、NF5568M4采用Intel最新Haswell處理器與GPU加速計(jì)算技術(shù)的協(xié)同，CPU主要承擔(dān)其更擅長(zhǎng)的邏輯選擇、判斷跳轉(zhuǎn)和IO通信方面的職責(zé)，而GPU則專職計(jì)算密集型、高度并行的計(jì)算工作，使得計(jì)算資源合理的分配，計(jì)算力被充分釋放，計(jì)算性能達(dá)到從幾倍到幾十倍的增長(zhǎng)。NF5568M4在4U空間內(nèi)配備雙路E5-2600v4 CPU和4塊GPU卡，單機(jī)最高單精度浮點(diǎn)計(jì)算能力可達(dá)每秒40萬(wàn)億次，承載海量的并發(fā)鑒黃任務(wù)。在鑒黃任務(wù)模型訓(xùn)練完成后（也就是說(shuō)服務(wù)器已經(jīng)知道什么樣的圖片是色情圖片），還需要對(duì)直播任務(wù)的實(shí)時(shí)監(jiān)控畫面進(jìn)行高速的鑒別，也就是現(xiàn)場(chǎng)的推理任務(wù)。通常情況下，線上推理相比線下模型訓(xùn)練所需計(jì)算量較小，因此一般會(huì)采用更具性價(jià)比的協(xié)處理計(jì)算設(shè)備來(lái)承載，比如采用高性能的FPGA卡或者中低端的GPU服務(wù)器。此次，浪潮為七牛線上推理任務(wù)中，推薦采用了浪潮搭配Nvidia M40 GPU卡的NF5568M4，單精度浮點(diǎn)計(jì)算也將超過(guò)7TFlops，能夠?qū)崟r(shí)地進(jìn)行推理識(shí)別涉黃圖片和視頻?？蛻羰找鎸?shí)測(cè)顯示，對(duì)130萬(wàn)張圖片進(jìn)行9層模型訓(xùn)練時(shí)，4顆E5-2699V3處理器的2臺(tái)服務(wù)器需3天（72小時(shí)）方完成訓(xùn)練，使用浪潮NF5568M4只需不到9.5個(gè)小時(shí)就可以完成全部工作，效率至少提升7.5倍。目前，浪潮人工智能相關(guān)解決方案在國(guó)內(nèi)主流AI領(lǐng)域的占有率超過(guò)