選擇GPU服務(wù)器有哪些基本原則

1、 選擇GPU服務(wù)器有哪些基本原則？ 不同類型AI服務(wù)器之比較分析，通過下面這張二維圖中我們可以對不同架構(gòu)的服務(wù)器進(jìn)行簡單的比較。首先看下不同類型AI服務(wù)器的比較，從左上方到右下角依次是CPU、GPU、FPGA、TPU、ASIC，從橫軸來看，越往右性能(Performance)越好?？v軸Programmability/Flexibility是指服務(wù)器的可編程性和靈活性， ASIC的性能最好，因?yàn)樗菍⑺惴ü袒谛酒希惴ㄊ潜容^固定的，所以它的性能最好的，但是它的編程性和靈活性就相對比較弱。而CPU的靈活性和編程性最好，但性能最弱?？偟膩碚f，GPU的靈活性比CPU弱，但它的性能更好。往下依次是F

2、PGA、TPU以及ASIC。在實(shí)際選擇時需要考慮到功耗、成本、性能、實(shí)時性等各方面因素，尤其是一些具有專用目的的處理器，如果算法已經(jīng)固化并且很簡單，可以考慮ASIC，因?yàn)锳SIC性能好且功耗低。如果是在訓(xùn)練或者通用情況下，GPU則是更好的選擇。選擇GPU服務(wù)器的基本原則在介紹選擇GPU服務(wù)器的基本原則之前，先來跟大家介紹下常見的GPU和GPU服務(wù)器。常見的GPU，按總線接口類型可以分為NV-Link接口、傳統(tǒng)總線接口以及傳統(tǒng)PCI-e總線三種。NV-Link接口類型的GPU典型代表是NVIDIA V100，采用SXM2接口，在DGX-2上有SXM3的接口。NV-Link總線標(biāo)準(zhǔn)的GPU服務(wù)器可

3、以分為兩類，一類是NVIDIA公司設(shè)計的DGX超級計算機(jī)，另一類是合作伙伴設(shè)計的NV-Link接口的服務(wù)器。DGX超級計算機(jī)不僅僅提供硬件，還有相關(guān)的軟件和服務(wù)。傳統(tǒng)總線接口的GPU，目前主流的有這幾款產(chǎn)品，比如采用了PCI-e接口的V100、 P40(P開頭指的是上一代PASCAL架構(gòu))和P4，以及最新的圖靈架構(gòu)T4等。其中比較薄和只占一個槽位的P4和T4，通常用于Inference，目前也已經(jīng)有成熟的模型進(jìn)行推理和識別。傳統(tǒng)PCI-e總線的GPU服務(wù)器也分為兩類，一類是OEM服務(wù)器，比如曙光、浪潮、華為等其他國際品牌；另一類是非OEM的服務(wù)器，也包括很多種類。選擇服務(wù)器時除了分類，還要考慮

4、性能指標(biāo)，比如精度、顯存類型、顯存容量以及功耗等，同時也會有一些服務(wù)器是需要水冷、降噪或者對溫度、移動性等等方面有特殊的要求，就需要特殊的服務(wù)器。選擇GPU服務(wù)器時首先要考慮業(yè)務(wù)需求來選擇適合的GPU型號。在HPC高性能計算中還需要根據(jù)精度來選擇，比如有的高性能計算需要雙精度，這時如果使用P40或者P4就不合適，只能使用V100或者P100；同時也會對顯存容量有要求，比如石油或石化勘探類的計算應(yīng)用對顯存要求比較高；還有些對總線標(biāo)準(zhǔn)有要求，因此選擇GPU型號要先看業(yè)務(wù)需求。GPU服務(wù)器人工智能領(lǐng)域的應(yīng)用也比較多。在教學(xué)場景中，對GPU虛擬化的要求比較高。根據(jù)課堂人數(shù)，一個老師可能需要將GPU服務(wù)

5、器虛擬出30甚至60個虛擬GPU，因此批量Training對GPU要求比較高，通常用V100做GPU的訓(xùn)練。模型訓(xùn)練完之后需要進(jìn)行推理，因此推理一般會使用P4或者T4，少部分情況也會用V100。當(dāng)GPU型號選定后，再考慮用什么樣GPU的服務(wù)器。這時我們需要考慮以下幾種情況：第一、在邊緣服務(wù)器上需要根據(jù)量來選擇T4或者P4等相應(yīng)的服務(wù)器，同時也要考慮服務(wù)器的使用場景，比如火車站卡口、機(jī)場卡口或者公安卡口等；在中心端做Inference時可能需要V100的服務(wù)器，需要考慮吞吐量以及使用場景、數(shù)量等。第二、需要考慮客戶本身使用人群和IT運(yùn)維能力，對于BAT這類大公司來說，他們自己的運(yùn)營能力比較強(qiáng)，這時會選擇通用的PCI-e服務(wù)器；而對于一些IT運(yùn)維能力不那么強(qiáng)的客戶，他們更關(guān)注數(shù)字以及數(shù)據(jù)標(biāo)注等，我們稱這類人為數(shù)據(jù)科學(xué)家，選擇GPU服務(wù)器的標(biāo)準(zhǔn)也會有所不同。第三、需要考慮配套軟件和服務(wù)的價值。第四、要考慮整體GPU