計(jì)算機(jī)行業(yè)智聯(lián)汽車深度三十三暨華為系列深度之六：特斯拉Dojo+英偉達(dá)GPU+谷歌TPU+昇騰趨勢(shì)是帶寬與擴(kuò)展性！-20230918 申萬(wàn)宏源

計(jì)算機(jī)計(jì)算機(jī)行業(yè)及產(chǎn)業(yè)行業(yè)及產(chǎn)業(yè)證券研究報(bào)告行業(yè)研究行業(yè)深度證券研究報(bào)告2023年09月18日日地有借鑒意義-AIGC系列之八暨華為產(chǎn)業(yè)系列之五’2023年3月26日李國(guó)盛A0230521080003ligs@楊海晏A0230518070003yanghy@黃忠煌A0230519110001huangzh@王珂A0230521120002wangke@戴文杰A0230522100006daiwj@洪依真A0230519060003hongyz@施鑫展A0230519080002shixz@林起賢A0230519060002lingx@胡雪飛A0230522120002huxf@崔航A0230122070011cuihang@徐平平A0230123060004xupp@liuyang2@本期投資提示：2020上，特斯拉發(fā)布FSD《ComputeSolutionforTesla'sFullSelf-Driving最小單元，每1個(gè)D1包含354個(gè)nodes、每1個(gè)Tile包含25個(gè)D1、每1個(gè)Tray包含6個(gè)Tiles,每個(gè)機(jī)柜包含2組Tray。DojoInterfaceProcessor(DIP)用于HBM內(nèi)存統(tǒng)，總共需要14160×2=28320個(gè)光模塊，對(duì)應(yīng)177個(gè)機(jī)柜中的53100個(gè)D1芯片，另地把握，可能會(huì)選中了次好的公司，對(duì)投資產(chǎn)生不良的結(jié)果。結(jié)論和投資分析意見原因及邏輯有別于大眾的認(rèn)識(shí)1、TeslaDojo:架構(gòu)/存算一體/擴(kuò)展性/帶寬 1.1Dojo架構(gòu)和重要問題 6 82.部分流行GPU/NPU/DSA的異同：英偉達(dá)/谷歌/昇騰.102.1NvidiaGPU的10年架構(gòu)趨勢(shì) 2.2谷歌TPU的五代升級(jí) 2.3華為昇騰 3.1與時(shí)俱進(jìn)，適配新AI場(chǎng)景 3.2帶寬最大化，延展關(guān)鍵化 4.2光模塊估算 圖1:Dojo每個(gè)計(jì)DojoCoreDatapathCPU 7圖2:Dojo微觀(底層)的D1芯片，有354個(gè)處理單元。對(duì)稱/延展性/片上SRAM大是特色，每個(gè)邊緣都有高速低功耗Serdes通道(便于傳輸) 7圖3:Dojo微觀(第二層),25個(gè)D1芯片組成訓(xùn)練瓦片(TrainingTile)。這樣每邊 7圖4:特斯拉的DIP提供協(xié)議連接、共享內(nèi)存，來(lái)幫助拓?fù)浣Y(jié)構(gòu) 8圖5:TeslaDojo的數(shù)據(jù)路由(Routing)也 圖6:TPUv4主打擴(kuò)展性，圖中“立體的”計(jì)算對(duì)部分AI操作提速有利 圖7:谷歌TPU的一大要點(diǎn)(可能是后續(xù)瓶頸)是互聯(lián)帶寬，尤其存儲(chǔ)相關(guān)..13圖8:谷歌TPU的一大要點(diǎn)(可能是后續(xù)瓶頸)是互聯(lián)帶寬，在使用路由/DMA/HBM 13圖9:谷歌TPU用脈動(dòng)陣列的方法支持矩陣乘。圖中左側(cè)輸入，下方是“脈動(dòng)后“輸出 圖10:華為AI解決方案示意圖，包括昇騰/ModelArts/MindSpore等..15圖11:華為達(dá)芬奇架構(gòu)示意圖，可推測(cè)與谷歌脈動(dòng)陣列TPU有相似之處..15圖12:TPUV1-V4對(duì)AI不同操作的優(yōu)化 圖13:谷歌TPU對(duì)矩陣乘積的支持 圖14:英偉達(dá)TensorCore對(duì)矩陣乘法的支持。之前可以看為向量乘法 圖16:Dojo的片內(nèi)、片外、跨芯片帶寬數(shù)值較大，有明顯傳輸優(yōu)勢(shì)。這歸因于設(shè)計(jì)思 圖17:支持稀疏核心單元SparseCore對(duì)應(yīng)的快速HBM訪問 圖18:英偉達(dá)InfiniBand和NVLink示意圖 圖19:AI訓(xùn)練系統(tǒng)中，計(jì)算/內(nèi)存/讀寫IO的折中 圖20:拆解/去集成系統(tǒng)中，計(jì)算/內(nèi)存/讀寫IO的折中 圖22:6個(gè)Tile、20個(gè)DIP等組成一個(gè)Tray單元 圖23:每2個(gè)Tray構(gòu)成1個(gè)機(jī)柜，進(jìn)而按不同規(guī)模組成POD 圖24:借助DIP和TTPoE,Dojo系統(tǒng)通過外部400Gb鏈路和交換機(jī)形成組網(wǎng)26表1:華為系列深度報(bào)告1-5 6 表3:2010年以來(lái)英偉達(dá)GPU主要架構(gòu)可以推測(cè)行業(yè)趨勢(shì)：注重互聯(lián)，對(duì)AI支持與時(shí)俱進(jìn)(從CudaCore到TensorCore,增加對(duì)INT/BF16等AI新趨勢(shì)的支持，結(jié) 表5:AI計(jì)算的進(jìn)步，體現(xiàn)在數(shù)據(jù)精度重要性逐漸低于延展性/并發(fā)性。因此新型AI處理器(GPU/NPU/DSA等)逐漸出現(xiàn)INT8/TF32/BF16。TeslaDojo還采用了用于較低精度和更高吞吐量的8位CFP8格式，這刺激新型處理器可以持續(xù)發(fā)展.17斯拉Dojo/英偉達(dá)GPU/谷歌TPU/華為昇騰等的異同，并做產(chǎn)業(yè)趨勢(shì)的預(yù)測(cè)。然后對(duì)計(jì)表1:華為系列深度報(bào)告1-5123452019年8月《開物成務(wù)，華為鴻蒙操作系統(tǒng)全景解構(gòu)》2020年2月《5G全場(chǎng)景，華為新終端與HMS生態(tài)解構(gòu)》2021年6月《萬(wàn)物歸一，鴻蒙2.0重構(gòu)物聯(lián)世界》2022年7月《鴻蒙3.0:互聯(lián)到智聯(lián)，升級(jí)到升維》鴻蒙2.0鴻蒙3.0盤古大模型/NNA架構(gòu)等。在2022年8月hotchips34大會(huì)上，特斯拉發(fā)布《TheMicroarchitecture下表是Dojo的分層結(jié)構(gòu)示意圖。其中每個(gè)集群(ExaPOD)包括3000個(gè)D1芯片，每個(gè)芯片包括354核心。而核心內(nèi)部反而與傳統(tǒng)CPU有類似之處(有解碼器Decoder,表2:特斯拉Dojo的分層結(jié)構(gòu)示意圖分層名稱片上SRAM算力特點(diǎn)內(nèi)核2GHz主頻芯片格點(diǎn)集群10個(gè)機(jī)柜組成ExaPOD,對(duì)應(yīng)3000個(gè)D1芯片圖2:Dojo微觀(底層)的D1芯片，有354個(gè)處理圖3:Dojo微觀(第二層),25個(gè)D1芯片組成訓(xùn)外帶寬外帶寬都有高速低功耗Serdes通道(便于傳輸)這可以簡(jiǎn)化Dojo的AGU和尋址總線。這些權(quán)衡可圖4:特斯拉的DIP提供協(xié)議連接、共享內(nèi)存，來(lái)幫助拓?fù)浣Y(jié)構(gòu)EdgecommunicationPClelinksb研究第三，正是由于上述存算一體、可擴(kuò)展性強(qiáng)，因此數(shù)據(jù)路由(Routing)也很簡(jiǎn)單便Dojo網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)力求簡(jiǎn)潔。使用平坦的尋址空間，避免虛擬化。編譯器需要知道所有數(shù)據(jù)的放置位置。數(shù)據(jù)路由也很簡(jiǎn)單，到達(dá)目的地只需跟隨行和列到達(dá)目的節(jié)點(diǎn)即可。為了增加靈活性，每個(gè)D1管芯都實(shí)現(xiàn)了一個(gè)路由表。一旦數(shù)據(jù)包進(jìn)入網(wǎng)絡(luò)或在到達(dá)目的地的途中到達(dá)新的骰子，它就會(huì)參考本地路由表來(lái)決定什么是最佳的前進(jìn)路徑。根據(jù)安裝在路由表中的信息，數(shù)據(jù)包可以沿著同一行或同一列繼續(xù)，或者它可以轉(zhuǎn)向以避免擁塞或出現(xiàn)故障的網(wǎng)絡(luò)組件。還可以設(shè)置路由表，將數(shù)據(jù)包傳輸?shù)阶罱腄IP,以利用Z維度快捷方式。2.1NvidiaGPU的10年架構(gòu)趨勢(shì)2012年開普勒、2014年麥克斯韋、2016年帕斯卡、2017年伏特、2018年圖靈、20201)注重互聯(lián)；2)對(duì)AI支持與時(shí)俱進(jìn)(CudaCoreTensorCoreINTBFAI請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第10頁(yè)共29頁(yè)簡(jiǎn)單金融成就夢(mèng)想3)注重帶寬和擴(kuò)展性而非核心數(shù)量等(例如麥克斯韋比開普勒的SM/SMX數(shù)量減少，從圖靈架構(gòu)后SM數(shù)量增長(zhǎng)也不快)。表32010年以來(lái)英偉達(dá)GPU主要架構(gòu)可以推測(cè)行業(yè)趨勢(shì)注重互聯(lián)對(duì)AI支持與時(shí)俱進(jìn)(從CudaCore到Tensor每SM128Cuda每SMX192FP32+64Cores+32每SM64CudaSM單元精簡(jiǎn)(192特點(diǎn)1首個(gè)完整GPU首次GPUDirect到128)NVLink第一代特點(diǎn)2共享內(nèi)存性能雙向帶寬160Gbps特點(diǎn)3ECCGPUP10056SMHBM中文名伏特圖靈安培赫伯128FP32+64Int32+64FP6102核心92SM特點(diǎn)1NVLink第二代NVLink第三代NVLink第四代特點(diǎn)3支持Al運(yùn)算RTCore第一代RTCore第二代代注6:SMX,可以理解為大號(hào)的SM。Kepler中每個(gè)SMX單元中的Register較Fermi的SM單元放大一倍注7:浮點(diǎn)精度對(duì)應(yīng)于不同AI訓(xùn)練要點(diǎn)。例如安培架構(gòu)對(duì)稀疏矩陣支持利于CV分割、對(duì)象檢測(cè)、通信編碼等。訓(xùn)練/推理任務(wù)常用FP16/BF16/TF32/INT8/FP16中的不同種類1024個(gè)芯片。TPUv3對(duì)AI訓(xùn)練的精度要求支持增加。其在使用16位浮點(diǎn)(bfloat16)與VoltaGPU相當(dāng)。一些擴(kuò)展到1024片芯片的應(yīng)用程序可以獲得97%-99%的完美線性如銅絞線)方法連接，但是距離較遠(yuǎn)的TPU之間(例如在Cube之間的互聯(lián))就必須使用圖6:TPUv4主打擴(kuò)展性，圖中"立體的"計(jì)算對(duì)部分AI操作提速有利TPUV52023年8月亮相。2023年8月，谷歌在CloudNext2023大會(huì)上，公開了GoogleCloud新款自研AI芯片TPUv5e。圖7:谷歌TPU的一大要點(diǎn)(可能是后續(xù)瓶頸)是圖8:谷歌TPU的一大要點(diǎn)(可能是后續(xù)瓶頸)是InterconnectCoreCore向量，下側(cè)通過累加的方式輸出矩陣乘積(還包括錯(cuò)誤)。中間過程存儲(chǔ)局部加法圖9:谷歌TPU用脈動(dòng)陣列的方法支持矩陣乘。圖中左側(cè)輸入，下方是“脈動(dòng)后“輸出出3)注重?cái)U(kuò)展性。TPUv4開始，對(duì)擴(kuò)展性大大增強(qiáng)，相應(yīng)論文的標(biāo)題描述也是"ReconfigurableSupercomputer"TPUv擴(kuò)展性，可以有數(shù)千個(gè)芯片同時(shí)加速，從而實(shí)現(xiàn)一個(gè)為了機(jī)器學(xué)習(xí)模型訓(xùn)練而設(shè)計(jì)的超級(jí)計(jì)算機(jī)。在谷歌TPUv4的設(shè)計(jì)中，超級(jí)計(jì)算機(jī)的拓?fù)浣Y(jié)構(gòu)為：將4x4x4(64)個(gè)TPUv4芯片互聯(lián)在一起形成一個(gè)立方體結(jié)構(gòu)(cube),然后再把4x4x4這樣的cube用連在一起形成一個(gè)總共有4096個(gè)TPUv4的超級(jí)計(jì)算機(jī)。華為的AI生態(tài)，于2019年8月即已經(jīng)發(fā)布。根據(jù)《機(jī)器之心》報(bào)道，華為輪值董事長(zhǎng)徐直軍在發(fā)布會(huì)上表示：華為自2018年10月發(fā)布AI戰(zhàn)略以來(lái)，穩(wěn)步而有序地推進(jìn)戰(zhàn)場(chǎng)景AI解決方案(Portfolio)的AI昇騰910也是華為"達(dá)芬奇架構(gòu)"最大的一款芯片。去年10月，華為在全聯(lián)接大會(huì)(HC)上宣布了達(dá)芬奇計(jì)劃，其中用于人工智能訓(xùn)練的異騰910芯片格外引人注目。發(fā)布會(huì)上，華為產(chǎn)品與其他廠商做了典型性能比較。根據(jù)《機(jī)器之心》,"面向服務(wù)器的芯片昇騰(Ascend)910采用7nm制程，而設(shè)計(jì)功耗為310W,其算力比英偉達(dá)TeslaV100還要高出一倍，半精度(FP16)達(dá)到了256TeraFLOPS(英偉達(dá)TeslaV100為125),整數(shù)精度算力(INT8)則為512TeraOPS。此外，華為表示，昇騰910達(dá)到圖11:華為達(dá)芬奇架構(gòu)示意圖，可推測(cè)與谷歌脈動(dòng)陣列TPU有相似之處我們認(rèn)為，華為昇騰可能與谷歌TPU有類似之處。整體來(lái)看，兩個(gè)緩沖BufferLOA和LOB作為輸入，應(yīng)該是其中一個(gè)暫存的是輸入變量，另一個(gè)暫存的是權(quán)重weight。推測(cè)紅色的Cube模塊，應(yīng)該是類似谷歌TPU脈動(dòng)陣列的結(jié)構(gòu)，即是一個(gè)矩陣乘法累加陣列，計(jì)算結(jié)果輸出存放在另外一個(gè)緩沖bufferLOC。VectorUnit,類似一個(gè)DSP(數(shù)字信號(hào)處理器)。這一點(diǎn)應(yīng)當(dāng)是區(qū)別于TPU的設(shè)計(jì)，在不增加成本的情況下，盡量增加功能靈活性。我們預(yù)計(jì)，系統(tǒng)從緩沖bufferLOC中取得乘累加計(jì)算結(jié)果，然后進(jìn)行池化pooling/padding、激活、加法等處理。如果還沒得到最終結(jié)果，就暫時(shí)返回存儲(chǔ)在bufferLOC。如果得到了最終結(jié)果，就傳遞給UnifiedBuffer。2.4異同根據(jù)上述特斯拉Dojo、英偉達(dá)GPU、谷歌TPU、華為達(dá)芬奇及昇騰的設(shè)計(jì)：1)都把擴(kuò)展性放在重要位置。2)都在持續(xù)增加AI甚至大模型下特殊操作的支持。例如數(shù)據(jù)精度TF32/BF16/CFP8(下文有論述),例如矩陣乘法(代替向量乘法),例如Transformer的支持。8是是否否否是是是否否否否是是是是否否否是是是是否否否是是是是否是是是否是否否否否否否否否否否否否TensorCore英偉達(dá)伏特Volta否否否是是是否否否TensorCore英偉達(dá)圖靈TuringTensorCore英偉達(dá)安培A100TensorCore英偉達(dá)赫伯H100是是是是是是是是是谷歌TPU(V1到V4持續(xù)拓展)是一方面，TPU第一版發(fā)布于2015-2016年，那么芯片立項(xiàng)大約為2013年。英偉達(dá)Pascal架構(gòu)發(fā)布于2016年，特斯拉Dojo發(fā)布于2020年。發(fā)布前芯片/軟件/AI的工業(yè)Inference)Transformer28%57%(BERT)(28%)(26%)再例如，谷歌TPU和英偉達(dá)伏特(Volta)后的架構(gòu)都支持張量計(jì)算，即直接矩陣乘法，之前流行的操作是“向量乘法”。英偉達(dá)Volta架構(gòu)計(jì)算此類計(jì)算速度達(dá)到12倍，稱為第—代TensorCore圖13:谷歌TPU對(duì)矩陣乘積的支持圖14:英偉達(dá)TensorCore對(duì)矩陣乘法的支持。之再例如，英偉達(dá)從安培(Ampere)架構(gòu)開始支持對(duì)稀疏矩陣(SparseMatrix)的支持。其可以充分利用網(wǎng)絡(luò)權(quán)值下的細(xì)粒度稀疏優(yōu)勢(shì)。相較于稠密數(shù)學(xué)計(jì)算(densemath),最大吞吐量提高了2倍，而且不會(huì)犧牲深度學(xué)習(xí)的矩陣乘法累加任務(wù)的精度。測(cè)試表明，這種稀疏方法在許多AI任務(wù)(包括圖像分類、對(duì)象檢測(cè)和語(yǔ)言翻譯)中使用，都能保持與使用稠密數(shù)學(xué)計(jì)算相同的精度。該方法還已在卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)以及基于注意力機(jī)制的transformer上進(jìn)行了測(cè)試。這種稀疏化支持的趨勢(shì)也得到了谷歌等巨頭的印證。稀疏化計(jì)算是指在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中，對(duì)于高維特征向量進(jìn)行數(shù)據(jù)壓縮和降維處理的一種技術(shù)。稀疏化計(jì)算可以大幅度減少原始特征空間的維度，從而提高模型的運(yùn)算效率。2022年6月，谷歌帶來(lái)最3)TPUV4的內(nèi)存帶寬為1200GB/s,Slice內(nèi)的片間互連(ICI)通過六個(gè)50GB/s鏈(bank)ConcatUnit(16tiles).請(qǐng)務(wù)必仔細(xì)閱讀正文之后的各項(xiàng)信息披露與聲明第21頁(yè)共29頁(yè)簡(jiǎn)單金融成就夢(mèng)想算機(jī)網(wǎng)絡(luò)通信標(biāo)準(zhǔn)，它具有極高的吞吐量和極低的延遲，用于計(jì)算機(jī)與計(jì)算機(jī)之間的每個(gè)SM的計(jì)算核心從128CudaCores優(yōu)化到64CudaCores。2)英偉達(dá)GPU架構(gòu)從伏特到赫伯是類似的。TensorCore成為核心，但單SM的核心數(shù)量從8個(gè)下降到4個(gè)。只是上述核心數(shù)的優(yōu)化,背后是適配AI場(chǎng)景/新數(shù)據(jù)精度/2)芯片層面，高速c2c連接方案(如NVLink、CXL等)的推廣，是宏觀設(shè)備/數(shù)據(jù)3)設(shè)備層面，單SoC性能提升+芯片“堆量”,不意味著算力集群整體性能的線性提升；而Nvidia、Google、AMD、AWS等算力大廠InfiniBandOCS1最小計(jì)算單元是D1ComputeDie(可對(duì)標(biāo)單個(gè)GPUTSMC7nm工藝645mm^2;354個(gè)Trainingnodes(訓(xùn)練節(jié)點(diǎn)，可大致類比為GPU核心，實(shí)際有區(qū)別),片上內(nèi)存SRAM共440MB;算力性能362TFlopsBF16/CFP8,22TFlopsFP32@2GHz),25個(gè)D1芯片以5×5矩形陣列的形狀通過40個(gè)I/ODie相互連接組成一個(gè)TrainingTile。2)每個(gè)TrainingTile擁有10TBps的內(nèi)部雙向帶寬，及36TBps的對(duì)外總帶寬(43)此外每6個(gè)Tile搭配了20張V1DojoInterfaceProcessor(DIP),用于內(nèi)存擴(kuò)Tile對(duì)應(yīng)20個(gè)DIP卡、每個(gè)DIP卡又對(duì)應(yīng)了1個(gè)50GBps接口(也就是400Gb的網(wǎng)絡(luò)接口),即每6個(gè)Tile對(duì)應(yīng)了20個(gè)400Gb接口，以及總共32×20=640GB的HBMDIP部署在6個(gè)Tile組成的陣列的邊緣(20個(gè)DIP分為4組，每組5個(gè)DIP),其3)2個(gè)SystemTray組成1個(gè)機(jī)柜，177個(gè)機(jī)柜(折合53100個(gè)D1Die)組成1個(gè)基礎(chǔ)的BasePOD;20個(gè)BasePOD(折合3540個(gè)機(jī)柜，或者1062000個(gè)D1Die)則圖23:每2個(gè)Tray構(gòu)成1個(gè)機(jī)柜，進(jìn)而按不同規(guī)模組成POD