2024年HBM行業(yè)研究報告：AI硬件核心-需求爆發(fā)增長

2024年HBM行業(yè)研究報告：AI硬件核心_需求爆發(fā)增長1.HBM助力AI芯片性能發(fā)揮，市場需求爆發(fā)式增長1.1HBM高帶寬、低功耗優(yōu)勢顯著，緩解內(nèi)存墻問題存儲帶寬提升速度慢于算力提升速度。大模型的訓(xùn)練可以簡化為2步：1）浮點運算（FLOPS），運行矩陣乘法，2）存儲（帶寬），等待數(shù)據(jù)或者計算資源。過去大模型的訓(xùn)練時間主要受限于算力，英偉達等GPU廠商通過利用摩爾定律縮減制程、改變架構(gòu)等方式，GPU的浮點運算能力大幅提高，但對應(yīng)的存儲帶寬增速慢于GPU算力增長速度。如英偉達H100相比A100，F(xiàn)P32算力從19.5到66.9tflops提升3倍+，但帶寬從2039GB/s到3.35TB/s僅提升1.5倍。AI芯片需要處理大量并行數(shù)據(jù)，要求高算力和大帶寬，算力越強、每秒處理數(shù)據(jù)的速度越快，而帶寬越大、每秒可訪問的數(shù)據(jù)越多，算力強弱主要由AI芯片決定，帶寬由存儲器決定，存力是限制AI芯片性能的瓶頸之一。AI芯片需要高帶寬、低能耗，同時在不占用面積的情況下可以擴展容量的存儲器。上世紀(jì)40年代開始計算機使用馮諾伊曼架構(gòu)——存算分離，即處理器和存儲器相互獨立，兩者通過總線連接。1）存算分離，數(shù)據(jù)存算間傳輸造成延遲。處理器從外部存儲中調(diào)取數(shù)據(jù)，計算完成后再傳輸?shù)絻?nèi)存中，一來一回都會造成延遲。2）數(shù)據(jù)在多級存儲間傳輸。為了提升速度，馮諾依曼架構(gòu)對存儲進行分級，越往外的存儲介質(zhì)密度越大、速度越慢，越往內(nèi)的存儲密度越小，速度越快，因此數(shù)據(jù)需要在多級存儲之間搬運，能耗大。通常第一級存儲是速度最快、容量低的以SRAM為形式的片上緩存，第二級是傳統(tǒng)DDR。3）存儲制程推進慢于邏輯。目前DRAM制程最先進仍在10-15nm左右，而邏輯制程已進入5nm以下，主要是因存儲器制程縮小難度更大。以上三點帶來“存儲墻”和功耗墻問題，影響處理器性能：1）數(shù)據(jù)的傳輸量小、速度慢，造成延遲，2）數(shù)據(jù)的傳輸功耗大（讀取功耗隨著存儲器密度增大而增大），因此存儲器的性能發(fā)展方向為更大帶寬、更低功耗。存算一體可有效克服馮諾依曼架構(gòu)，迎合AI時代提升算力能效的需求。存算一體是一種新的架構(gòu)，其核心理念是將計算和存儲融合，降低“存儲墻”問題，實現(xiàn)計算能效的數(shù)量級提升。從廣義而言，存算一體可分為三種：近存計算（PNM）、存內(nèi)處理（PIM）、存內(nèi)計算（CIM），狹義的存算一體主要指存內(nèi)計算。1）近存計算PNM，通過芯片封裝和板卡組裝的方式，將存儲和計算單元集成，提升計算能效。PNM可分為存儲上移以及計算下移。存儲上移是指采用先進封裝技術(shù)將存儲器向處理器靠近，增加計算和存儲間的鏈路數(shù)量，增加帶寬，典型產(chǎn)品為HBM（高帶寬內(nèi)存），HBM在英偉達H200、H100等AI訓(xùn)練GPU均有應(yīng)用。計算下移是指利用板卡集成技術(shù)，在存儲設(shè)備引入計算引擎，減少遠端處理器負擔(dān)。2）存內(nèi)處理PIM，核心是存儲器具備一定計算能力。芯片制造過程中，將存儲和計算單元集成在同一顆die上，使得存儲器本身具備一定計算能力。與近存計算相比，“存”與“算”之間的距離更為緊密。目前的存內(nèi)處理方案主要通過在內(nèi)存（DRAM）芯片中實現(xiàn)部分數(shù)據(jù)處理，其中典型的產(chǎn)品形態(tài)包括HBM-PIM和PIM-DIMM，HBM-PIM與HBM的不同之處在于PIM芯片上的每個存儲塊內(nèi)都包含一個內(nèi)部處理單元。存內(nèi)處理技術(shù)可應(yīng)用于多種場景，包括語音識別、數(shù)據(jù)庫索引搜索、基因匹配等。3）存內(nèi)計算CIM，真正意義上實現(xiàn)了同一個晶體管同時具備存儲和計算能力。即在芯片設(shè)計過程中，存儲電路同時具備存儲和計算能力，使得計算效能實現(xiàn)數(shù)量級提升。典型產(chǎn)品為存內(nèi)計算（IMC，In-memoryComputing）芯片。HBM是近存算一體的一種，定位在片上緩存LLC和傳統(tǒng)DDR中間，彌補帶寬缺口，兼顧帶寬和容量。HBM定位在CPU/GPU片上緩存（LastLevelCache，LLC，通常是SRAM）和DRAM之間，彌補處理器高帶寬需求與主存儲器最大帶寬供應(yīng)能力之間的帶寬缺口，容量大于片上存儲、小于傳統(tǒng)DDR，但速度小于片上存儲、大于傳統(tǒng)DDR，成本低于片上存儲、高于傳統(tǒng)DDR。以成本為例，1MBSRAM價值$5~$10，1GBHBM價格$10-$20，根據(jù)集邦咨詢，2月1GBDDR4合約價$1.95（歷史最高$4.1），1GB=1024MB，從單位存儲成本看，SRAM的成本是HBM的500倍+、普通DRAM的1000倍+，HBM常備是普通DRAM的5倍+。從速度來看，在AI應(yīng)用中，每個SoC的帶寬需求（尤其是在訓(xùn)練應(yīng)用中）都會超過幾TB/s，但常規(guī)主存儲器無法滿足這個要求，具有3200MbpsDDR4DIMM的單個主存儲器通道只能提供25.6GB/s的帶寬，具有4800MbpsDDR5DIMM的單個主存儲器通道提供38.4GB/s，即使是具有8個存儲器通道的最先進的CPU平臺，DDR4和DDR5對應(yīng)速度也只能達到204.8GB/s、307GB/s，圍繞單個SoC的4個HBM2堆疊可提供大于1TB/s的帶寬，因而能夠消除帶寬差距。HBM用于AI訓(xùn)練卡，GDDR用于AI推理卡。JEDEC（固態(tài)技術(shù)協(xié)會，微電子產(chǎn)業(yè)的領(lǐng)導(dǎo)標(biāo)準(zhǔn)機構(gòu)）定義并開發(fā)了以下三類DRAM標(biāo)準(zhǔn)，以幫助設(shè)計人員滿足其目標(biāo)應(yīng)用的功率、性能和尺寸要求。1）標(biāo)準(zhǔn)型DDR：DoubleDataRateSDRAM，針對服務(wù)器、云計算、網(wǎng)絡(luò)、筆記本電腦、臺式機和消費類應(yīng)用程序，允許更寬的通道寬度、更高的密度和不同的外形尺寸。2）LPDDR：LowPowerDoubleDataRateSDRAM，LPDDR具有體積小、功耗低的優(yōu)勢，可以減小無線電子產(chǎn)品的體積，低功耗可延長使用時間，在智能手機、平板等應(yīng)用中使用廣泛。3）GDDR：GraphicsDoubleDataRateSDRAM，適用于具有高帶寬需求的計算領(lǐng)域，通常稱為顯存，例如圖形相關(guān)應(yīng)用程序、數(shù)據(jù)中心和AI等，與GPU配套使用，GDDR又可分為普通GDDR和HBM，普通GDDR采用平面結(jié)構(gòu)，HBM采用3D堆疊結(jié)構(gòu)，普通GDDR多用在AI推理卡中，HBM用于AI訓(xùn)練卡或少數(shù)高端的AI推理卡。因此，推理芯片如英偉達A100、H100通常使用HBM配套，而L4、A16等均配套GDDR，高端推理卡可根據(jù)要求配套HBM或GDDR，如A30、A40。HBM相較其他DRAM有高帶寬、低功耗、面積小的三大特點。一方面通過增加引腳數(shù)量達到每顆HBM1024bit內(nèi)存總線（即I/O），以實現(xiàn)更高帶寬，另一方面縮短數(shù)據(jù)的傳輸路徑，降低功耗，HBM走線長度以毫米為單位，而GDDR和DDR均以厘米為單位。GDDRVSHBM：1）HBM容量易擴展、占用面積?。篐BM采用TSV硅通孔技術(shù)3D堆疊，通過增加層數(shù)來擴展容量，GDDR為2D結(jié)構(gòu)，因此HBM在實現(xiàn)相同容量下，占用的面積更小。2）HBM功耗低：GDDR采用正常2D結(jié)構(gòu)，不需要中介層連接，總線位寬小，主要是通過體現(xiàn)數(shù)據(jù)的傳輸速率來提升位寬，因為數(shù)據(jù)的傳輸速率快，因此功耗也高于HBM，而HBM用TSV技術(shù)實現(xiàn)走線更短，同時I/O數(shù)據(jù)的傳輸速度慢，功耗低。3）HBM帶寬大：HBM通過增加位寬實現(xiàn)高帶寬。4）HBM制造成本高：HBM采用額外的TSV、Bumping等技術(shù)，對封裝要求高，損耗也更高。HBM不斷迭代，迭代方向為增加容量和帶寬，目前最高層數(shù)為12層。海力士2014年推出全世界第一顆HBM，2018年推出HBM2，后續(xù)每隔兩年推出新一代HBM，目前最新量產(chǎn)的是HBM3，預(yù)計2024年量產(chǎn)HBM3E，原廠加速研發(fā)。從單顆容量看，堆疊層數(shù)和單層DRAM容量均有所增加，HBM1僅堆疊4層2Gb的DRAM，實現(xiàn)單顆HBM8Gb（1GB），而HBM3E最高堆疊12層3GB的DRAM，實現(xiàn)單顆HBM36GB，HBM4可能采用16層堆疊。從I/O數(shù)量看（總線位寬），HBM1到HBM3E均保持在1024bit，而數(shù)據(jù)的傳輸速率從HBM1的1Gb/s提升到HBM3E的9.2Gb/s，最終實現(xiàn)帶寬從HBM1的128GB/s提升至HBM3E的1.2TB/s。HBM4的標(biāo)準(zhǔn)目前未確定，目前普遍預(yù)期HBM4最高16層堆疊，2048bit總線位寬。影響HBM性能的因素主要是HBM帶寬、容量、功耗和尺寸規(guī)格。1）提升HBM容量：①增加DRAMDie的堆疊層數(shù)。②增加每片DRAMDie的容量③單顆GPU增加使用HBM的顆數(shù)。單顆HBM容量=DRAM堆疊層數(shù)×每片DRAM容量，GPU使用HBM總?cè)萘?單顆HBM容量*HBM顆數(shù)。2）提升HBM帶寬：①提高I/O數(shù)據(jù)的傳輸速率。②更寬的I/O總線位寬。帶寬是處理器與顯存之間的數(shù)據(jù)的傳速度，帶寬（GB/s）=數(shù)據(jù)的傳輸速率（即I/O讀寫速度，Gbps）×總線位寬（bit）/8。HBM主要是通過增加總線位寬的寬度提升帶寬，同時數(shù)據(jù)的傳輸速率較慢，實現(xiàn)運行功耗更低、面積更小，但因涉及到復(fù)雜的堆疊、中介層等技術(shù)，成本更高。3）功耗：數(shù)據(jù)的傳輸速度越大，功耗越大，數(shù)據(jù)的傳輸?shù)木嚯x越遠，功耗越大。HBM方案下，GPU增加帶寬的方式主要是增加HBM顆數(shù)和提升HBM性能。1）增加HBM顆數(shù)：目前1顆HBM3可提供1024bit總線位寬，增加1顆HBM3，可增加1024bit總線位寬。但HBM的顆粒必須跟GPU對齊和封裝在一起，是緊耦合的狀態(tài)，受限GPU面積，HBM數(shù)量不能無限增加，同時還需考慮散熱等問題。2）提升HBM性能：提高單顆HBM的帶寬。1.2HBM隨AI爆發(fā)式增長，2024年達到百億美金規(guī)模目前主流AI訓(xùn)練芯片都使用HBM，一顆GPU配多顆HBM。以英偉達H100為例，1顆英偉達H100PICe使用臺積電CoWoS-S封裝技術(shù)將7顆芯片（1顆GPU+6顆HBM）封在一起，1顆GPU由6顆HBM環(huán)繞，其中5顆是activeHBM，每顆HBM提供1024bit總線位寬，5顆共提供5120bit總線位寬，另外1顆是non-HBM，可使用硅材料，起到芯片的結(jié)構(gòu)支撐作用。H100PCIe的HBM總?cè)萘?0GB，使用5顆activerHBM2E，每顆HBM2E容量16GB，每顆HBM2E是由8層2GBDRAMDie堆疊組成。英偉達HBM用量提升。英偉達H100PCIe版本使用80GBHBM2E，H200提升到144GB（6顆HBM3E），最新發(fā)布的B100、B200采用192GB（8顆8層HBM3E）。預(yù)計24年HBM市場規(guī)模達百億美金，較23年翻倍。以搭載8顆英偉達H100的AI服務(wù)器為例，H100配套5顆HBM2E，單顆HBM2E容量16GB，8層堆疊、每層堆疊2GB，每顆H100需要80GBHBM，單顆服務(wù)器需要640GBHBM；HBM每GB單價10-20美金。假設(shè)單顆GPU的HBM使用量每年提升40%左右，假設(shè)AI服務(wù)器24-25年滲透率12%/13%，預(yù)計24年HBM市場需求151億美金，較23年基本翻倍。1.3三大原廠壟斷市場，開啟軍備競賽圖形和服務(wù)器DRAM三大家壟斷程度高。1）分下游三大原廠合計市占率排序（23Q1）：圖形DRAM（100%）>服務(wù)器DRAM（99%）>移動端DRAM（94%）>利基DRAM（71%），圖形、服務(wù)器DRAM基本全部被三星、海力士和美光壟斷，移動端和利基DRAM市場有其他玩家，尤其是利基DRAM市場，代表廠商有中國臺灣廠商華邦、南亞、南亞，陸廠商長鑫存儲、北京君正、東芯股份、兆易創(chuàng)新等。2）分下游玩家：三星在每個細分市場均為第一，圖形DRAM市場，三星/海力士/美光份額35%/31%/34%,三大原廠份額較為均衡，在服務(wù)器市場，三星/海力士/美光份額43%/34%/22%，移動端市場，三星/海力士/美光份額53%/19%/18%，三星獨占一半份額（三星手機約占據(jù)20%左右全球份額），在利基DRAM市場，三星/海力士/美光份額33%/13%/25%。未來DRAM制程演進需要使用EUV光刻技術(shù)，三星最早使用。1）DRAM制程：進入10nm級別制程后迭代速度放緩，使用1x（16-19nm）、1y（14-16nm）、1z（12-14nm）等字母表示，另外三星海力士使用1a（約13nm）、1b（10-12nm）、1c（約10nm），對應(yīng)美光1α、1β、1γ。2）三星在1znm就已使用EUV光刻技術(shù)。三星在2020年在1znmDDR5上采用1層EUV，2021年量產(chǎn)采用5層EUV的DDR5，三星是首家在DRAM采用EUV光刻技術(shù)的廠商，也是在DRAM上使用5層EUV的廠商。而海力士和美光在1znm仍然使用ArF-i光刻工藝，2021年海力士在1anm轉(zhuǎn)向使用EUV，后續(xù)在1bnm繼續(xù)使用EUV。而美光在2023年宣布開始在1cnm（1γ制程）使用EUV光刻技術(shù)。EUV技術(shù)，制程更小、單位容量更大，成本更有優(yōu)勢。2024年三大原廠將以迭代量產(chǎn)1bnm（1β）為主，海力士和美光HBM3E將直接使用1bnm，三星采用1anm。目前，DRAM先進制程技術(shù)已發(fā)展至第五代10nm級別，美光稱之為1βnmDRAM，三星和海力士稱為1bnmDRAM。美光最先量產(chǎn)1bnm級別DRAM。1）三星：2023年5月三星量產(chǎn)12nm16GbDDR5DRAM，9月三星開發(fā)出基于12nm級工藝技術(shù)的32GbDDR5DRAM，將于2023年底開始量產(chǎn)。三星透露將于2026年推出DDR6內(nèi)存，2027年即實現(xiàn)原生10Gbps的速度。據(jù)披露，三星正在開發(fā)行業(yè)內(nèi)領(lǐng)先的11nm級DRAM芯片。2）海力士：2023年1月，海力士1anm服務(wù)器DDR5適用到英特爾?第四代至強?可擴展處理器，并在業(yè)界首次獲得認證。5月，海力士1bnm技術(shù)完成研發(fā)，采用“HKMG（High-KMetalGate）”工藝，與1anmDDR5DRAM相比功耗減少了20%以上。3）美光：2022年日本廠開始量產(chǎn)1bnm（1β）制程，今年中國臺灣廠也開始量產(chǎn)1bnm（1β）制程，預(yù)計1cnm（1γ）制程在25H1在中國臺灣廠量產(chǎn)，1cnm（1γ）制程使用EUV技術(shù)。三星和海力士壟斷9成HBM市場，美光份額落后。HBM市場壟斷效應(yīng)更強，2022年海力士/三星份額為50%/40%，美光份額僅10%，海力士HBM3產(chǎn)品領(lǐng)先其他原廠，是英偉達AI芯片HBM的主要供應(yīng)商，份額最高，而三星著重滿足其他云端服務(wù)業(yè)者的訂單，在客戶加單下，預(yù)計在HBM3與海力士的市占率差距會大幅縮小，2023~2024年三星和海力士市占率預(yù)估相當(dāng)，合計擁HBM市場約95%的市占率，不過因客戶組成略有不同，在不同季度的出貨表現(xiàn)可能有先后。美光因技術(shù)路線判斷失誤在HBM市場份額比較低，在追趕中。美光此前在HMC投入更多資金，HMC（HybridMemoryCube，混合內(nèi)存立方體）將DRAM堆疊、使用TSV硅穿孔技術(shù)互連，DRAM下方是一顆邏輯芯片，從處理器到存儲器的通信是通過高速SERDES數(shù)據(jù)鏈路進行的，該鏈路會連接到DRAM下面的邏輯控制器芯片，但不同于HBM，HBM是與GPU通過中介層互連。HMC是與HBM競爭的技術(shù)，美光2011年推出HMC，海力士2013年推出HBM，HMC與HBM開發(fā)時間相近，但HBM未被大規(guī)模使用，原因如下：1）相較HBM直接與處理器封裝在一起，HMC距離處理器較遠，延遲更大。2）HBM推出不久后就被認證為JEDEC標(biāo)準(zhǔn)，而HMC推出比HBM早2年但未被JEDEC定為標(biāo)準(zhǔn)，JEDEC擁有數(shù)百家會員公司、奉行一公司一票與三分之二多數(shù)的制度，從而降低標(biāo)準(zhǔn)制定被任何一家或一批公司所把控的風(fēng)險，因此只有大家真正認可，才會最終被推行為正式標(biāo)準(zhǔn)。美光2018年由HMC轉(zhuǎn)向HBM。2023年主流需求自HBM2E轉(zhuǎn)向HBM3，預(yù)計2024年轉(zhuǎn)向HBM3及3E。隨著使用HBM3的AI訓(xùn)練芯片陸續(xù)放量，2024年市場需求將大幅轉(zhuǎn)往HBM3，而2024年將有望超越HBM2E，比重預(yù)估達60%，且受惠于其更高的平均銷售單價，將帶動明年HBM營收顯著成長。海力士是HBM先驅(qū)、技術(shù)最強，最早與AMD合作開發(fā)，三星緊隨其后。海力士在2015年首次為AMDFiji系列游戲GPU提供HBM，該GPU由Amkor進行2.5D封裝，隨后推出使用HBM2的Vega系列，但HBM對游戲GPU性能未產(chǎn)生太大改變，考慮沒有明顯的性能優(yōu)勢和更高的成本，AMD在Vega之后的游戲GPU中重新使用GDDR，目前英偉達和AMD的游戲GPU仍然使用更便宜的GDDR。隨著AI模組中參數(shù)數(shù)量的指數(shù)級增長，內(nèi)存墻問題愈加突出，英偉達在2016年發(fā)布首款HBMGPUP100，后續(xù)英偉達數(shù)據(jù)中心GPU基本都采用海力士HBM。海力士22Q4量產(chǎn)全球首款HBM3，而三星由于此前降低HBM的投入優(yōu)先級，HBM3較海力士晚推出一年。三大原廠積極擴產(chǎn)HBM和推進產(chǎn)品迭代，預(yù)計24H2HBM3E量產(chǎn)，未來成為市場主流。1）海力士：24年Capex優(yōu)先保障HBM和TSV產(chǎn)能，23年HBM產(chǎn)能已出售完、同時持續(xù)收到額外需求，預(yù)計DDR5和HBM產(chǎn)線規(guī)模將在24年增長2倍+。公司已從2023年8月開始提供HBM3E樣品，2024年1月中旬結(jié)束開發(fā)，3月開始量產(chǎn)8層HBM3E，3月底發(fā)貨。12層HBM3E已于2月送樣。2）三星：計劃24年HBM產(chǎn)能提高2.5倍。23Q3已量產(chǎn)8層和12層HBM3，計劃Q4進一步擴大生產(chǎn)規(guī)模，并開始供應(yīng)8層HBM3E樣品，2024年2月底發(fā)布12層HBM3E，預(yù)計H1量產(chǎn)。3）美光：跳過HBM3，直接做HBM3E，2024年3月宣布量產(chǎn)8層HBM3E，將用于英偉達H200，3月送樣12層HBM3E。2.HBM制造中先進封裝大放異彩2.1采用多種先進封裝工藝，重點關(guān)注堆疊鍵合方式HBM顆粒采用KGSD封裝形式，由1片邏輯芯片+多片DRAM芯片組成。海力士、三星等存儲原廠將HBM采用晶圓級封裝，以KGSD（KnownGoodDieStack，已知合格堆疊芯片）的封裝形式交給臺積電，臺積電使用2.5D封裝技術(shù)（包括CoWoS）將HBM與SoC（GPU等）封裝在一起，本文重點介紹HBM制備流程、工藝和相關(guān)設(shè)備材料，關(guān)于CoWoS工藝的具體介紹，詳情見《AI系列之先進封裝：后摩爾時代利器，AI+國產(chǎn)化緊缺賽道》。1顆HBMKGSD=N顆DRAM芯片（也稱為CoreDie）+1顆邏輯芯片（也稱為LogicBaseDie）組合而成，目前N=4/8/12，預(yù)計HBM4將采用16顆DRAM芯片堆疊。邏輯芯片主要包括三個功能區(qū)，①用于測試的區(qū)域（DFTArea），②TSV區(qū)域，TSV用于給DRAM芯片傳輸信號和電力，③PHY芯片區(qū)域，HBM和SoC中的存儲控制器之間的接口。PHY芯片區(qū)域和TSV區(qū)域中間有1024根信號傳輸線路，對應(yīng)1024bit總線位寬。邏輯芯片的大小通常大于DRAM芯片，如海力士8層HBM3的邏輯芯片大小為10.8mmx9.8mm，而DRAM芯片為10.5mmx9.5mm，這是為了可以模塑封裝（Mode晶圓模塑，一種扇出型晶圓級芯片封裝工藝）以保護晶圓，通常使用環(huán)氧樹脂模塑料（EMC）作為填充材料。HBM使用TSV技術(shù)、采用3D堆疊結(jié)構(gòu)，采用先進封裝與GPU封裝在一起，在不占用面積的前提下，實現(xiàn)容量拓展、有效提升帶寬和降低功耗。將多片HBMDRAMDie堆疊在一顆LogicDie，DRAMDie之間、DRAM和LogicDie均通過硅通孔（TSV）和Bump（凸點）垂直互連。DRAM與LogicDie放置在Interposer（中介層）上與GPU互聯(lián)，中介層放置在ABF載板上，最后HBM與GPU使用系統(tǒng)級封裝技術(shù)封在一起。HBM采用的主要技術(shù)為：1）TSV、Bumping技術(shù)：有利于HBM增加容量，可以通過堆疊更多層數(shù)實現(xiàn)擴容，同時實現(xiàn)了較短的信號傳輸路徑，使HBM具備更好的內(nèi)存功耗能效特性，同時也增加了引腳數(shù)量，使得每顆HBM能有1024bit總線位寬。2）2.5D封裝采用中介層：中介層中連接GPU和DRAM，相較傳統(tǒng)PCB的電線數(shù)量更多，一方面縮短與GPU的數(shù)據(jù)的傳輸路徑，減少能耗，更重要的是實現(xiàn)GPU和DRAM的高帶寬數(shù)據(jù)的傳輸。3）系統(tǒng)級封裝：HBM將原本在PCB板上的DDR內(nèi)存顆粒和GPU一起全部集成到SiP里，因此HBM在節(jié)省產(chǎn)品空間方面也更具優(yōu)勢。HBM制造流程分為四步，涉及TSV（硅通孔）、Bumping（凸點制造）、堆疊鍵合等技術(shù)。HBM從設(shè)計、制造和封測方式均與傳統(tǒng)DRAM有較大區(qū)別，相較傳統(tǒng)DRAM，HBM多了TSV、邏輯晶圓制備、凸點制造、堆疊鍵合等工藝，主要差異集中在封裝測試部分，HBMKGSD的制備工藝包括扇出型晶圓級封裝、TSV、Microbumping等先進封裝技術(shù)。1）晶圓制造（包括TSV）：分別制造DRAM晶圓和邏輯晶圓，同時做好DRAM和邏輯晶圓的TSV硅通孔，TSV硅通孔需要晶圓制造工藝，包括深孔刻蝕、氣相沉積、銅填充、CMP、晶圓減薄等晶圓制造工藝，此時DRAM和邏輯都是處于晶圓階段，與傳統(tǒng)DRAM主要差異是HBM晶圓需要制造TSV。2）凸點制造（Mircobumping）：將硅通孔后的DRAM晶圓和邏輯晶圓倒裝，然后進行減薄，在晶圓背面形成凸點，此時DRAM和邏輯都是處于晶圓階段。3）堆疊和鍵合（Stacking&Bonding），主要的差異化環(huán)節(jié)：在進行堆疊前，DRAM晶圓和邏輯晶圓的TSV通孔和凸點均已做好，DRAM晶圓切割成DRAM顆粒，DRAM顆粒一層一層堆疊在邏輯晶圓上，然后進行鍵合，再進行晶圓模塑封裝，最后獲得模塑封裝后的KGSD（MoldedKGSD）。海力士和三星/美光主要是在鍵合工藝上有差異，三星/美光使用較為傳統(tǒng)的TC-NCF（Thermo-CompressionBondingwithNoneConductiveFilm，熱壓縮-非導(dǎo)電薄膜），先在有TSV和凸點的晶圓上填充NCF，然后堆疊進行熱壓鍵合，后進行模塑封裝，而海力士采用獨創(chuàng)的MR-MUF工藝（MassReflowBondingwithMoldedUnderFill，大規(guī)模回流焊-注塑底填充技術(shù)），不使用NCF，直接先堆疊，然后進行大規(guī)?；亓骱缸鐾裹c的鍵合，然后使用以液體EMC為主要原材料的MUF使用模塑方式填充縫隙，工藝具體介紹詳見后文。4）切割KGSD晶圓獲得KGSD顆粒：將模塑后的KGSD晶圓切割成顆粒，測試完成后出貨給臺積電繼續(xù)做CoWoS封裝。2.2HBM三大關(guān)鍵工藝：TSV、Microbump和堆疊鍵合TSV在HBM成本中占比最高，約30%。HBM核心工藝主要是TSV、microbump和堆疊鍵合，其中TSV工藝是HBM中成本占比最高、最核心的工藝，利用TSV才能實現(xiàn)DRAM芯片的3D堆疊和芯片間的快速傳輸。根據(jù)3DInCites2016年數(shù)據(jù)，在4層DRAM和1層邏輯的HBM中，99.5%的鍵合良率下，TSV工藝所占的成本比重為30%，其中TSV制造（在正常晶圓厚度上制作TSV的過程）為18%，TSV顯露（晶圓減薄等工藝使TSV觸點露出）為12%；在99%鍵合良率下，TSV工藝所占的成本比重為28%，其中TSV制造為17%，TSV顯露為11%。TSV，即Through-SiliconVia，指穿透Si晶圓實現(xiàn)各芯片層之間電互連的垂直導(dǎo)電柱。RDL主要在XY軸上進行電互聯(lián)，而TSV主要針對Z軸方向的電互聯(lián)，是唯一的垂直電互聯(lián)技術(shù)。芯片三維堆疊技術(shù)需通過TSV實現(xiàn)多芯片的短距離高速通信。TSV有3個關(guān)鍵特征：1）通過在芯片內(nèi)部形成孔洞來實現(xiàn)電氣互連；2）垂直連接芯片的不同層次，實現(xiàn)多層堆疊結(jié)構(gòu)；3）TSV中填充導(dǎo)電材料，通過孔內(nèi)材料導(dǎo)電實現(xiàn)電氣互連。TSV主要用于硅轉(zhuǎn)接板、芯片三維堆疊等方面，典型應(yīng)用有cowos、HBM。目前用于三維堆疊的TSV直徑約為5~10μm，深寬比約為10∶1，未來先進TSV工藝的直徑有望達到1μm，深寬比達到20∶1，實現(xiàn)更高密度的互連。TSV制造涉及到深孔刻蝕、氣相沉積、銅填充、CMP、晶圓減薄等工序設(shè)備，技術(shù)難度高。TSV制造的主要工藝流程依次為：深反應(yīng)離子刻蝕（DRIE）行成通孔→通過化學(xué)沉積的方法沉積中間介電層、使用物理氣相沉積的方法沉積制作阻擋層和種子層→通過電鍍或者PVD工藝在盲孔中進行銅填充→使用化學(xué)和機械拋光（CMP）去除多余的銅并對晶圓進行減薄。從工藝次序角度可分為前通孔、中通孔、后通孔和鍵合后通孔等幾種形式。TSV技術(shù)的工藝難度高：1）通常要求晶圓減薄到50μｍ以下，須控制好晶圓減薄的水平度，避免裂片、飛邊。2）TSV工藝對通孔的寬度以及深寬比都有嚴(yán)格要求，目前首選技術(shù)是基于Bosch工藝的干法刻蝕，實現(xiàn)了對腔室內(nèi)等離子體密度的均勻控制，滿足硅高深寬比刻蝕工藝的要求。涉及的設(shè)備&材料：光刻機（光刻膠）、深孔刻蝕設(shè)備（電子特氣）、PVD（靶材）、CVD、電鍍設(shè)備（電鍍液）、拋光機（拋光液）、減薄機（減薄液）等。此外，為了滿足TSV工藝，晶圓減薄已成為大勢所趨，但超薄晶圓容易產(chǎn)生翹曲，因此在硅轉(zhuǎn)接板的完整工藝流程中（報告3.1節(jié)有流程介紹）還需要用到臨時鍵合與解鍵合工藝：采用臨時鍵合材料將完成一面圖形制造的晶圓預(yù)鍵合到載片上，繼續(xù)進行背面工藝制作，完成后將晶圓和載板剝離。Microbump是芯片倒裝的基礎(chǔ)。Bump技術(shù)具備引腳密度高、低成本的特點，是構(gòu)成倒裝技術(shù)的基礎(chǔ)。相較于傳統(tǒng)打線技術(shù)（WireBond）的“線連接”，Bump技術(shù)“以點代線”，在芯片上制造Bump，連接芯片與焊盤，此種方法擁有更高的端口密度，縮短了信號傳輸路徑，減少了信號延遲，具備了更優(yōu)良的熱傳導(dǎo)性及可靠性，也是進行FC（FlipChip）倒裝工藝在內(nèi)的先進封裝工藝的技術(shù)基礎(chǔ)。Microbump是銅柱微凸點，主要制備方法是電鍍。目前HBM的DRAM芯片之間主要通過microbump（微凸點）互聯(lián)，microbump是電鍍形成的銅柱凸點。凸點制作流程為：①首先濺射一層UBM層（UnderBumpMetallization，凸點下金屬層）到整個晶圓的表面，UBM層作為種子黏附層，可以在電鍍時讓電流均勻傳導(dǎo)到晶圓表面開口的地方，使各處電鍍速率盡可能一致。②在UBM層上利用光刻膠形成掩膜，僅在需要電鍍凸點的區(qū)域開口。③通常采用蘑菇頭形的電鍍，即電鍍厚度超過光刻膠厚度，凸點沿著光刻膠表面橫向長大，形成蘑菇頭形狀。④電鍍完畢后去膠，并去除凸點外的UBM層。⑤最后通過回流形成大小均勻、表面光滑的凸點陣列。整個流程會涉及到的設(shè)備&材料：PVD（靶材）、涂膠顯影機、光刻機（光刻膠）、電鍍設(shè)備（金屬、焊料）、去膠設(shè)備（剝離液）、刻蝕設(shè)備（電子特氣）、回流焊設(shè)備等。堆疊鍵合工藝主要包括：NCF、MUF、混合鍵合。HBM2，Bumppitch（凸點間距）在55μm，三星和海力士共同使用TCB（熱壓合）技術(shù)，其中海力士采用的是TCB的分支TCB-NCF。HBM2/2E/3/3E，Bumppitch進展到25/22μm水平，三星繼續(xù)采用TCB技術(shù)，而海力士獨家采用MR-MUF（大規(guī)?；亓骱?注塑底填充技術(shù)）。HBM4，Bumppitch進展到20μm以下，三星和海力士共同尋求混合鍵合技術(shù)——該技術(shù)相比TCB、MR-MUF技術(shù)最大特點在于，其為直接鍵合，即直接實現(xiàn)上下die之間的電氣連接，中間不需要再使用凸點。三星、海力士之外的另一巨頭美光，此前堅持HMC（混合存儲立方體技術(shù)），于2022年底轉(zhuǎn)向HBM，并于2023年推出HBM3Gen2，技術(shù)方式與三星相同，使用TCB。海力士獨創(chuàng)的MR-MUF相較TC-NCF有更好的散熱性能。海力士從TCB轉(zhuǎn)向獨創(chuàng)MR-MUF，一方面效率更高，同時散熱效果更好，HBM3推出時間領(lǐng)先其他原廠1年多、占據(jù)了先機。散熱是HBM產(chǎn)品發(fā)展的關(guān)鍵瓶頸之一，MR-MUF工藝下HBM的散熱性能更好，主要是由于：①散熱凸點（bump）更多，②不再使用NCF，使用有優(yōu)良導(dǎo)熱性能的塑封料作為間隙填充材料，相當(dāng)于TCB-NCF下HBM需要穿2層衣服（NCF和EMC），而在MR-MUF工藝下HBM之間僅穿了一層衣服（EMC）。另外MR-MUF工藝也有效率更高、降低TSV制造成本等優(yōu)勢。凸點主要可分為散熱類凸點和連接類凸點，通常凸點越多散熱效果越好，凸點增加了散熱路徑，但是在傳統(tǒng)的HBM堆疊鍵合TCB-NCF工藝下，考慮到NCF的流動性和鍵合過程中在熱壓力下的芯片損耗，TCB難以大規(guī)模制備散熱凸點，MR-MUF工藝下一次熔化所有微凸點的焊料然后實現(xiàn)鍵合、電氣互連，不再使用壓力，因此可以使用更多凸點，散熱性能更佳，另外采用自己獨家研發(fā)的液體狀EMC為主要原材料的底料填充，散熱性能更上臺階。根據(jù)海力士，MR-MUF工藝確保了HBM10萬多個凸點互連的優(yōu)良質(zhì)量，增加了散熱凸點數(shù)量、實現(xiàn)更好的散熱效果，鞏固了海力士在HBM市場的地位，并使SK海力士在HBM3市場占據(jù)領(lǐng)先地位。目前HBM廠商采用的凸點倒裝互連工藝主要分為回流焊和熱壓鍵合。1）回流焊：加熱錫焊料，熔化的焊料與另一側(cè)凸點金屬接觸后發(fā)生界面反應(yīng)，形成互連焊點。缺點是溫度變化容易引起翹曲，焊料和金屬間的對準(zhǔn)存在偏差。2）熱壓鍵合：通過加壓加熱使錫焊料熔化與凸點金屬接觸后發(fā)生界面反應(yīng)形成焊點，與回流焊的區(qū)別是：鍵合時間只有幾秒鐘（回流焊需要十幾分鐘），降低翹曲發(fā)生率；鍵合前通過相機對準(zhǔn)（回流焊是自對準(zhǔn)），精度更高，但是產(chǎn)出效率比回流焊低。因此熱壓鍵合更適合微尺寸的互連。底填料是在倒裝中起到保護凸點的作用。在芯片倒裝互連過程中，底部填充料是不可或缺的材料，起到保護凸點的作用。目前HBM廠商使用的底填充形式主要分為兩種：1）組裝后底部填充技術(shù)：先凸點互聯(lián)，后底部填充。該技術(shù)是傳統(tǒng)填充技術(shù)，缺點是凸點間填充不完全；2）預(yù)成型底部填充技術(shù)：先涂覆底填料至芯片，后凸點互聯(lián)，凸點的互聯(lián)和底填料固化工藝同時完成。該技術(shù)是新型填充技術(shù)，優(yōu)點是簡化工藝，填充更完全。隨著芯片間I/O端口數(shù)量的增加，芯片間互聯(lián)方式正從“回流焊+組裝后底部填充”轉(zhuǎn)變到“熱壓+預(yù)成型底部填充”，而凸點間距降低到10微米以下后，需要采用混合鍵合工藝，無需底填料。目前三星和美光的HBM使用的工藝是熱壓+預(yù)成型底部填充，而海力士的HBM使用的是研發(fā)改進后的回流焊+組裝后底部填充。TC-NCFTC-NCF（熱壓鍵合+非導(dǎo)電薄膜）工藝先用NCF非導(dǎo)電薄膜填充芯片間隙，再通過熱壓鍵合連接芯片。TC-NCF的工藝流程：1）在圓片正面真空層壓NCF。NCF由丙烯酸和環(huán)氧樹脂等組成，是一種底填料，用于粘合填充。2）在圓片背面貼劃片膜，接著進行劃片分割；3）通過熱壓鍵合將芯片之間堆疊固定。TC-NCF具有成本低、操作方便等優(yōu)點，缺點是高溫易導(dǎo)致芯片翹曲，影響良率。此外，它對芯片研磨的要求也很高，厚度稍有不均，芯片各部分受到的壓力就會變化，使良率降低。美光和三星從生產(chǎn)HBM開始，一直使用TC-NCF工藝，海力士的HBM2使用了TC-NCF工藝。MR-MUFMR-MUF是海力士HBM核心工藝，MR-MUF（大規(guī)模回流焊+注塑底填充）工藝先通過回流焊連接芯片，再用環(huán)氧塑封料填充芯片間隙。海力士的HBM在市場領(lǐng)先，依靠的核心技術(shù)就是獨家的MR-MUF。MR-MUF技術(shù)壁壘為：液體環(huán)氧塑封料及注塑設(shè)備、芯片翹曲控制技術(shù)，均由海力士研發(fā)并享有獨占權(quán)。MR-MUF流程分為兩步驟：1）將帶有微凸點的芯片堆疊后整體加熱，一次熔化所有微凸點的焊料，將芯片與電路連接；2）用MUF（主要構(gòu)成材料是液體環(huán)氧塑封料）填充芯片與芯片的間隙，同時完成注塑和底填工藝。與TC-NCF相比，MR-MUF的優(yōu)點：1）MR-MUF的鍵合可以在空隙階段完成，提高工藝效率；2）MUF具有高導(dǎo)熱性，導(dǎo)熱率比NCF高出約兩倍，散熱性能改善了10℃以上。海力士HBM2E、HBM3、HBM3E均使用MR-MUF工藝?；旌湘I合三星與SK海力士正在研發(fā)HBM4將使用混合鍵合技術(shù)?；旌湘I合（hybridbondind）是一種將介電鍵（SiOx）與嵌入金屬（Cu）結(jié)合形成互連的工藝技術(shù)。熱壓鍵合或回流焊工藝通常最小只能做到10μm節(jié)距，對于細間距微凸點，電鍍時凸點之間極小的不均勻也會影響良率和性能，因此10μm節(jié)距以下只能采用混合鍵合技術(shù)?；旌湘I合與傳統(tǒng)凸點焊接不同，其沒有凸點，不需要底填料，是一種將介電鍵（SiOx）與嵌入金屬（Cu）結(jié)合形成互連的工藝技術(shù)，可以提高芯片間通信速度，節(jié)距可以達到10μm及以下，未來有望升級至2μm及以下，是未來應(yīng)用于高帶寬存儲（HBM）的理想鍵合方案，三星與SK海力士正在研發(fā)HBM4預(yù)計將使用混合鍵合技術(shù)。3.HBM驅(qū)動先進封裝設(shè)備和材料需求爆發(fā)3.1材料端：環(huán)氧塑封料、硅微粉、電鍍液和前驅(qū)體等用量提升材料端：相較傳統(tǒng)DRAM，HBM多了TSV、Microbumping和堆疊鍵合等工藝，既使用晶圓制造材料，如光刻膠、靶材等，也使用先進封裝材料。在先進封裝材料環(huán)節(jié)的主要增量為：1）環(huán)氧塑封料：在MR-MUF方法中，環(huán)氧塑封料具備底填料+注塑料的功能，在TC-NCF方法中，環(huán)氧塑封料具備注塑料的功能；2）硅微粉：是HBM中環(huán)氧塑封料最主要原材料，填充比例為70%-90%，其成本占環(huán)氧塑封料原材料成本的27%左右。3）電鍍液：TSV和bump工藝在制作過程中，均離不開電鍍液，TSV通孔互聯(lián)由電鍍銅組成，bump的銅柱由電鍍銅組成，此外bump中還有電鍍錫銀等；4）前驅(qū)體：在TSV電鍍銅前，需要ALD沉積形成擴散阻擋層，前驅(qū)體是ALD過程的一種重要介質(zhì)。環(huán)氧塑封料MR-MUF的底填+注塑材料為環(huán)氧塑封料。環(huán)氧塑封料（EpoxyMoldingCompound，簡稱EMC）是用于半導(dǎo)體封裝的一種熱固性化學(xué)材料。EMC是由環(huán)氧樹脂為基體樹脂，以高性能酚醛樹脂為固化劑，加入硅微粉等填料以及多種助劑加工而成，保護芯片不受外界環(huán)境（水汽、溫度）的影響，并實現(xiàn)導(dǎo)熱、絕緣、耐壓等復(fù)合功能。在海力士HBM的生產(chǎn)中，液體環(huán)氧塑封料被用于大規(guī)?；亓髂Ｖ频撞刻畛?MR-MUF)封裝方法，填充并附著芯片之間的空間，具備底填料+注塑料的功能。目前海外供應(yīng)商主要有日本住友、日本昭和。根據(jù)共研網(wǎng)數(shù)據(jù)，2022年我國半導(dǎo)體用環(huán)氧塑封料市場規(guī)模約85億元，2018-2022年CAGR約20%。硅微粉硅微粉為環(huán)氧塑封料主要成分。硅微粉是以結(jié)晶石英、熔融石英等為原料加工而成的二氧化硅粉體材料，是覆銅板、環(huán)氧塑封料、電工絕緣材料、膠粘劑等材料的原材料之一。硅微粉分為不同的類型，1）按照結(jié)晶特點：結(jié)晶、熔融；2）按照顆粒形態(tài)：角形、球形。其中球形硅微粉是HBM中環(huán)氧塑封料最主要原材料，填充比例為70%-90%，可提高環(huán)氧塑封料的硬度、導(dǎo)熱系數(shù)并減緩震動。目前海外廠商主要有日本電氣化學(xué)、隆森。根據(jù)聯(lián)瑞新材招股書數(shù)據(jù)，預(yù)計2025年我國環(huán)氧塑封料用硅微粉的市場規(guī)模約9億元。電鍍液TSV、bump工藝均需使用電鍍液。電鍍是指在芯片制造或先進封裝中，將金屬離子電鍍到晶圓表面形成互連，所需電鍍液的種類有銅、鎳、金和錫銀合金等，其中銅電鍍液占據(jù)主流，占比在60%以上。電鍍液通常由主鹽、導(dǎo)電鹽、絡(luò)合劑、各類添加劑及溶劑等構(gòu)成，其中電鍍添加劑是影響電鍍功能的核心組分，配方體系復(fù)雜、研發(fā)難度大。如前文所述，TSV和bump工藝在制作過程中，均離不開電鍍液，TSV通孔互聯(lián)由電鍍銅組成，bump的銅柱由電鍍銅組成，此外bump中還有電鍍錫銀等。目前海外廠商主要有石原、樂思化學(xué)、杜邦。根據(jù)QYResearch數(shù)據(jù)，2022年全球高純電鍍液市場規(guī)模達到了5.9億美元，預(yù)計2029年將達到12.0億美元，2022-2029年CAGR為10.8%。前驅(qū)體HBM多層堆疊帶來前驅(qū)體用量的加倍提升。前驅(qū)體是原子層薄膜沉積ALD使用的一種重要介質(zhì)。原子層沉積是TSV中關(guān)鍵工藝之一，在電鍍銅前，需要ALD沉積形成擴散阻擋層。ALD是指將多個化學(xué)前驅(qū)體交替脈沖通入反應(yīng)腔體與襯底接觸，發(fā)生化學(xué)吸附反應(yīng)，形成擴散阻擋層，防止銅的電化學(xué)遷移導(dǎo)致物理失效。未來HBM將由8層堆疊發(fā)展到12層、16層堆疊，HBM的多層DRAM堆疊會帶來前驅(qū)體用量的成倍提升。主要海外廠商有：德國Merck、法國液化空氣。從市場規(guī)模來看，2021年中國半導(dǎo)體用前驅(qū)體市場規(guī)模達5.9億美元。3.2設(shè)備端：熱壓鍵合機、大規(guī)?；亓骱笝C、混合鍵合機等需求設(shè)備端：HBM帶來熱壓鍵合機、大規(guī)?；亓骱笝C、混合鍵合機的需求。HBM的不同代際，通常采用不同的DRAMdie的鍵合工藝。在海力士技術(shù)路線中，除HBM2采用TCB-NCF（熱壓合-非導(dǎo)電薄膜技術(shù)）外，后續(xù)的HBM2E/3/3E均采用自家獨創(chuàng)的MR-MUF（大批量回流焊-注塑底填充技術(shù)），而三星則從HBM2至HBM3E均采用TCB（熱壓合技術(shù)）。TCB工藝采用熱壓鍵合方式，實現(xiàn)DRAMdie的上下互聯(lián)，其核心設(shè)備為TCB鍵合機；MR-MUF采用回流焊實現(xiàn)鍵合，其核心鍵合設(shè)備為大規(guī)?；亓骱笝C，其他核心設(shè)備為實現(xiàn)MUF工藝的注塑底填充機。而在未來的HBM4時代，隨著DRAMdie的pitch間距進一步縮小，混合鍵合有望成為實現(xiàn)DRAMdie鍵合的主流工藝，則屆時對應(yīng)的核心設(shè)備為混合鍵合機。TCB-熱壓鍵合機熱壓鍵合機通過熱壓合實