最近看了Marvell年度大作，marvell-custom-ai-investor-event-2025(現在給投資人看的報告越來越專業)。
最近看了Marvell年度大作，marvell-custom-ai-investor-event-2025(現在給投資人看的報告越來越專業)。¶
- Source: Ted Yu
- Published: 2025-07-24T08:48:41+08:00
- URL: https://ytyuted.substack.com/p/hbm-technologies EP8: HBM technologies - Ted Yu
Pledge your support
EP8: HBM technologies¶
Jul 24, 2025
最近看了Marvell年度大作，marvell-custom-ai-investor-event-2025(現在給投資人看的報告越來越專業)。
文中提到許多觀念，先聊聊custom HBM(High Bandwidth Memory)，其他的重點找時間再介紹。
高頻寬記憶體（HBM）技術持續演進，從 HBM2、HBM2E 至 HBM3/3E，如今正邁向 HBM4。面對 AI 與 HPC 系統對高效能記憶體日益提升的需求，HBM 技術出現以下兩大新趨勢：
• 導入客製化 Base Die 設計：整合邏輯功能於基底晶片，降低功耗與延遲
• 導入 Hybrid Bonding 接合技術：提升接腳密度與資料傳輸效率
- HBM簡介
1.1. Memory Wall
過去20年來，基於馮·諾伊曼架構(Von Neumann architecture, 存算分離)的XPU，運算能力成長遠遠超越記憶體與I/O頻寬，造成「通訊落差 Communication Gap」。
· FLOPs（運算能力）提升了 60,000 倍
· DRAM 頻寬（Memory BW）僅提升 100 倍
· I/O 頻寬（IO BW）僅提升 30 倍
👉 這種不對稱的成長速度造成了系統瓶頸——即便算力充足，資料傳送無法跟上。
(source: TSMC VLSI 2025 from Semi Vision)
來自 Morgan Stanley Research 的資訊，進一步驗證並補充「AI Memory Wall」問題:
1.2. HBM需求
Marvell在報告中提到，從單一晶片邁向多晶片整合，透過 HBM 與高速 I/O 搭配先進封裝，有效突破 AI Memory Wall 限制。
(source: Marvell)
12 顆HBM的配置，也是下一代AI chip的標配，參考TSMC roadmap:
(source: TSMC)
1.3. HBM roadmap
(source: Kaist Teralab, Korea)
在 AI 時代，HBM 不只是配件，而是與 XPU 並列的核心價值來源，高度影響整體效能與市場規模。
(source: Marvell)
- Custom HBM Design
傳統 HBM 使用由記憶體供應商（如 SK Hynix、Samsung）提供的標準 base die，包含 PHY、memory controller 等通用設計。然而，近年 AI 與 HPC 廠商如 NVIDIA、AMD、Intel 開始自定義 Base Die，加入以下功能：
• SRAM Cache / Rambo Cache
• AI-aware memory control
• 壓縮、資料預取等記憶體前處理邏輯
• 與主 SoC 高速 D2D 接口協同設計
此趨勢使 HBM 成為 XPU 記憶體階層的延伸而非獨立記憶體模組。
Marvell 在報告中提到Custom HBM的好處:
Samsung 提到了這對HBM Base Die設計的影響:
這種「Custom HBM」實際上是將HBM Base Die 加上邏輯控制電路與 D2D 介面，形成一種"計算記憶體" + "通訊整合"的元件。雖然 Die-to-Die（D2D）平行 I/O 是 chiplet 化趨勢的關鍵技術之一，但截至目前為止，大多數廠商採用的都不是開放標準（如 UCIe），而是自家專有設計。
Custom HBM Base die 將由TSMC製作。可以參考Reference 2的科普視頻介紹。
(source: Kaist Teralab, Korea)
- HBM用的 Bonding工藝: TCB(Thermo-Compression Bonding)和HB(Hybrid Bonding)
3.1. TCB和HB技術的簡介
依據接點的尺寸，利用不同的工藝來做接合:
(source:ASMPT)
TCB和HB的比較:
HB設備大廠Besi的說明:
在HBM應用上，TCB和HB比較:
3.2. Hybrid Bonding製程簡介:
• 1️⃣表面活化（Plasma Treatment）
▪目的：用氧電漿（O₂ plasma）活化氧化層表面，形成 OH（hydroxyl）懸掛鍵(dangling bond)。
▪對象：矽氧化層表面（CVD SiO₂）
• 2️⃣ 室溫接合（Room Temp. Bonding）
▪過程：兩表面 OH 鍵自發反應：
▪特性：不需高溫，實現初步氧化層對氧化層（oxide-to-oxide）鍵結
• 3️⃣ 退火加熱（Annealing）
▪溫度：200–400 °C（視製程）
▪作用：
-
強化SiO₂–SiO₂ bonding
-
同時進行Cu–Cu 擴散、接觸、再結晶
▪結果：形成強力的冶金接點（Cu grain 貫穿接合界面）
白話說明1️⃣和2️⃣:
• 原本的 SiO₂ 表面是一層「矽–氧–矽」（Si–O–Si）的網狀結構，就像玻璃一樣，非常穩定。
• 但這個表面可能不夠「活潑」，不能直接貼合。
• 所以，我們用「氧電漿」來轟擊表面（就像打開毛孔一樣），把表面的鍵打開，變成帶有「–OH 羥基」的活化結構：
▪ 原本：Si–O–Si
▪ 活化後：Si–OH（有點像長出觸角）
• 當兩個表面都有這種「Si–OH 觸角」時，把它們壓在一起，這些 OH 會自然反應黏住，變成：
▪ Si–OH + HO–Si → Si–O–Si + H₂O（水）
• 就好像兩個毛毛黏在一起變回光滑表面，中間的水再用加熱讓它蒸發掉。
- 先進封裝技術
回顧TSMC經典的先進封裝示意圖:
先進封裝設備大廠Besi提出的解決方法:
(source: Besi)
其中 TCB(Thermal Compression Bonding), HB(Hybrid bonding) 為重要Heterogeneous Integration接合的製程工藝。
[Reference]
- Semi Vision
Support Ted Yu
Launched a year ago
Master in EE EE experience more than 20 years, including BB CPE, 5G wireless, high speed data, ..., etc. Now focusing on communication of data centers
Pledge your support
