OCP Global Summit的資料公開了，感謝OCP開放的作法，受益良多。 本周繼續利用OCP資料庫，聊聊Interconnect的介質，分享個人觀點，歡迎討論。
OCP Global Summit的資料公開了，感謝OCP開放的作法，受益良多。 本周繼續利用OCP資料庫，聊聊Interconnect的介質，分享個人觀點，歡迎討論。¶
- Source: Ted Yu
- Published: 2025-10-30T07:59:40+08:00
- URL: https://ytyuted.substack.com/p/ep21-interconnect-media EP21. Interconnect Media - Ted Yu
Pledge your support
EP22. Interconnect Media¶
Oct 30, 2025
OCP Global Summit的資料公開了，感謝OCP開放的作法，受益良多。 本周繼續利用OCP資料庫，聊聊Interconnect的介質，分享個人觀點，歡迎討論。
1. AI DC Networking Infrastructure¶
1.1. Big Picture Update¶
經典的架構圖中增加了Scale-Across。 是由 NVIDIA 在近期（2025 年 8 月的 Hot Chips 大會上）正式提出並大力推廣的。
它在傳統的「Scale-Up」和「Scale-Out」基礎上，增加了「Scale-Across」（跨資料中心互連）。
「Scale-Across」是 NVIDIA 的新概念，旨在使用Spectrum-XGS等技術，將多個地理位置分散的資料中心，整合成一個統一的、巨型「AI 超級工廠」。
NVIDIA 提出的「Scale-Across」極大地提升了資料中心之間 (DCI)的網路需求，這正是Ciena, Nokia 等的傳統強項（Coherent modulation，DWDM）。
然而，AI 同時也引爆了資料中心內部 (Scale-Out)的網路瓶頸。傳統的可插拔光模組已達功耗極限，未來必須轉向 NPO/CPO。
Ciena收購Nubis（一家 CPO 技術公司, 完成收購：2025 年 10 月 7 日），目的就是從它稱霸的「外部 (Scale-Across)」市場，一舉切入「內部 (Scale-Up)」市場，意圖通吃 AI 資料中心從內到外的光通訊商機。
1996年，Ciena公司透過其MultiWave 1600系統，首次將「DWDM」（密集波分多工）技術商用化。此舉讓電信商，能在「不鋪設新光纖」的情況下，利用不同波長（顏色）的光，將「單條」光纖的傳輸容量瞬間提升了 16 倍（從 2.5 Gb/s 飆升至 40 Gb/s），引爆了寬頻光通訊革命。
1.2. Media¶
這張圖展示了 AI 工廠在不同距離下的互連技術,介質（Media）是這張圖的基礎分界。
Copper (銅纜)：
範圍：僅限機櫃內 (Rack)的短距離（約 1-3m）。AEC(Active Electrical Cable，主動式電纜) 能將銅纜的有效傳輸距離從 2 公尺(DAC(Direct Attach Cable，被動式電纜 )）延長到 5-7 公尺
應用：例如DAC，用於伺服器連接機頂交換機 (ToR)。
Optical (光纖)：
範圍：一旦超出機櫃（從 10m 到 1,000km+），就必須使用光纖。
技術：隨著光纖距離拉長，光學技術也隨之升級
PAM4：用於資料中心內部（~10m - 2km）
Coherent-lite：用於園區級（~2km - 20km）
ZR / ZR+(Coherent)：用於跨區域（20km+），實現「Scale-Across」
AI 工廠在機櫃內用銅纜，出了機櫃一律用AEC( <7m)或光纖，且距離越遠，光纖所需的光學技術（從 PAM4 到 Coherent）就越複雜。關於Coherent調變技術，請參考EP3和EP7.
1.3. Scale-Up Scaling¶
目前「AI Scale-Up」（AI 伺服器內部的互連）主要使用銅 (Copper)，核心原因就是為了實現最低的「功耗」(Power) 和「成本」(Cost)。
目前「AI Scale-Up」是在伺服器機箱內部，特別是指 GPU 之間、以及 GPU 到內部交換機（如 NVSwitch）的超高頻寬連接。
銅的優勢： 在「Scale-Up」對應的極短距離上（標示為 “Tray” 和 “Rack” 層級），銅介質（Copper）展現了絕對優勢：
PCB trace (電路板佈線)：功耗最低、成本最低
Copper cable (銅纜)：功耗低、成本低
光學的劣勢： 相對地，光學 (Optics) 雖然傳輸距離非常長（適用於 Scale-Out），但在短距離上，它的功耗 (Higher power) 和成本 (Higher cost) 都顯著高於銅。這是因為光學方案需要額外的「光電轉換」和「電光轉換」晶片（如 DSP、Driver、TIA），這些都會消耗大量電力並增加成本。
在 AI 伺服器內部（Scale-Up）這種「寸土寸金」且對功耗極度敏感的環境中，銅（包含 PCB 佈線和內部高速銅纜）是目前唯一能在短距離內，同時滿足超高頻寬、最低功耗和最低成本的解決方案
因為LLM的需求，GPU 互連數增加（從 64 擴展到2048），這個「Scale-Up 叢集」就必須「跨機櫃」(cross-rack)
一旦 Scale-Up 的規模大到需要「跨機櫃」，這就代表銅纜 (Copper) 的極限到了:
Copper (DAC/AEC)：適用於機櫃內 (Rack)，或頂多到相鄰機櫃 (Row)，極限約 3-7 公尺。
Optics (光纖)：只要距離一拉長，「跨機櫃」的連接就必須使用光纖（例如 AOC(Active Optical Cable，主動式光纜)，或插入式光模組）。
一旦轉為光學，功耗 (Higher power) 和成本 (Higher cost)就會飆升，這也正是 CPO/NPO 技術試圖解決的核心痛點。
1.4. 功耗¶
如果Scaling不是問題，光纖 (Optics) 要取代銅 (Copper) 用於 Scale-Up，關鍵在功耗:
現在 (2027年以前)：銅 (AEC/DAC) 的功耗遠低於傳統光模組。
轉捩點 (2027年開始)：CPO（共封裝光學）技術將成熟，其功耗首次能降至 10 pJ/bit 以下，使其在功耗上具備了取代銅的可行性。
未來 (2028年後)：先進的 CPO/NPO 功耗將追平甚至優於銅，屆時才能真正實現兼具低功耗和長距離的大規模光學 Scale-Up 網路
這和 Yole 報告的預測CPO 的爆發時間點一致:
用於Scale-Up（紅色區塊）的 CPO 營收，在2027 年之前幾乎為零。
從 2027-2028 年開始，Scale-Up CPO 才首次出現有意義的商業營收並開始快速增長，與前一張功耗圖顯示「CPO 在 2027 年技術才達標」的結論完全一致。
2. Copper¶
2.1. AEC¶
AECs (Active Electrical Cable, 主動式電纜)與傳統的DACs (Direct Attach Cable, 被動式銅纜)的對比:
AEC核心優勢總結如下：
傳輸距離 (Reach)：
AEC (紫色線)：透過內建晶片(Retimer DSP)增強訊號，將傳輸距離延長至 7 公尺。
DAC (黑色線)：距離非常短（通常 2-3 公尺）。
關鍵影響：AEC 的 7 公尺距離足以實現「跨機櫃」(Rack-to-Rack) 連接，而 DAC 基本只能用於機櫃內。
線纜體積 (Cable Bulk)：
AEC (紫色線)：線纜更細(直徑 6mm vs 10mm)、更靈活(彎曲半徑(BR) 3x vs 5x)，如右圖所示，佈線更整潔、更利於機櫃內的空氣流通散熱
DAC (黑色線)：線纜非常粗重且僵硬，如左圖所示，佈線困難且會嚴重阻礙氣流
今年7月，Elon Musk在社群媒體X上發布了xAI資料中心Colossus 2的照片。這項人工智慧新創公司計劃，在田納西州孟菲斯打造一座超級電腦中心。 Musk分享的圖片尤其突出其伺服器背後的成千上萬根整齊的紫色電纜——這正是Credo公司標誌性的產品。
Credo是一家專門提供高速連接 (high-speed connectivity)解決方案的無廠半導體公司（Fabless），創始團隊成員中，多人來自Marvell。他們的核心技術是SerDes（串化器/解串化器）和DSP（數位訊號處理器），這兩者是所有資料中心高速傳輸（無論是銅纜還是光纖）的基礎。
Credo在當前的 AEC 市場（特別是在 400G 和 800G 應用上）佔有超過 50%的市佔率，有些報告的估計甚至高達60% 至 70%。
Credo公司宣布收購了新創公司Hyperlume(2025 年 9 月 29 日)。Hyperlume 是一家專門開發基於 MicroLED（微型發光二極體）的光學互連技術的公司，其技術主要用於 AI 資料中心的晶片對晶片（chip-to-chip）通訊。
Credo此次收購的目的是為了將這項尖端的 MicroLED 技術整合到其產品組合中，以應對 AI 基礎設施未來對更高頻寬、更低功耗和更低延遲的連接需求。
2.2. AEC規劃中的應用¶
Rubin NVL144 Racks: 用於Backend(Scale-out) & Frontend¶
Rubin Ultra NVL576: 用於Backend(Scale-out) & Frontend¶
2.3. Nvidia Kyber(NVL576) Scale up Topology¶
Kyber 架構的核心重點重新整理如下:
Compute Blade Specs:每塊刀鋒包含兩顆「Rubin Ultra GPUs」和兩顆「Vera CPUs」，每顆Rubin Ultra GPU有4 個die。
Canister:每個 Canister 有18片Compute Blade，包含 36 顆「R300GPUs」(36x4=144 晶粒，NVL144) 和 36 顆「VeraCPUs」
Canister 裡的 GPUs，是透過一塊大型的「PCB 背板」(PCB Backplane) 來連接到 NVSwitch Blade(交換器刀鋒)。
由於訊號速率極高（如 400Gbps），傳統 PCB 材料衰減太快，因此這塊背板必須使用PTFE (鐵氟龍)這樣的昂貴、超低損耗材料來製造，才能確保訊號完整性。
每個Kyber有4個Canister(4x144=576dies，NVL576)，跨 Canister 的 NVSwitch 互連方法，圖中提到正在評估使用DAC,ACC(Active Copper Cable, 有源銅纜) 和AEC。。
關於NVSwitch的網路拓譜，圖中有註解:
“move from a nonblocking, all-to-all, rail-optimized 1-tier...topology”
「L1 架構」很理想 (nonblocking, all-to-all)，但因為沒有這麼大Radix的NVswitch，L1架構變得不可行，。
“to a... 2-tier network topology with oversubscription or a non-Clos topology”
這就是AMD專家所說的「L1.5」或「務實的妥協方案」(參考EP16.)。
明確點出了架構特性：它是2-tier(兩層) 且不是傳統的 Clos 拓撲
明確點出了犧牲點：引入了oversucription(超額訂閱/頻寬妥協)。
“rail-optimized” (導軌優化)”，Kyber的特色
這句話中兩次提到rail-optimized，物理架構(符合機櫃導軌) 是造成這個關鍵的限制因素。
L1 不可行 -> L2 Clos 太複雜/不符要求 -> L1.5/Non-Clos 是務實的妥協方案，犧牲頻寬以符合物理要求) 是對這句話最準確的解讀
Kyber 架構就是一個在物理極限邊緣，用盡一切先進的「銅」技術（從 PCB 材料到主動式電纜），來盡可能推遲使用「光」技術的經典範例。
NVidia工程師將這句話 “Copper when you can, optics when you must”發揮到極致。
3. Optics¶
3.1. 102.4T CPO 交換器¶
新世代102.4T CPO 交換器的三大主要競爭者：
NVIDIA:Spectrum-6 晶片 (用於 Spectrum-X / Quantum-X 平台)
Broadcom:Tomahawk 6 (TH6) “Davisson”
Marvell:Teralynx 12
核心技術：這三家公司的 102.4T 平台，共同點都是採用200Gbps SerDes（512 lanes x 200Gbps = 102.4T）作為基礎。
NVIDIA 看似最快，因為他們已經「產品化」並給出了上市時程。在今年3月GTC也展示了Quantum X(InfiniBand) CPO資訊，採用TSMC COUPE工藝(參考EP6.)。
Broadcom 和 Marvell應該處於「客戶送樣」和「原型展示」階段，緊追在後。他們的產品何時大規模商用，將取決於主要超大規模資料中心客戶（如 Meta, Google, Microsoft, AWS）的導入時程。
3.2. Marvell “1 OU 102.4T CPO” design concept¶
Marvell在OCP展場上，靜態展示了TX9190 CPO交換器。只有1 OU高度，102.4T 的switch，是展會上最受矚目的展示之一。
核心規格和設計簡介:¶
總頻寬：這是一台 1OU 高度 (1OU = 48mm vs. 1RU=44mm) 的交換器，可提供高達 102.4 Tbps(= 64 x 1.6T) 的前面板總頻寬
核心技術 (CPO)：它採用「共封裝光學」(CPO) 技術，將Marvell Teralynx (TLX) 交換器晶片與6.4T 的光學引擎 (Light Engine)封裝在一起。
冷卻系統：採用「液冷 + 氣冷」混合散熱。如圖所示，最核心的TLX + CPO區塊被一個大型的液冷冷板 (Coldplate)覆蓋，而 ELSFP(External Laser SFP)模組和 CPU 則由風扇進行氣冷
前面板介面：前面板配置了16 個 ELSFP和64 個 SN-MT連接埠(64x1.6T= 102.4T)
內部連接：光訊號從 CPO 模組透過內部的光纖（Midplane fiber connectors或Senko mid-board connectors）連接到前面板。
管理：系統使用一個Portwell COM-E X86模組進行控制
SN-MT(Senko Nano -Multi-fiber Termination)¶
SN-MT 是由Senko公司開發的一種超高密度的光纖連接器。
極致的密度 (High Density)：
這是它最大的優勢。如圖所示，SN-MT 的僅為3.85 x 9.46 mm，而傳統 MPO 連接器為 8.2 x 12.4 mm。
它的密度是 MPO 的2.7倍 (= (8.2x12.4)/(3.85x9.46))
CPO 交換器的關鍵元件：
SN-MT 的超高密度是實現 1OU 102.4T CPO 交換器的關鍵。
正因為它體積如此之小，才能在 1 OU 的前面板上，塞入多達64 個SN-MT和16個標準的ELSFP。如果使用 MPO，是絕對不可能實現這種密度的。
挑戰¶
要將 CPO 交換器設計成 1OU的高度，其挑戰在於：
需要深厚的液冷專業知識(Requires substantial liquid cooling expertise)
需要創新的光纖管理解決方案(Requires innovative fiber management solutions)，例如：在有限的空間內，處理MPC(Metallic PIC Connector，類似FAU功能)、面板 (face plate)、板中連接器 (mid-board connectors) 和光纖跳線 (fiber shuffles)
4. Others¶
4.1. CPX = CPC or CPO¶
Samtec CPX 方案的核心是將兩種技術整合到一個晶片封裝周圍：
CPC (CO-PACKAGED COPPER - 共封裝銅纜)
如圖中藍色模組所示。
用途：專為「短距離」(Short Distances) 和「Scale-Up」(系統內擴展) 的連接而設計。
CPO (CO-PACKAGED OPTICS - 共封裝光學)
如圖中銀色模組所示。
用途：專為「長距離」(Extended Reach) 和「Scale Out」(跨系統擴展) 的連接而設計。
Samtec 這方案的核心價值主張:
CPC 和 CPO 共用連接器介面：
Samtec 的 CPX 系統 展示了 CPC (藍色) 和 CPO (銀色) 模組可以混合搭配。
這表明它們的基礎 (ASIC 晶片這一側) 共享一個標準化的連接器插座(SI-FLY HD)，主要是SerDes訊號。
TH6 Davisson 的模組化
右下角的 “TH6 Davisson CPO” 是一個整合式的 CPO 封裝
交換器晶片（如 TH6）可以被放置在一個基板上，周圍環繞的不是永久焊死的 CPO 模組，而是 Samtec 的Si-FLY HD插座
靈活設計
一旦採用了 Samtec 的插座系統，系統設計者就可以獲得極大的靈活性。
可以根據需求，插入CPC(共封裝銅纜) 模組來實現短距離、低功耗的「Scale-Up」連接
也可以在同一個晶片上，插入CPO(共封裝光學) 模組，來實現長距離的「Scale-Out」連接。
Samtec 正在推動一種模組化的共封裝生態系統，讓晶片（如 TH6 Davisson）不必在出廠時就綁定 CPO，而是可以讓客戶後續自由選擇要插上銅纜 (CPC) 還是光纖 (CPO)。這和目前FPP(Front Panel Plug)的生態相同。
4.2. e-Tube ( or Active RF Cable, ARC)¶
新創公司 Point 2 提出新方法，可取代Copper和Optical在Scale-up的應用。
目前的銅纜 (Copper) 和光纖 (Optical) 方案，都面臨限制 AI 運算在短距離、Terabit 等級規模擴展的障礙：
銅纜的懸崖 (The Copper Cliff):
太粗 (Too thick)
太短 (Too short)
無法擴展 (Not scalable)
光纖的代價 (The Optical Penalties):
太昂貴 (Too Expensive)
太耗電 (Too power hungry)
有可靠性問題 (Reliability Issues): 零件多，特別是Laser，造成整體MTBF下降。
有延遲 (Latency)
Point 2 提出了一種名為「1.6T OSFP Active RF Cable (ARC)」或「e-Tube」的全新主動式電纜。
技術原理：它既不是用「電訊號」跑銅線，也不是用「光訊號」跑光纖，而是改用「RF 射頻訊號」跑在新型的「塑膠波導管」中。
關鍵組件：
e-Tube RF 晶片：位於 OSFP 接頭內，是整合了「晶片上天線」(integrated On-Chip Antennae) 的發射/接收 SoC。
波導連接器 (Waveguide connector)：天線將 RF 訊號導入此連接器。
e-Tube 塑膠芯 (e-Tube Plastic Cores)：連接器再將 RF 訊號導入由 8或16 條「e-Tube 塑膠芯」組成的電纜束中進行傳輸。
以下是 e-Tube 主動式電纜 (1.6T) 與其他電纜技術 (DAC, ACC(Active CopperCable), AEC, AOC(Active Optical Cable) ) 的比較：
電纜長度 ，能源效率 ，電纜價格 ，模組延遲
根據這份資料，e-Tube 的市場定位是作為 AEC 和 AOC的高效能替代品(< 10m)。它提供了超過 AEC 的長度、低於 AEC/AOC 的功耗、低於 AEC/AOC 的價格，以及幾乎為零的延遲。
Support Ted Yu
Launched a year ago
Master in EE EE experience more than 20 years, including BB CPE, 5G wireless, high speed data, ..., etc. Now focusing on communication of data centers
Pledge your support
