AI 記憶體新戰局：HBF 以成本與功耗挑戰 HBM 霸權，然壽命成最大考驗

tenlife2019
7天前
讀畢需時 4 分鐘

[記者資訊科技組綜合報導]

隨著生成式 AI 浪潮席捲全球，大型語言模型對記憶體頻寬與容量的需求呈爆炸性增長，使得高頻寬記憶體 (HBM) 成為 AI 晶片不可或缺的關鍵元件。然而，HBM 高昂的成本與有限的容量正催生新的技術變革。一項名為 HBF (Hybrid Bonding Flash) 的新興記憶體方案正悄然崛起，憑藉其在價格與功耗上的顯著優勢，有望在 AI 記憶體市場發起一場非對稱挑戰。

分析指出，HBF 與 HBM 最大的技術差異在於儲存介質。HBM 是基於高階 3D 堆疊的 DRAM (動態隨機存取記憶體)，而 HBF 則創新地採用了 NAND Flash (快閃記憶體) 技術。這項根本上的差異，造就了兩者在關鍵性能上的巨大分野。

HBM透過將多個DRAM晶片堆疊並透過矽穿孔（TSV）技術直接與處理器連接，大幅提升了記憶體頻寬。這種垂直堆疊的設計使得資料傳輸路徑更短，能耗更低，極大地加速了AI模型訓練和推論的過程。

價格與容量的維度打擊

在 AI 應用中，VRAM (顯示記憶體) 容量的大小，直接決定了模型能處理的參數規模。HBM 雖然速度快，但受限於 DRAM 堆疊技術，成本極高且容量有限，目前主流產品仍停留在數十 GB 的範圍。

相較之下，HBF 利用 NAND Flash 技術的高密度特性，在容量上實現了「維度打擊」。報告顯示，首代 HBF 堆疊的 VRAM 容量便能達到 512GB 甚至 4TB，約為 HBM 的 8 至 16 倍。更具吸引力的是，NAND Flash 的單位容量成本顯著低於 DRAM，這使得 HBF 能在相似的成本結構下，提供遠超 HBM 的記憶體容量，為 AI 推理應用帶來極具吸引力的性價比。

HBF旨在將NAND Flash等非揮發性記憶體以類似HBM的堆疊方式與處理器整合，提供遠超傳統HBM的記憶體容量，同時保持相對較高的頻寬。

功耗優勢：非揮發性技術的節能貢獻

對於需要 24 小時不間斷運行的數據中心而言，功耗即是營運成本。HBM 基於 DRAM 技術，其特性是必須持續供電以「刷新」數據，才能避免資料流失，這個過程會消耗額外電力。

HBF 採用的 NAND Flash 則是一種非揮發性記憶體，數據在斷電後依然能保存，因此省去了持續刷新的步驟。這項特性使 HBF 在功耗表現上明顯優於 HBM。部分報告指出，HBF 可降低約 10% 的輸入功耗與 34% 的輸出功耗，整體而言是比 HBM 更節能的方案，特別適合對能耗極為敏感的大型 AI 推理應用場景。

耐久度挑戰：NAND Flash 的先天限制

儘管 HBF 在成本與功耗上展現出巨大潛力，但它也繼承了 NAND Flash 的最大罩門：寫入壽命。

HBM 所用的 DRAM 幾乎沒有寫入次數的限制，擁有極佳的耐久性。然而，NAND Flash 的儲存單元在每一次寫入或抹除時都會產生微小的物理損耗，因此其可承受的寫入次數（P/E Cycles）是有限的。對於 AI 訓練這類需要大量且頻繁寫入數據的工作負載，HBF 的壽命表現便不及 HBM。

業界雖可透過選用高耐久性的 SLC (單層單元) 或 pSLC (模擬單層單元) NAND 來改善此問題，但這會犧牲 HBF 原本最大的容量與成本優勢，如何在耐久度、容量與成本之間取得平衡，是 HBF 面臨的最大技術挑戰。

結論：AI 推理新寵，或 HBM 的未來挑戰者

綜合來看，HBF 與 HBM 在 AI 記憶體市場上呈現出清晰的定位區隔。HBF 憑藉其高容量、低成本與低功耗的突出優勢，非常適合讀取密集、寫入較少的 AI 推理任務，有望成為未來 AI 伺服器中更具經濟效益的記憶體方案。

然而，在需要長期穩定與高頻寫入的 AI 訓練領域，HBM 憑藉其卓越的耐久性，短期內地位仍然難以撼動。未來，HBF 若能在 NAND 耐久性技術上取得關鍵突破，平衡其壽命限制，將有更大潛力在更廣泛的應用中，挑戰 HBM 的主導地位。

展望未來，AI伺服器很可能會採用混合記憶體架構，即DRAM-based HBM與類似HBF的非揮發性記憶體並存。HBM將繼續提供極致的頻寬以滿足AI晶片對即時資料處理的需求，而HBF則能提供巨大的容量來儲存大型模型和海量數據，同時降低整體系統成本和功耗。這種分層、異構的記憶體架構將能更好地適應AI應用多樣化的需求，實現效能、容量、功耗和成本的最佳平衡。