SPHBM4: новый формат памяти для удешевления серверов с ИИ без потери пропускной способности
Ассоциация JEDEC разрабатывает новый стандарт высокопроизводительной памяти Standard Package High Bandwidth Memory 4 (SPHBM4), призванный снизить стоимость HBM-памяти. HBM-память (High Bandwidth Memory, память с высокой пропускной способностью) — это тип сверхбыстрой оперативной памяти, , используемой в основном в ИИ-акселераторах, высокопроизводительных вычислениях и GPU в дата-центрах.
HBM3 использует 1024 контакта, что уже является пределом для плотных кремниевых подложек и передовых технологий упаковки. Новый стандарт SPHBM4 уменьшает ширину физического интерфейса до 512 контактов, сохраняя при этом общую пропускную способность.
HBM3 и HBM4 требуют очень плотных контактов, поэтому сегодня почти всегда используются кремниевые интерпозеры — они дорогие и являются узким местом по стоимости и масштабированию.
В то время как стандарт HBM4 удваивает количество контактов HBM3 до 2048, SPHBM4 использует технологию 4:1 сериализации, работая на более высокой частоте. Это означает, что один контакт SPHBM4 будет передавать тот же объём данных, что и четыре контакта HBM4.
Снижение количества контактов позволяет увеличить расстояние между ними, что, в свою очередь, позволяет использовать органические подложки вместо кремниевых. Кремниевые подложки обеспечивают высокую плотность межсоединений (шаг более 10 микрометров), в то время как органические подложки на основе органических полимеров, прежде всего эпоксидных смол, дешевле в производстве (шаг около 20 микрометров).
Ожидается, что HBM4 и SPHBM4 будут предлагать одинаковую ёмкость памяти на стек. Однако использование органической подложки увеличивает длину каналов между ускорителем и стеками памяти. Это может позволить разместить больше стеков SPHBM4 на одной упаковке, увеличив общую ёмкость памяти по сравнению с HBM4.
Для реализации SPHBM4 потребуется перепроектировка базового логического кристалла, так как количество контактов уменьшается в 4 раза по сравнению с HBM4.
Несмотря на снижение стоимости, SPHBM4 не предназначен для потребительского рынка. Он остаётся специализированной памятью для ИИ и высокопроизводительных систем, где важна пропускная способность и эффективность. Крупные поставщики, такие как Micron, Samsung и SK Hynix, являются членами JEDEC и уже разрабатывают технологии HBM4E. Компания Eliyan заявила, что их решение NuLink D2D/D2M может обеспечить пропускную способность до 4 ТБ/с, что в два раза превышает требования HBM4.