Фото — визуализация модели и типовой платформы. Внешний вид поставляемого экземпляра может отличаться.

Tenstorrent Galaxy Blackhole

Сервер 6U с 32 ускорителями Tenstorrent Blackhole: 1 ТБ GDDR6, 23 ПФЛОПС Block FP8, открытый программный стек.

Наличие: Под заказ
Срок поставки: по запросу
Цена: Цена по запросу

Ускорители: 32 × Blackhole, 1 ТБ GDDR6 суммарно
Вычисления: 23 ПФЛОПС Block FP8
Процессор: 1 × AMD EPYC 9004, до 32 ядер
ОЗУ: до 576 ГБ DDR5-4800 ECC
Масштабирование: до 56 × 800GbE QSFP-DD
Питание / корпус: 12 кВт макс., 6U, воздушное

Описание

Tenstorrent Galaxy Blackhole — сервер 6U с 32 ASIC-ускорителями Blackhole: 1 ТБ GDDR6 суммарно (16 ТБ/с), 6,2 ГБ SRAM на кристаллах и 23 ПФЛОПС в формате Block FP8. Ускорители связаны между собой каналами 400GbE, а наружу выведено до 56 портов 800GbE QSFP-DD для объединения систем в кластер.

Для каких задач: инференс и обучение моделей, поддерживаемых стеком Tenstorrent; кластеры из нескольких систем Galaxy; исследовательские проекты, которым нужен открытый программный стек вместо CUDA.

Программная среда — собственный стек Tenstorrent с открытым исходным кодом, CUDA не поддерживается, поэтому до закупки целевую модель стоит прогнать на этой платформе. Хост — один AMD EPYC 9004 до 32 ядер и до 576 ГБ DDR5. Потребление 8–10 кВт в среднем и до 12 кВт пиково, охлаждение воздушное, масса 119 кг.

Характеристики

Ускорители

Ускорители	32 × Tenstorrent Blackhole (ASIC)
Производительность	23 ПФЛОПС Block FP8
SRAM на кристаллах	6,2 ГБ суммарно, 2,9 ПБ/с
Память ускорителей	1 ТБ GDDR6 суммарно, 16 ТБ/с
Связь между ускорителями	10 × 400GbE на каждый ASIC, 32 ТБ/с суммарно
Масштабирование кластера	до 56 портов 800GbE QSFP-DD, 11,2 ТБ/с
Кластерные конфигурации	от 4 до 36 и более систем Galaxy

Процессоры

CPU хоста	1 × AMD EPYC 9004 (Zen 4), до 32 ядер, TDP до 280 Вт

Оперативная память

Объём	до 576 ГБ (6 × 96 ГБ) DDR5-4800 ECC RDIMM
Слоты	6, все заняты

Накопители

Системные	2 × 960 ГБ M.2 2280 NVMe PCIe 4.0 x4
Внутренние	до 4 × E1.S NVMe PCIe 5.0 x4 (9,5/15 мм)

Сеть

Сеть хоста	1 × OCP NIC 3.0 PCIe 5.0 x16 SFF (по умолчанию 2 × 200GbE)
Управление	выделенный порт 1GbE RJ45, BMC

Питание и охлаждение

Потребление	8–10 кВт в среднем, 12 кВт макс. (настраиваемо до 14,5 кВт)
Охлаждение	воздушное
Рабочая температура	10–35 °C

Корпус

Форм-фактор	6U, монтаж в стойку
Ш × Г × В, мм	446,8 × 884,5 × 263,4
Вес	119 кг

Управление и ПО

ОС	Ubuntu 22.04
Программный стек	собственный стек Tenstorrent с открытым исходным кодом (от компилятора до ядер); CUDA не поддерживается

По данным производителя. Точная конфигурация фиксируется в коммерческом предложении.

Похожее оборудование

NVIDIA DGX H200
NVIDIA DGX H200: 8 × H200 с NVLink, 1 128 ГБ HBM3e, 2 × Xeon Platinum 8480C, 2 ТБ ОЗУ, 8U.
Ускорители
8 × H200, 141 ГБ HBM3e каждый
Вычисления
FP8: 32 ПФЛОПС (с разреженностью)
Процессоры
2 × Xeon Platinum 8480C, 112 ядер
ОЗУ
2 ТБ
Сеть
8 × ConnectX-7, до 400 Гбит/с
Конфигурация под задачу
Цена по запросу
Выбрать сервер
Supermicro AS-8126GS-NB3RT
Сервер Supermicro 8U на NVIDIA HGX B300 (8 × 288 ГБ HBM3e) и двух AMD EPYC 9005/9004, 8 × 800GbE.
Ускорители
HGX B300: 8 × 288 ГБ HBM3e
Процессоры
2 × AMD EPYC 9005/9004, до 384 ядер
ОЗУ
до 6 ТБ DDR5-6400, 24 DIMM
Сеть
8 × OSFP 800GbE (ConnectX-8)
Накопители
8 × E1.S NVMe + 2 × M.2 NVMe
Конфигурация под задачу
Цена по запросу
Выбрать сервер
NVIDIA DGX B200
NVIDIA DGX B200: 8 × B200 с NVLink 5, 1 440 ГБ HBM3e, 2 × Xeon Platinum 8570, 2–4 ТБ ОЗУ, 10U.
Ускорители
8 × B200, 180 ГБ HBM3e каждый
Вычисления
FP4: 144 ПФЛОПС (72 без разреж.)
Процессоры
2 × Xeon Platinum 8570, 112 ядер
ОЗУ
2 ТБ, расширяется до 4 ТБ
Сеть
8 × ConnectX-7 + 2 × BlueField-3, 400G
Конфигурация под задачу
Цена по запросу
Выбрать сервер