DGX Spark и компьютеры на GB10: чем отличаются и когда брать два

NVIDIA DGX Spark и компьютеры на чипе GB10 от ASUS, MSI, Lenovo, HP, Dell, Acer и GIGABYTE — это одна платформа в разных корпусах. У всех 128 ГБ единой памяти, до 1 ПФЛОПС в FP4 и сеть ConnectX-7 для связки двух узлов. Разбираем, чем отличаются версии, что запускать на одном узле и когда нужен второй.

Что общего у всех компьютеров на GB10

Начинку задаёт чип NVIDIA GB10 Grace Blackwell, производители её не меняют:

• Процессор: 20 ядер Arm — 10 × Cortex-X925 и 10 × Cortex-A725.
• GPU: Blackwell с тензорными ядрами 5-го поколения, до 1 ПФЛОПС в FP4 (с разреженностью).
• Память: 128 ГБ LPDDR5X, общая для процессора и GPU, шина 256 бит, 273 ГБ/с.
• Сеть: 10GbE для офисной сети и NVIDIA ConnectX-7 на 200 Гбит/с с портами QSFP для связки узлов.
• Питание: TDP чипа 140 Вт, внешний адаптер с подключением по USB-C.
• Корпус: около 150 × 150 × 51 мм, масса 1,2–1,5 кг.
• ПО: NVIDIA DGX OS на базе Ubuntu, CUDA и стек NVIDIA AI.

Заявленная производительность у всех версий одна и та же. Выбирают по накопителю, комплектации и тому, с каким производителем привыкла работать ваша ИТ-служба.

Чем отличаются версии от разных производителей

На практике важны три отличия.

1. Накопитель. Модель на 70 млрд параметров в 8 битах занимает около 70 ГБ, а держат обычно несколько моделей, их версии и данные. Для работы с моделями берите 4 ТБ сразу: менять SSD потом — лишняя работа.
2. Кабель для связки. QSFP-кабель для соединения двух узлов есть не в каждой коробке. У MSI это разные исполнения: EdgeXpert-12SUS идёт с кабелем, 13SUS — без. Готовые комплекты из двух узлов с кабелем есть у NVIDIA и MSI.
3. Корпоративные функции. TPM 2.0 у HP, Secure Boot у Lenovo, самошифрующиеся SSD в большинстве версий на 4 ТБ. HP отдельно указывает, что Windows и монтаж в стойку не поддерживаются.

Кроме версий на 128 ГБ, анонсированы партнёрские DGX Spark с 64 ГБ памяти. Характеристики у них пока предварительные, поэтому ниже речь о версиях на 128 ГБ.

Что запускать на одном узле DGX Spark

Память общая с процессором, часть её занимает система. Ориентиры по весам моделей:

• модели на 8–32 млрд параметров — даже в FP16, с запасом под длинный контекст;
• модели на 70 млрд — в FP8 (около 70 ГБ весов) или FP4 (около 35 ГБ);
• MoE-модели вроде gpt-oss-120b: в ней около 117 млрд параметров, но на каждый токен работает около 5 млрд, поэтому она отвечает намного быстрее плотной модели того же объёма;
• по данным NVIDIA, один узел работает с моделями до 200 млрд параметров в FP4;
• дообучение LoRA, RAG-прототипы, отладка CUDA-кода перед переносом на сервер.

Как посчитать память под модель и контекст, разобрали в статье «Сколько GPU нужно для инференса LLM».

Ограничение GB10 — пропускная способность памяти. 273 ГБ/с примерно в 6,5 раза меньше, чем у RTX 5090 с её 1 792 ГБ/с. При генерации каждый токен требует прочитать веса модели из памяти, поэтому крупная плотная модель на GB10 работает, но не быстро. Зато модель на 100 ГБ в игровую видеокарту не поместится вовсе.

Второй момент — архитектура Arm64. Стек NVIDIA собран под неё, но отдельные Python-пакеты и Docker-образы бывают только под x86. Проверьте свой набор инструментов до покупки.

Когда брать два узла в связке

Два узла соединяют кабелем QSFP напрямую через ConnectX-7 на 200 Гбит/с. Память при этом не объединяется: у каждого узла свои 128 ГБ, общего адресного пространства нет. Одну модель делят между узлами распределённым ПО — через NCCL, MPI и фреймворки инференса с тензорным или конвейерным параллелизмом. По данным NVIDIA, пара узлов работает с моделями до 405 млрд параметров в FP4.

Связка не ускоряет модель, которая помещается в один узел. Канал 200 Гбит/с — это около 25 ГБ/с, примерно в 10 раз медленнее локальной памяти. Если нужно обслужить больше пользователей, полезнее два независимых узла с копией модели на каждом.

Больше двух узлов — уже нестандартная схема. Lenovo для ThinkStation PGX указывает 2–3 системы напрямую и больше через коммутатор QSFP, отдельные исполнения MSI — до четырёх. Проверенный базовый вариант — два узла и кабель.

Когда GB10 не подойдёт

• Инференс для десятков пользователей. Нужна память HBM и несколько GPU — смотрите GPU-серверы.
• Максимальная скорость на модели до 32 ГБ. Видеокарта RTX 5090 читает память в разы быстрее.
• Windows и софт только под x86. Тогда берите рабочую станцию с дискретной видеокартой или мини-ПК на x86.
• Нужно больше памяти и скорости на одном рабочем месте. Это класс станций на GB300 с 252 ГБ HBM3e — они есть в разделе рабочих станций для ИИ.

Что выбрать

• Один стенд для разработки и моделей до 70 млрд параметров — любой узел на GB10 с SSD на 4 ТБ.
• Модель больше 128 ГБ или отладка распределённого кода — комплект из двух узлов с QSFP-кабелем.
• Несколько разработчиков — по узлу на человека, связка не обязательна.
• Код потом переедет на серверы NVIDIA — GB10 удобен как стенд: та же CUDA и тот же программный стек.