Восемь GPU в одном сервере можно получить двумя способами: поставить восемь PCIe-карт в обычную платформу или взять сервер на плате HGX, где GPU соединены через NVLink. Сервер на PCIe-картах дешевле и проще в размещении, HGX с NVLink нужен, когда GPU должны работать как один ускоритель. Разбираем, где проходит граница и как не переплатить.
Чем PCIe-сервер отличается от HGX
PCIe-сервер. Карты — RTX PRO 6000 Blackwell Server Edition, L40S или H200 NVL — стоят в слотах PCIe, как в рабочей станции, только их восемь, а охлаждение серверное. Друг с другом карты общаются через шину PCIe: у PCIe 5.0 x16 это 128 ГБ/с в обе стороны, у PCIe 4.0 x16 (L40S) — 64 ГБ/с.
HGX. GPU в виде модулей SXM распаяны на одной плате и соединены через коммутаторы NVSwitch. Каждый GPU обменивается с любым другим на полной скорости NVLink: 900 ГБ/с у H200 и 1,8 ТБ/с у B300. Это в 7–14 раз быстрее PCIe 5.0.
Промежуточный вариант — H200 NVL. Это PCIe-карта, но её можно соединить NVLink-мостом с одной или тремя соседними: группы по 2 или 4 карты получают 900 ГБ/с на GPU. С мостами на 4 карты восемь GPU образуют две группы по четыре, а между группами связь идёт по PCIe.
Конфигурации на восемь GPU
| Вариант | Память GPU на сервер | Связь между GPU | Высота | Примеры в каталоге |
|---|---|---|---|---|
| 8 × L40S | 384 ГБ GDDR6 | PCIe 4.0, без NVLink | 3U | Lenovo ThinkSystem SR675 V3 |
| 8 × RTX PRO 6000 Blackwell Server Edition | 768 ГБ GDDR7 | PCIe 5.0, без NVLink | 3–4U | ASUS ESC8000, Lenovo SR675i V3 |
| 8 × H200 NVL | 1 128 ГБ HBM3e | NVLink-мосты на 2 или 4 карты | 3–4U | ASUS ESC8000, Lenovo SR675 V3 |
| HGX H200 | 1 128 ГБ HBM3e | NVLink 900 ГБ/с между всеми 8 GPU | 8U | NVIDIA HGX H200 |
| HGX B300 | 8 × 288 ГБ HBM3e | NVLink 1,8 ТБ/с между всеми 8 GPU | 8–10U или 4U | NVIDIA HGX B300 |
Платформы под PCIe-карты в каталоге:
- ASUS ESC8000-E12P / ESC8000A-E13P — 4U, до восьми двухслотовых карт по 600 Вт, поддержка NVLink-мостов на 2 и 4 карты, пять слотов PCIe 5.0 x16 под сетевые карты. Версии на Intel Xeon 6 и на AMD EPYC.
- Lenovo ThinkSystem SR675 V3 — 3U, до восьми GPU, на выбор H200 NVL, RTX PRO 6000, L40S. Все карты в сервере должны быть одной модели, а H200 NVL и RTX PRO 6000 ставятся только с процессорами EPYC 9005.
- Lenovo ThinkSystem SR675i V3 — фиксированная конфигурация для инференса: 8 × RTX PRO 6000 Blackwell Server Edition, 2 × EPYC 9535, 1,5 ТБ памяти, четыре BlueField-3 на 400 Гбит/с.
- xFusion FusionServer G5500 V7 — 4U на Intel Xeon 4-го и 5-го поколения, до десяти двухслотовых карт PCIe 5.0 и до 24 дисков 3,5″.
Когда сервер на PCIe-картах выгоднее
Модель помещается в одну карту
Это главный критерий. Если модель вместе с кэшем контекста помещается в память одной карты, каждый GPU обслуживает свою копию модели, и обмен между картами не нужен вовсе. NVLink в этом случае не даёт ничего.
У RTX PRO 6000 Blackwell Server Edition 96 ГБ GDDR7. Модель на 30–40 млрд параметров в FP8 занимает 30–40 ГБ и оставляет больше половины памяти под контекст. Модель на 70 млрд параметров в FP8 весит около 70 ГБ — помещается, но под кэш остаётся немного. Blackwell поддерживает FP4, и в этой точности те же 70 млрд параметров занимают около 35 ГБ.
Графика, видео и смешанная нагрузка
- RTX PRO 6000 и L40S — полноценные графические GPU с RT-ядрами и аппаратными кодерами видео. Они подходят для рендера, цифровых двойников и видеоаналитики. H200 и GPU для плат HGX — вычислительные ускорители без видеовыходов и RT-ядер; у H200, например, из видеоблоков есть только декодеры.
- RTX PRO 6000 делится через MIG на 4 изолированных экземпляра, H200 NVL — до 7. Удобно, когда на сервере работают несколько команд или сервисов.
Размещение и бюджет
- Восемь карт по 600 Вт — это 4,8 кВт на GPU. Итоговое потребление зависит от процессоров и конфигурации, но заметно ниже, чем у HGX H200 (около 10,2 кВт) и HGX B300 (около 14–15 кВт).
- Сервер Lenovo SR675 V3 в плотной конфигурации весит около 39 кг, ASUS ESC8000 — 42–45 кг без процессоров, памяти и дисков. Сервер HGX H200 весит до 130 кг.
- Карты можно докупать постепенно: начать с четырёх и добавить ещё четыре, когда вырастет нагрузка.
Когда без NVLink не обойтись
Модель приходится резать на несколько GPU
Если модель не помещается в одну карту, её делят между GPU (тензорный параллелизм). На каждом шаге генерации GPU обмениваются промежуточными результатами, и чем больше пользователей, тем больше этот трафик. По PCIe он становится узким местом, по NVLink — нет.
Пример: DeepSeek-V3 или R1 на 671 млрд параметров в FP8 — это около 700 ГБ весов. В 768 ГБ сервера на RTX PRO 6000 они формально помещаются, но под контекст места почти не остаётся, а связь по PCIe ограничит скорость. В HGX B300 с 8 × 288 ГБ остаётся больше половины памяти под контекст и одновременных пользователей.
Обучение и дообучение
При обучении на нескольких GPU после каждого шага они синхронизируют градиенты. Чем больше модель, тем больше данных гоняется между картами. Полное дообучение крупных моделей на восьми GPU — задача для NVLink.
MoE-модели
В моделях со смесью экспертов разные эксперты лежат на разных GPU, и токены постоянно пересылаются между всеми картами сразу. Для такого обмена «все со всеми» нужен NVSwitch, мостов на 2–4 карты мало.
Кластер из нескольких серверов
В серверах HGX B300 на каждый GPU приходится свой сетевой порт ConnectX-8 на 800 Гбит/с. В PCIe-платформах слотов под сетевые карты меньше, чем GPU: например, у ASUS ESC8000 их пять на восемь карт. Для распределённого обучения на десятках GPU это существенно.
H200 NVL: компромисс между двумя мирами
H200 NVL — та же память, что у H200 в HGX: 141 ГБ HBM3e и 4,8 ТБ/с. Внутри группы из четырёх карт, соединённых мостом, — 564 ГБ и NVLink 900 ГБ/с. Модели до этого объёма работают с тензорным параллелизмом почти как в HGX, а сервер остаётся воздушным, высотой 3–4U и с картами по 600 Вт.
Если же модель требует всех восьми GPU, лучше сразу брать HGX H200 или HGX B300: две группы по четыре карты, связанные по PCIe, работают заметно медленнее единой платы на NVSwitch.
Как выбрать за пять минут
- Помещается ли модель с кэшем контекста в одну карту на 48, 96 или 141 ГБ? Если да — берите PCIe-сервер с числом карт по числу нужных копий модели.
- Нужны графика, рендер или кодирование видео? Тогда RTX PRO 6000 или L40S.
- Модели нужно 2–4 GPU? Подойдут H200 NVL с NVLink-мостами.
- Модели нужны все 8 GPU, планируете обучение или MoE? Только HGX: H200 или B300.
- Не хватает и восьми GPU? Смотрите стойки GB300 NVL72.
Как посчитать память под модель и контекст, разобрали в статье «Сколько GPU нужно для инференса LLM», а чем отличаются H200 и B300 — в статье «H100, H200, B200 или B300».
Коротко
- Модель помещается в одну карту — PCIe-сервер: дешевле, легче, проще разместить.
- Модель делится на 2–4 GPU — H200 NVL с мостами.
- Модель на все 8 GPU, обучение, MoE, кластер — HGX с NVLink.
Все варианты собраны в разделе GPU-серверы.
Посчитаем под вашу задачу
Пришлите модель, нагрузку и площадку — подберём конфигурацию и назовём цену и срок за один рабочий день.
