Сейчас в продаже одновременно четыре платформы NVIDIA для серверов из восьми GPU: H100 и H200 на архитектуре Hopper, B200 и B300 на Blackwell. Разница в цене между ними — в разы, поэтому выбор стоит начинать не с «самого нового», а с задачи.
Коротко
| Платформа | Память на GPU | Память на сервер | Питание сервера | Когда брать |
|---|---|---|---|---|
| H100 | 80 ГБ HBM3 | 640 ГБ | около 10 кВт | Дообучение и инференс моделей до 70 млрд параметров, нужен короткий срок |
| H200 | 141 ГБ HBM3e | 1,1 ТБ | около 10 кВт | Инференс больших моделей и длинный контекст на проверенной платформе |
| B200 | 180 ГБ HBM3e | 1,4 ТБ | около 14 кВт | Обучение и плотный инференс, вычисления в FP4 |
| B300 | 288 ГБ HBM3e | 2,3 ТБ | около 14 кВт | Самые большие и рассуждающие модели, максимум памяти на узел |
Чаще всего решает память, а не терафлопсы
Модель должна целиком помещаться в память GPU вместе с кэшем контекста. Если не помещается, её режут между серверами, и скорость упирается в сеть.
- Модель на 70 млрд параметров в FP8 занимает около 70 ГБ. На одной H200 остаётся почти 70 ГБ под контекст и параллельные запросы, на H100 — около 10 ГБ.
- Модель на 671 млрд параметров (DeepSeek-V3 и R1) в FP8 — это около 700 ГБ весов. Она помещается в один сервер H200, B200 или B300, но не в один сервер H100: там понадобятся два узла и быстрая сеть между ними.
- На B300 та же модель занимает меньше трети памяти, остальное уходит под длинный контекст и десятки одновременных пользователей.
Как посчитать память под конкретную модель, разобрали в статье «Сколько GPU нужно для инференса LLM».
Hopper или Blackwell
H200 — это H100 с увеличенной и более быстрой памятью: тот же сервер, те же драйверы и софт. Переход с H100 на H200 почти ничего не стоит команде.
Blackwell (B200 и B300) — новое поколение:
- Вычисления в FP4. Для инференса это ещё вдвое больше скорости и вдвое меньше памяти под веса — если качество модели в FP4 вас устраивает.
- NVLink 5-го поколения: 1,8 ТБ/с на GPU против 900 ГБ/с у Hopper. Важно, когда модель разрезана на все восемь GPU.
- B300 (Blackwell Ultra) добавляет к B200 больше памяти и ускоряет механизм внимания — это заметно на рассуждающих моделях с длинными цепочками.
Питание и охлаждение
Сервер на H100 или H200 потребляет около 10 кВт, на B200 или B300 — около 14 кВт. Типичная стойка в коммерческом ЦОД рассчитана на 5–10 кВт, поэтому до заказа нужно проверить, сколько реально даст площадка. Обычно это один-два GPU-сервера на стойку при воздушном охлаждении.
Стойки GB200 и GB300 NVL72 — отдельный класс: 120–135 кВт на стойку и только жидкостное охлаждение. Что проверить в ЦОД, рассказали в отдельной статье.
Сроки
Серверы на H100 и H200 — от двух недель. B200 и B300 — от шести. Стойки NVL72 — от десяти. Точный срок называем после резерва у производителя.
Как выбрать за пять минут
- Возьмите самую большую модель, которую планируете запускать, и точность (FP16, FP8 или FP4).
- Посчитайте память под веса и под контекст для нужного числа пользователей.
- Выберите платформу, где всё это помещается в один сервер с запасом 20–30%.
- Проверьте, есть ли у площадки 10–14 кВт на сервер.
- Если срок важнее всего — смотрите на H200: он почти всегда быстрее в поставке.
Посчитаем под вашу задачу
Пришлите модель, нагрузку и площадку — подберём конфигурацию и назовём цену и срок за один рабочий день.
