Что подготовить в ЦОД до поставки GPU-сервера

Самая частая задержка при запуске GPU-сервера связана не с поставкой, а с площадкой: сервер приехал, а стойка не тянет его по питанию или охлаждению. Всё ниже стоит проверить до оплаты.

Питание

• Сервер HGX на H100 или H200 потребляет около 10 кВт, на B200 или B300 — около 14 кВт. Это пиковое потребление под полной нагрузкой, и GPU-серверы работают на нём часами.
• Типичная стойка в коммерческом ЦОД рассчитана на 5–10 кВт. Нужна стойка повышенной мощности или договорённость, что в стойке будет один сервер.
• Блоки питания работают с резервированием: при отказе части блоков сервер продолжает работать. Нужны два независимых ввода и PDU с розетками C19/C20 под ток 16 А.
• Уточните, как ЦОД считает мощность: по договору или по факту. Сервер, который большую часть суток загружен на 90%, на «средней» нагрузке не обойдётся.

Охлаждение

Сервер мощностью 14 кВт отдаёт в зал те же 14 кВт тепла. Для воздушного охлаждения нужны:

• изолированный холодный коридор;
• температура воздуха на входе в пределах требований производителя;
• запас по кондиционерам с учётом всех серверов в ряду.

Стойки GB200 и GB300 NVL72 охлаждаются только жидкостью: 120–135 кВт на стойку. Для них нужны блок распределения охлаждающей жидкости (CDU), подвод воды от систем ЦОД и проект, согласованный с площадкой. На подготовку закладывайте от двух месяцев.

Вес и габариты

• Сервер HGX высотой 8–10U весит около 130–150 кг. Понадобится подъёмник: двое человек его безопасно не поднимут.
• Стойка нужна глубиной от 1200 мм с допустимой нагрузкой под несколько таких серверов.
• Стойка NVL72 весит около 1,4 тонны. Проверьте нагрузку на фальшпол и маршрут от погрузочной зоны до зала: двери, лифты, пандусы.

Сеть

У сервера на восемь GPU обычно три сети:

1. Вычислительная фабрика — InfiniBand или Ethernet 400 Гбит/с, по порту на каждый GPU. Нужна, если серверов больше одного и они работают вместе.
2. Сеть хранения и пользовательского трафика — 100–400 Гбит/с.
3. Сеть управления — 1 Гбит/с для BMC и мониторинга.

Под кластер заранее посчитайте коммутаторы, трансиверы и кабели: оптика на 400 Гбит/с часто приходит дольше самих серверов.

Чек-лист до оплаты

• Мощность стойки в кВт и способ её учёта.
• Два независимых ввода питания, PDU с розетками C19/C20.
• Холодный коридор и запас по охлаждению.
• Глубина стойки от 1200 мм, нагрузка на стойку и фальшпол.
• Подъёмник и маршрут доставки.
• Свободные порты и оптика для подключения.
• Для NVL72 — проект жидкостного охлаждения, согласованный с ЦОД.