Сколько GPU нужно для инференса LLM: считаем память

Главный вопрос при покупке сервера под языковую модель — сколько памяти GPU нужно. Ответ складывается из трёх частей: веса модели, кэш контекста и служебный запас.

Веса модели

Память под веса = число параметров × байт на параметр.

FP8 сегодня — стандарт для инференса: качество почти не отличается от FP16, а памяти нужно вдвое меньше. FP4 аппаратно поддерживают только GPU Blackwell (B200, B300, RTX PRO 6000).

Кэш контекста (KV-кэш)

Пока модель отвечает, она хранит промежуточные данные по каждому токену диалога. Этот кэш растёт с длиной контекста и числом одновременных пользователей — и на больших нагрузках он занимает больше памяти, чем сами веса.

Формула на один токен:

2 × число слоёв × число KV-голов × размер головы × байт на значение

Параметры берутся из файла config.json модели. Дальше умножаем на длину контекста и на число одновременных запросов.

Пример: Llama 3.1 70B

У модели 80 слоёв, 8 KV-голов размером 128. Кэш в FP16 на один токен:

2 × 80 × 8 × 128 × 2 байта = 327 680 байт, то есть около 0,31 МБ.

Допустим, нужно 16 одновременных пользователей с контекстом 32 тысячи токенов:

• кэш: 0,31 МБ × 32 768 токенов × 16 = около 160 ГБ;
• веса в FP8: 70 ГБ;
• служебный запас на активации и фрагментацию — 10–20%: около 30–45 ГБ.

Итого нужно 260–275 ГБ памяти GPU.

Если хранить кэш в FP8 — так умеют vLLM, SGLang и TensorRT-LLM, — его объём вдвое меньше, и та же нагрузка помещается в 2 × H200.

Почему лучше один сервер, чем два

Внутри сервера восемь GPU соединены через NVLink со скоростью 900 ГБ/с (Hopper) или 1,8 ТБ/с (Blackwell) на каждую карту. Между серверами — сеть 400 Гбит/с, это около 50 ГБ/с: в десятки раз медленнее. Поэтому модель с кэшем должна помещаться в один сервер, а несколько серверов ставят ради пропускной способности: каждый обслуживает свою часть пользователей.

Быстрая оценка

• Модели до 13B — хватит одной карты с 48–96 ГБ (L40S, RTX PRO 6000).
• Модели 30–70B — 2–4 GPU уровня H100/H200 или один сервер из восьми PCIe-карт.
• Модели 400B+ и MoE-модели вроде DeepSeek — сервер на восемь H200, B200 или B300.
• Сотни одновременных пользователей — несколько таких серверов за балансировщиком.