Видеокарта для локальной нейросети: сколько видеопамяти нужно

Для локальной нейросети в видеокарте важнее всего объём видеопамяти: модель вместе с контекстом должна поместиться в неё целиком. Скорость генерации текста задаёт пропускная способность памяти, а не число ядер. Разбираем, сколько видеопамяти нужно под модели разного размера и что выбрать — от RTX 5060 Ti 16 ГБ до RTX 5090 и RTX PRO 6000 Blackwell.

Сколько видеопамяти занимает модель

Память под веса = число параметров × байт на параметр. 4-битная версия на практике занимает в гигабайтах чуть больше половины числа параметров в миллиардах: часть слоёв хранится с большей точностью.

К весам добавьте:

• кэш контекста — растёт с длиной диалога и числом одновременных запросов. Для небольших моделей и одного пользователя это единицы гигабайт, для 70 млрд с длинным контекстом — десятки;
• служебный запас — 1–2 ГБ на драйвер и среду, плюс 10–20% на фрагментацию.

Если модель не помещается, её части выгружают в оперативную память компьютера. Работать будет, но в разы медленнее. Подробный расчёт кэша — в статье «Сколько GPU нужно для инференса LLM».

Какая видеокарта под какие модели

Мощность — по референсу NVIDIA и AMD, у партнёрских версий она бывает выше.

Несколько практических выводов:

• 16 ГБ — разумный минимум. RTX 5070 с 12 ГБ быстрее RTX 5060 Ti, но для нейросетей вторая полезнее: в неё помещаются модели крупнее. RTX 5060 с 8 ГБ годится только для моделей до 8 млрд в 4 битах.
• RTX 5070 Ti и 5080 по объёму не отличаются от 5060 Ti. Они быстрее генерируют текст и картинки, но больших моделей не откроют.
• RTX 5090 — потолок для одной игровой карты. 32 ГБ закрывают модели до 32 млрд параметров, генерацию изображений и видео, дообучение LoRA небольших моделей. Не путайте с RTX 5090 D v2 — у неё 24 ГБ на 384-битной шине.
• RTX 3090 и 4090 с 24 ГБ по-прежнему подходят под модели до 32 млрд в 4 битах, если контекст небольшой.
• RTX PRO 6000 Blackwell — та же скорость памяти, что у RTX 5090, но втрое больше объём, память с ECC и разделение на изолированные части (MIG): до 4 × 24 ГБ, 2 × 48 ГБ или 1 × 96 ГБ.

Одна видеокарта или несколько

Память нескольких карт складывается: две карты по 32 ГБ дают 64 ГБ, и в них помещается модель на 70 млрд в 4 битах. Но есть нюансы.

1. Скорость не удваивается. Если модель разделена по слоям (так делает llama.cpp), карты работают по очереди. Тензорный параллелизм (vLLM, TensorRT-LLM) задействует карты одновременно, но им приходится постоянно обмениваться данными через PCIe: NVLink у GeForce RTX 50 нет.
2. Нужна подходящая плата. На обычной плате под Ryzen 9 или Core Ultra один слот PCIe 5.0 x16 под видеокарту, остальные работают в режимах x4 или x1 — так устроены, например, готовые ИИ-станции на Ryzen 9 9950X и RTX 5090. Для двух-четырёх карт нужна платформа на Threadripper PRO или Xeon с несколькими полноценными слотами.
3. Питание и место. RTX 5090 потребляет 575 Вт, а партнёрские версии занимают 3,6–3,8 слота. Две такие карты — это 1150 Вт только на видеокарты, блок питания от 1600 Вт и корпус, где между ними остаётся место для воздуха.

Поэтому одна карта с большим объёмом почти всегда лучше двух маленьких. Одна RTX PRO 6000 на 96 ГБ снимает все три проблемы, которые возникнут с тремя RTX 5090 на те же 96 ГБ.

Несколько карт оправданы, если:

• нужно больше 96 ГБ видеопамяти — например, модель на 70 млрд в FP16 (около 140 ГБ);
• задач несколько: по модели на карту или по карте на пользователя;
• карты рассчитаны на плотную установку. Например, в Lenovo ThinkStation P8 ставят до трёх RTX PRO 6000 Blackwell Max-Q по 300 Вт.

Если нужно ещё больше памяти или работа для десятков пользователей, это уже задача GPU-сервера.

Видеокарта или мини-ПК с единой памятью

Мини-ПК на Ryzen AI Max+ 395 и 495 или NVIDIA DGX Spark дают графике от 96 до 160 ГБ общей памяти, но её пропускная способность — 256–273 ГБ/с, в 6–7 раз ниже, чем у RTX 5090. Правило простое: если модель помещается в видеокарту, видеокарта ответит быстрее. Если не помещается и скорость не критична — мини-ПК с большой общей памятью обойдётся проще, чем несколько карт.

Что выбрать

• Попробовать локальные LLM, модели до 14 млрд — RTX 5060 Ti 16 ГБ.
• Быстрая работа с моделями до 14 млрд и генерация изображений — RTX 5070 Ti или RTX 5080.
• Модели до 32 млрд, изображения и видео, дообучение небольших моделей — RTX 5090 32 ГБ.
• Модели на 70 млрд в 4 битах в рабочей станции — RTX PRO 5000 на 48 или 72 ГБ.
• Модели на 70 млрд в 8 битах, MoE до 120 млрд, ECC и профессиональные драйверы — RTX PRO 6000 Blackwell 96 ГБ.
• Больше 96 ГБ — несколько профессиональных карт в рабочей станции или сервер.

Все карты собраны в разделе ускорителей и видеокарт.