Железо для локальных нейросетей: сколько нужно VRAM и RAM
Сколько VRAM и RAM нужно для локальной LLM: таблица по размерам моделей, роль CPU и GPU, выбор видеокарты, требования к блоку питания и что покупать.
Локальная модель упирается не в процессор, а в память. Если веса не помещаются в видеопамять, часть уходит на CPU и скорость падает в разы. Поэтому первый вопрос — не «какой у меня процессор», а «сколько памяти и на какой пропускной способности».
Ниже — ориентиры, а не гарантии. Точный расход зависит от квантования, длины контекста, версии драйвера и самого движка.
Коротко
| Размер модели | Вес в Q4 | Комфортно VRAM | Примеры |
|---|---|---|---|
| 4–9 млрд | 3–6 ГБ | 8 ГБ | Qwen3 8B, Llama 3.1 8B, Gemma 3 4B |
| 12–14 млрд | 7–10 ГБ | 12 ГБ | Gemma 3 12B, Qwen2.5 14B |
| 24 млрд | 14–17 ГБ | 16–24 ГБ | Mistral Small, Qwen3 32B в Q3 |
| 30–32 млрд | 18–22 ГБ | 24 ГБ | Qwen3 32B, Qwen2.5 32B |
| 70 млрд | 40–45 ГБ | 48 ГБ | Llama 3.3 70B |
| MoE 30B (3B активных) | 18–20 ГБ | 24 ГБ | Qwen3 30B-A3B |
Это вес только весов. К нему добавляются KV-кэш под контекст, буферы и запас 1–2 ГБ. На контексте 32k и больше кэш может занять ещё несколько гигабайт.
Заметка
«Модель на 7B» — не то же самое, что «7 ГБ видеопамяти». В Q4 семимиллиардная модель занимает около 4–5 ГБ, но на длинном контексте и с большим батчем расход растёт.
Из чего складывается память
Веса. Приблизительно: число параметров × байт на параметр. В FP16 это 2 байта, в Q8 — около 1, в Q4 — около 0,5. Отсюда 8B в Q4 ≈ 4 ГБ, в Q8 ≈ 8 ГБ.
KV-кэш. Модель хранит состояния внимания для каждого токена контекста. Чем длиннее диалог и чем больше слоёв и голов, тем больше памяти. Современные модели используют GQA, что снижает расход, но на 64k–128k контексте кэш всё равно заметен. Помогает квантование кэша до Q8 или Q4.
Буферы и фрагментация. Драйвер, движок, временные тензоры. Закладывайте 1–2 ГБ сверху, а на Windows — больше.
Контекст и батч. Увеличение num_ctx с 4k до 32k может добавить несколько гигабайт. Параллельные запросы (батч) тоже умножают расход.
Сколько VRAM нужно на практике
8 ГБ. Рабочий вход: 7–9B в Q4 с контекстом 8k. Комфортно для чата, перевода, простых текстов. 12–14B в Q4 влезут с ограниченным контекстом или частичной выгрузкой, но будут медленнее.
12 ГБ. 12–14B в Q4/Q5 с контекстом 8–16k. Хороший баланс для дома. 8B можно держать в Q6/Q8.
16 ГБ. 14B в Q6/Q8 или 24B в Q4 с умеренным контекстом. Карты с 16 ГБ часто выгоднее, чем более быстрые с 12 ГБ: объём важнее пиковой скорости.
24 ГБ. 30–32B в Q4 — самый интересный класс для локальной работы. Также 70B в Q2/Q3 с потерей качества или гибридная выгрузка.
48 ГБ и больше. 70B в Q4, длинный контекст, несколько моделей одновременно. Это уже рабочая станция или сервер, а не домашний ПК.
MoE-модели. У смеси экспертов активных параметров меньше, чем общих. Модель 30B-A3B считает быстро, но весит как 30B: экономия на вычислениях, не на памяти.
Оперативная память и CPU
Если модель целиком помещается в VRAM, CPU почти не влияет на скорость генерации. Он готовит запрос, обслуживает интерфейс и загружает веса.
Если не помещается — включается выгрузка слоёв на CPU. Тогда скорость определяет пропускная способность оперативной памяти:
- 32 ГБ — минимум для 8–14B с запасом и браузером.
- 64 ГБ — комфортно для 30B с частичной выгрузкой и для работы с документами.
- 128 ГБ — 70B на CPU или гибридно, но ждать ответа придётся долго.
Двухканальный режим обязателен. Одна планка DDR5 на 32 ГБ работает медленнее двух по 16 ГБ. Для CPU-инференса пропускная способность важнее количества ядер, хотя 8 современных ядер — разумный минимум.
Ориентиры скорости для 8B в Q4: на CPU с DDR5 — единицы-десятки токенов в секунду, на GPU — десятки. Для 70B на CPU счёт идёт на десятые доли токена в секунду: читать ответ можно, работать — тяжело.
Видеокарты: что важно
Объём VRAM важнее модели. 16 ГБ лучше 12 ГБ, даже если вторая карта быстрее в играх.
Пропускная способность памяти. Генерация токенов упирается в чтение весов. Поэтому карта с широкой шиной и высокой ПСП часто быстрее в LLM, чем новая игровая с узкой шиной.
NVIDIA. Лучшая поддержка: CUDA, flash-attention, квантизация, почти все движки. Для локальных моделей это самый предсказуемый выбор.
AMD. ROCm на Linux работает хорошо для поддерживаемых карт, на Windows — через Vulkan или с оговорками. Проверяйте список поддерживаемых моделей GPU до покупки.
Intel Arc. Дешевле по VRAM, но поддержка неровная: часть движков работает через Vulkan или SYCL. Подходит для экспериментов, не для продакшена.
Apple Silicon. Единая память: модель может занять десятки гигабайт, которые недоступны дискретной карте. Пропускная способность высокая, но часть уходит системе. Mac с 32–64 ГБ — удобный локальный стенд, особенно для 30B.
Б/у карты. 24 ГБ за умеренные деньги выглядят соблазнительно, но учитывайте нагрев, шум, блок питания и риск отказа. Для постоянной работы лучше новая карта с гарантией.
Блок питания, корпус, SSD
- БП. Для карты с 24 ГБ — от 750 Вт с качественным 12V-кабелем. Для двух карт — 1000 Вт и больше. Дешёвый БП на пределе нагрузки — плохая идея.
- Корпус. Видеокарта выделяет 300–450 Вт тепла. Нужен продув и место под длинную карту.
- SSD. Модели весят много, загрузка с HDD мучительна. NVMe на 1–2 ТБ закрывает вопрос. Держите свободными 10–15% диска.
- Шум. Серверные карты в домашнем корпусе звучат как пылесос. Учитывайте это, если работаете в одной комнате.
Готовые сценарии
| Бюджет и цель | Разумный выбор |
|---|---|
| Первое знакомство | 8–12 ГБ VRAM, 32 ГБ RAM, модели 8B |
| Ежедневная работа с текстами | 16 ГБ VRAM, 32–64 ГБ RAM, 14B–24B |
| Код и агенты | 24 ГБ VRAM, 64 ГБ RAM, 30B с хорошим tool-calling |
| Приватный сервер на команду | 48 ГБ VRAM или 128 ГБ RAM, 70B |
| Ноутбук | 8–16 ГБ VRAM или 32 ГБ unified, без ожиданий серверной скорости |
Как измерить, что происходит
Windows. Диспетчер задач → «Производительность» → GPU → «Выделенная память». Смотрите, не упирается ли она в максимум.
NVIDIA. nvidia-smi показывает занятую память и процессы. Для быстрого опроса:
nvidia-smi --query-gpu=name,memory.used,memory.total,utilization.gpu --format=csvOllama. ollama ps показывает, сколько модели в памяти и какая доля на GPU. Флаг --verbose при запуске выводит скорость генерации.
llama.cpp. В логе видно, сколько слоёв ушло на GPU и сколько токенов в секунду получилось.
Если память заполнена под потолок и появляется сообщение об ошибке — уменьшите контекст, возьмите квант посильнее или модель меньше.
Частые ошибки
«Куплю самую быструю игровую карту». Для LLM 12 ГБ быстрой карты проигрывают 16–24 ГБ более скромной.
«Хватит 16 ГБ RAM». Система, браузер и модель быстро съедают память. 32 ГБ — минимум.
«CPU справится». Справится, но на 8B скорость будет в разы ниже, а на 70B — почти неприемлемой.
«Модель влезла — значит будет быстро». Если она влезла впритык, драйвер начнёт выгружать части, и скорость упадёт.
«Чем больше параметров, тем лучше». Небольшая модель с правильным промптом и RAG часто полезнее большой, которая еле работает.
Что проверить перед покупкой
- [ ] Объём VRAM соответствует моделям, которые вы хотите запускать.
- [ ] Блок питания выдержит карту с запасом.
- [ ] В корпусе есть место и продув.
- [ ] RAM не меньше 32 ГБ, лучше 64 ГБ.
- [ ] SSD хватает под модели и кэш.
- [ ] Для AMD/Intel проверена поддержка выбранного движка.
- [ ] Есть план, что делать, если скорость окажется ниже ожиданий.
Дальше — как запустить первую модель. Если железо уже есть, начните с модели 8B в Q4: она покажет реальную скорость без больших вложений.
Редакция НейроСеть. Инструкции проверены на практике. Характеристики моделей и требования к железу меняются — сверяйтесь с документацией проекта и карточкой модели. Если заметили ошибку — напишите нам.