Железо для локальных нейросетей: сколько нужно VRAM и RAM
Сколько VRAM и RAM нужно для локальной LLM: таблица по размерам моделей, роль CPU и GPU, выбор видеокарты, требования к блоку питания и что покупать.
Локальные нейросети
Как запустить языковую модель локально: требования к железу, VRAM и RAM, выбор модели, Ollama, LM Studio, llama.cpp и настройка.
Гайды раздела
Как запустить LLM локально: Ollama, LM Studio и llama.cpp
Пошаговый запуск языковой модели на своём компьютере: Ollama, LM Studio и llama.cpp, выбор GGUF, настройка GPU, API и типичные ошибки.
Модели для локального запуска: сравнение и где скачать
Какие языковые модели запускать локально: Llama, Qwen, Gemma, Mistral, DeepSeek и русские модели. Сравнение по задачам, размерам и лицензиям, где скачать GGUF.
Настройка локальной LLM: контекст, квантование, API и RAG
Как настроить локальную языковую модель: размер контекста, квантование, слои на GPU, сэмплирование, chat template, OpenAI-совместимый API, RAG и безопасность.
Зачем запускать модель на своём компьютере
Локальная модель — это файл с весами, который загружается в оперативную или видеопамять и считает ответы на вашем железе. Запросы никуда не уходят: можно работать без интернета, с конфиденциальными документами и без подписки.
Но у этого есть цена. Вы сами отвечаете за железо, обновления, безопасность и качество ответов. Модель на 8 млрд параметров не равна топовому облачному сервису: она слабее в сложных рассуждениях, хуже знает свежие события и требует аккуратной настройки.
Что понадобится
- Видеокарта с достаточным объёмом VRAM — главный фактор скорости. Для моделей 7–9 млрд параметров хватает 8 ГБ, для 30 млрд — 24 ГБ.
- Оперативная память — 32 ГБ как рабочий минимум, если планируете выгружать часть модели на CPU.
- Свободное место на SSD — от 20 ГБ под несколько моделей; одна модель в квантованном виде занимает 4–45 ГБ.
- Терпение — первая настройка занимает вечер, а не пять минут.
Заметка
Локальный запуск не заменяет облачные сервисы. Это отдельный сценарий: приватность, работа без интернета, эксперименты и отсутствие лимитов на количество запросов.
Как читать раздел
- Железо и требования — сколько VRAM и RAM нужно, что выбрать.
- Как запустить модель — Ollama, LM Studio и llama.cpp по шагам.
- Какие модели существуют — семейства, размеры, лицензии и где скачать.
- Настройка — контекст, квантование, API, RAG и безопасность.
Кому это не нужно
Если задача — написать текст или разобрать документ, облачный чат-бот дешевле и сильнее. Локальный запуск имеет смысл, когда важна приватность, нужен доступ без интернета, вы хотите обойти лимиты подписки или изучаете, как модели устроены внутри.
Начните с малого: одна модель 8B, один клиент, один тестовый сценарий. Если скорость и качество устраивают — расширяйтесь.