Модели для локального запуска: сравнение и где скачать

Выбор модели — это компромисс между размером, качеством, скоростью и лицензией. Модель на 70B умнее на сложных задачах, но на домашней карте будет отвечать минутами. Модель на 8B работает быстро, но ошибается чаще.

Ниже — карта семейств и задач. Названия и версии меняются каждые несколько месяцев, поэтому воспринимайте список как ориентир, а актуальные теги проверяйте в карточке модели.

Как выбирать

1. Задача. Чат, код, рассуждения, зрение, эмбеддинги — это разные модели.
2. Железо. Сначала посмотрите, сколько VRAM есть, потом выбирайте размер.
3. Язык. Не все модели одинаково хороши в русском.
4. Контекст. Для документов нужно 32k и больше.
5. Лицензия. Коммерческое использование может быть ограничено.
6. Инструменты. Для агентов важно, умеет ли модель вызывать функции.

Семейства моделей

Это не рейтинг. Модель одного размера может быть лучше в коде и хуже в диалоге. Смотрите на задачу, а не на бренд.

По задачам

Универсальный чат и тексты

Qwen3 8B/14B/32B — сильный баланс, хороший русский, поддержка «размышляющего» режима. Gemma 3 — компактные модели с приличным качеством и мультимодальностью. Llama 3.3 70B — уровень выше, но требует много памяти. Mistral Small — быстрый европейский вариант.

Для русского языка отдельно смотрите Vikhr, Saiga и T-lite: это дообучения на русских данных. Они могут лучше держать стиль и терминологию, но отстают от крупных универсальных моделей в сложных рассуждениях.

Код

• Qwen2.5-Coder / Qwen3-Coder — один из самых практичных локальных вариантов.
• DeepSeek-Coder-V2 — сильный в генерации и объяснении кода.
• Codestral — быстрый помощник для автодополнения.
• Granite Code — линейка IBM для enterprise-сценариев.

Для агентской работы важнее не только качество кода, но и надёжный tool-calling. Проверяйте, умеет ли модель возвращать структурированные вызовы инструментов.

Рассуждения и математика

DeepSeek-R1 и его дистилляции, QwQ, Phi-4-reasoning, режим thinking у Qwen3. Такие модели тратят больше токенов на обдумывание и лучше справляются с многошаговыми задачами, но отвечают медленнее.

Не ждите от 8B-дистилляции уровня большой модели. Дистилляция перенимает стиль рассуждений, а не весь объём знаний.

Зрение

Qwen2.5-VL, Gemma 3, Llama 3.2 Vision, InternVL, MiniCPM-V. Они читают изображения, описывают скриншоты и извлекают текст. Для OCR лучше специализированные модели, для понимания сцены — VL-модели.

Эмбеддинги и RAG

Для поиска по документам нужны не чат-модели, а эмбеддинги: BGE-M3, multilingual-e5, GTE, Nomic Embed. Для переранжирования — BGE Reranker. Они маленькие, быстрые и работают на CPU.

Аудио и изображения

Whisper (large-v3, turbo) — расшифровка речи. Parakeet — быстрый вариант для английского. Для картинок — Stable Diffusion, Flux, SDXL и их производные. Это отдельный стек, не связанный с LLM.

Размеры и качество

Разница между 8B и 14B обычно заметнее, чем между 14B и 32B в Q4. Но на длинных инструкциях и коде крупные модели выигрывают сильнее.

Квантование

Квантование сжимает веса: Q8 почти не теряет качество, Q4_K_M — рабочий компромисс, Q3 и ниже заметно degrade.

Для GPU также есть AWQ, GPTQ и EXL2. Они быстрее в некоторых движках, но требуют совместимости и калибровки. Для GGUF-стеков проще оставаться на K-квантах.

Лицензии

Где скачивать

• Hugging Face — основной каталог. Ищите репозитории с GGUF в названии.
• Ollama Library — готовые теги, удобно для быстрого старта.
• LM Studio — каталог с квантованиями и описаниями.
• ModelScope — зеркало для азиатских моделей.
• Официальные репозитории — Meta, Qwen, Google, Mistral, DeepSeek.

Проверенные квантователи обычно указывают в карточке модель, метод и дату. Смотрите на число скачиваний, обновления и обсуждения, но не считайте популярность гарантией безопасности.

Как читать карточку модели

• Параметры — общее число и число активных (для MoE).
• Контекст — нативное окно и способы расширения.
• Языки — заявленные и реально проверенные.
• Лицензия — точное название и ссылка.
• Формат — safetensors, GGUF, AWQ.
• Дата — старая модель может быть хуже новой меньшего размера.
• Evals — полезны для сравнения, но не заменяют ваш тест.

Безопасность загрузок

• Предпочитайте safetensors и GGUF. Формат pickle (.bin, .pt) может исполнять код при загрузке.
• Не запускайте trust_remote_code=True для незнакомых репозиториев.
• Проверяйте контрольные суммы, если они опубликованы.
• Осторожно с «uncensored» и «jailbreak» сборками: в них иногда вмешиваются в код загрузчика.
• Скачивайте с официальных аккаунтов или известных квантователей.
• Храните модели в отдельной папке и проверяйте размер файла.

Про бенчмарки

Таблицы с MMLU, HumanEval и Arena полезны, но не отвечают на вопрос «подойдёт ли мне». Разница в 2–3 процента на бенчмарке не чувствуется в чате, а разница в шаблоне чата и квантовании — чувствуется.

Сделайте свой набор из 10–20 задач: письмо, перевод, код, таблица, вопрос по документу. Прогоните на двух-трёх моделях и сравните вручную. Это надёжнее любого рейтинга.

Короткие списки

8 ГБ VRAM: Qwen3 8B Q4, Llama 3.1 8B Q4, Gemma 3 4B Q5.

12–16 ГБ VRAM: Gemma 3 12B Q5, Qwen2.5 14B Q5, Mistral Small Q4.

24 ГБ VRAM: Qwen3 32B Q4, Qwen3 30B-A3B Q4, Gemma 3 27B Q4.

48 ГБ и больше: Llama 3.3 70B Q4, Qwen3 32B Q6/Q8, несколько моделей параллельно.

Только CPU: Qwen3 4B/8B Q4, Gemma 3 4B, Phi-4-mini. Не рассчитывайте на 30B.

Дальше — настройка модели: контекст, сэмплирование, API и RAG.