Как выбрать модель под задачу и проверить её за полчаса

Зачем этот урок

Это финальный урок курса, и начать его я хочу с вопроса, который мне задают чаще всех остальных: какую модель выбрать. Отвечаю так, как отвечал себе сам: выбор модели — это не «какая лучше вообще», а «какая лучше под эту задачу». Бенчмарки в этом выборе не помогают, потому что измеряют то, что важно авторам теста, а не вам, и единственный надёжный способ — проверить на своём материале. Весь урок про то, как устроить такую проверку за полчаса, а не за недели чтения чужих обзоров.

Конец курса — место, где стоит вспомнить весь путь, а он у нас шёл между двумя моими компаниями: SNIRREX, где агенты пишут платформу для команды, и Calcuta, где агенты ведут операционку сами. Обе прошли этот путь с моделями, которые меняются как расходники, а вот процессы и среда остались при компаниях. Забегая вперёд, скажу и главное: у меня в запасе есть замер по собственным репозиториям, из которого видно, что решает модель, а что — способ её использования, и я покажу его в конце урока, чтобы вы не приняли список критериев за ответ на все вопросы.

Шесть критериев

Список критериев короткий нарочно: шесть пунктов, и каждый проверяется за день, а не берётся из чужого рейтинга.

1. Цена — стоимость входа и выхода за миллион токенов. Для массовых операций вроде анализа звонков или классификации цена критична, потому что на объёмах разница в доли цента превращается в статью бюджета.
2. Скорость — токены в секунду. Для интерактивных сценариев, где человек ждёт ответа здесь и сейчас, как в чате с клиентом, скорость важнее лишнего процента в чужом бенчмарке.
3. Контекст — сколько текста модель держит за один раз. Для анализа договоров и отчётов нужен длинный контекст, иначе документ придётся резать на куски, а в кусках теряются сквозные ссылки.
4. Качество на задаче — проверять на своём материале, а не по бенчмаркам: бенчмарк говорит, как модель решала чужие задачи, а вам нужно знать, как она решит вашу.
5. Доступность из РФ — без VPN, через агрегатор или локально. Прекрасная модель, которая не открывается с вашего рабочего места во вторник, — плохая модель для вашего процесса.
6. Приватность — данные не должны утекать, и для чувствительных сценариев берут локальные модели, у которых данные не покидают компанию.

Модели: кто что умеет

Короткий ориентир без рейтингов: рынок перезаписывается быстрее, чем выходит курс, поэтому имена ниже — стартовая карта, а окончательных вердиктов здесь никто не выдаёт.

Claude (Anthropic) держит длинный контекст, до 1М токенов, и силён в анализе документов и коде; внутри линейки Opus берут для сложных задач, а Sonnet — для массовых операций, и это деление экономит деньги, когда не каждое обращение уходит в старшую модель.

Codex/ChatGPT (OpenAI) — код и автономные задачи, а отдельно стоит dots: проактивный агент ChatGPT с облачным компьютером, который сам планирует шаги и ведёт длинные цепочки действий.

Kimi (Moonshot) — контекст до 2М токенов и доступ из РФ без VPN, то есть фактически альтернатива Claude для документов.

Gemini (Google) — мультимодальность: текст, изображения, аудио и видео в одном окне, плюс интеграция с поиском.

DeepSeek и Qwen — доступны из РФ без VPN, дёшевы, сильны в коде и рассуждении, и как стартовая точка это лучший выбор из доступных.

Локальные модели (Llama, Mistral, Qwen-локальная) — данные не покидают компанию, и это выбор для регуляторно чувствительных сценариев.

Правило выбора

Правило умещается в одно предложение: начинайте с дешёвой и доступной — DeepSeek или Qwen, — проверяйте на своём материале, а при нехватке качества переходите на Claude, GPT или Kimi. Обратный порядок, от дорогой и модной к той, что открывается, сжигает бюджет и не отвечает на главный вопрос.

И не зависьте от одной модели: держите запасной комплект, вторую модель на случай недоступности основной. Как это выглядит на практике, покажу ниже на собственном примере.

Доступность из России: практический обзор

Не все модели одинаково доступны, и проверять доступность надо накануне рабочего дня, а не за неделю: обстановка меняется быстрее, чем пишутся обзоры.

DeepSeek и Qwen открываются из РФ без VPN, дёшевы и сильны в коде — лучший старт. Claude и ChatGPT открываются и работают бесплатно, но оплата подписки требует иностранной карты или агрегатора. Kimi доступен из РФ без VPN и держит длинный контекст. Gemini доступен через Google, но с ограничениями. Локальные модели работают на своём железе, и данные не покидают компанию.

Выбрать самую сильную модель по обзорам, конечно, можно… Вот только процессу от этого не легче, если доступ к ней нестабилен, поэтому правило здесь жёстче, чем весь остальной урок: критический процесс не строят на модели, доступ к которой в любой день может пропасть.

Как не зависеть от одной модели

Держите запасной комплект: вторую модель на случай недоступности основной. Под DeepSeek держите VPN или российский агрегатор с оплатой в рублях, под Claude — запасной путь через API-шлюз. Это не паранойя, а устойчивость процесса: если во вторник ваша модель не откроется, процесс встаёт целиком, а со второй моделью вы просто переключаетесь.

Устойчивость эта выходит дешёвой, если вообще не ставить процесс на одного исполнителя, и дальше покажу на своём примере, как живёт продукт, который писали сразу несколько моделей.

Пример выбора: три сценария

Сценарий 1 — анализ договоров. Нужны длинный контекст, до сотни страниц, и точность; берут Claude Opus или Kimi и проверяют на своём материале: загружают три договора и просят найти риски.

Сценарий 2 — массовая классификация обращений. Нужны скорость и низкая цена; берут DeepSeek или Qwen и проверяют так: пакет обращений за минуту и качество классификации.

Сценарий 3 — чувствительные данные под 152-ФЗ. Нужна приватность; берут локальную модель, Llama или Qwen-локальную, на своём сервере и проверяют, что данные не покидают контур.

Типичные ошибки

1. Выбор по бенчмаркам. Бенчмарки измеряют то, что важно авторам теста, а не вам, поэтому проверяйте на своём материале.
2. Одна модель на всё. Разные задачи требуют разных моделей: анализ договоров и классификация обращений — это разные инструменты.
3. Зависимость от одной модели. Модель недоступна — процесс встаёт; держите запасной комплект.
4. Игнорирование доступности из РФ. Проверяйте накануне рабочего дня, а не за неделю.

Чек-лист перед запуском

Перед тем как строить процесс на модели, ответьте на пять вопросов:

1. Какая задача? Вход, выход, ограничения.
2. Какая модель? По шести критериям.
3. Какой запасной вариант? Вторая модель.
4. Как проверить качество? На своём материале, три-пять примеров.
5. Какая цена за задачу? Токены, умноженные на тариф и на количество.

Если хотя бы на один вопрос ответа нет — не запускайте, сначала ответьте: переделка на живом процессе обойдётся дороже, чем эти пять строк до старта.

Что делать после выбора

Выбрали — не останавливайтесь: запустите пилот на 30 дней, урок 5 как раз про это, и измерьте пропускную способность и стоимость за задачу. Не справляется модель — переключайтесь на запасную, справляется — масштабируйте на весь класс задач.

Главное — не привязываться к одной модели навсегда. Рынок меняется быстро: сегодня лидер один, завтра другой, и умение сравнивать и переключаться стоит больше, чем знание «лучшей» модели. Отсюда же растёт маленький совет, который экономит большие споры: ведите журнал выбора модели и записывайте, какую модель выбрали, почему и как она показала себя через месяц, — журнал помогает не повторять собственных ошибок и быстрее переключаться при выходе новинок.

Здесь же верну замер, который обещал в начале, — целиком я показывал его в первом уроке, поэтому коротко. Агенты в моих репозиториях работают одни и те же, а доля коммитов, написанных моделью, различается на порядок: от меньшей, чем десятая часть, в Benkyo до примерно семидесяти шести процентов в Calcuta, и оговорка та же — трейлер нижняя граница, а не мера. Модель — константа, способ использования — переменная. Так что не ждите «лучшей» модели, берите под задачу, проверяйте на своём материале и помните, что потолок задаёте не она, а вы.

Цены и бенчмарки (ориентир)

Цены меняются, но порядок величин полезен для оценки. Claude Opus 5.5 — $4/$20 за 1М токенов на входе и выходе, контекст 1М, по бенчмаркам Terminal-Bench 66,4% и Humanity's Last Exam 67,7%. dots (ChatGPT) — Pro от $100/мес, Pro 500 — $500/мес, 4000+ приложений. Кеширование промпта даёт попадание в кеш 90–99%, а чтение из кеша стоит примерно 1/10 цены. DeepSeek и Qwen — бесплатный чат, доступны из РФ. Kimi — контекст до 2М токенов, доступен из РФ.

Цены ориентировочные, сверяйте их перед покупкой.

Итог

Итак, мораль этого урока и всего курса короткая: модель — инструмент, а не самоцель. Важно не какая модель лучше вообще, а какая лучше под вашу задачу, и решает это не обзор, а получасовая проверка на своём материале, запасной комплект и честный замер цены за задачу. Курс начинался с процесса, где деньги, а не где модно, и заканчивается тем же: сначала задача, потом модель под неё, а не наоборот.

Готово, если на листе записан выбор модели под задачу (проверка на своём материале, запасной комплект, замер цены за задачу) и вывод «сначала задача, потом модель»; цена за задачу посчитана в рублях для двух моделей.