Отдел 00 · Агент

Сравнить агентов: чем отличаются на деле

время чтения ~10 минут · рецептов: 3 · обновлено: ноябрь 2026

Споры о том, какой агент лучше, обычно идут без данных. Агент же помогает сравнить инструменты на ваших задачах: одинаковое задание каждому, одни и те же проверки, таблица результатов — и выбор, который вы делаете сами.

Организовать сравнение — агенту, выбирать — вам

Хорошо: подготовить одинаковые задания для каждого инструмента, собрать результаты в одну таблицу, проверить, что задания были одинаковыми, отметить, где инструмент не справился и как это выглядело. Категорически плохо: объявлять победителя за вас, пересказывать рекламные обещания, сравнивать по цене без учёта задач, публиковать чужие скриншоты без разрешения, выдавать один тест за общий вывод. Сравнение агентов — это эксперимент на ваших задачах: агент помогает его провести честно, а выбор инструмента остаётся за вами.

Шаг 1. Выбрать задания, по которым сравнивать

Сравнивать «в целом» бессмысленно: инструменты различаются не по силе ума, а по тому, насколько удобно им пользоваться на вашей работе. Поэтому сначала выбираются три-четыре задания, которые вы делаете регулярно. Не самые сложные и не самые простые: такие, где видно и понимание, и аккуратность. Задания из чужого обзора для этого не годятся: они проверяют то, что интересно автору обзора, а не то, что нужно вам каждый день.

Задания стоит записать заранее, дословно, и не менять между инструментами. Если формулировка поменялась — сравнение уже не сравнение. Агент поможет оформить задания так, чтобы в них был и контекст, и границы, и проверка: без этого инструмент не виноват, что не понял.

Хороший набор: одно задание с текстом, одно с таблицей или файлом, одно с длинной цепочкой шагов. Так видно, где инструмент теряет контекст, где ошибается в расчётах, где останавливается раньше времени. Четвёртое задание необязательное — ваше самое частое, чтобы почувствовать рутину.

Полезно заранее записать, что для вас важнее всего. Кому-то нужна скорость, кому-то — аккуратность в цифрах, кому-то — русский язык без странных оборотов. Эти приоритеты стоит поставить первыми строками в таблице: тогда даже при равенстве результатов видно, по какому признаку выбирать. Без них побеждает тот, о ком громче говорят.

Рецепт 1 · набор заданий
Помоги собрать набор заданий для сравнения агентов.
1) Предложи три-четыре задания из моей работы: [опишите, чем занимаетесь].
2) Каждое задание оформи одинаково: контекст · что сделать · границы · как проверить.
3) Одно задание — с текстом, одно — с файлом или таблицей, одно — с длинной цепочкой шагов.
4) Выпиши, что будет считаться успехом, а что — провалом, до начала сравнения.

Разбор: задание должно быть проверяемым

Если результат нельзя проверить, сравнение превращается в разговор о впечатлениях. Поэтому к каждому заданию заранее пишется признак успеха: нашлись ли все нарушения в договоре, совпала ли сумма в отчёте, открывается ли страница. Проверка должна быть одинаковой для всех инструментов — иначе победит тот, кого судили мягче.

Например, для сравнения берут договор аренды на три страницы и заранее пишут признак успеха: найдены все пять подвохов, о которых сказал юрист, а сумма по акту сошлась до копейки.

Шаг 2. Прогнать всех и собрать таблицу

Второй шаг — прогон. Один и тот же набор заданий, по очереди, в одинаковых условиях: то же время суток, тот же файл, те же ограничения. Агент помогает вести таблицу: инструмент, задание, результат по проверке, время, сколько правок понадобилось. Правки — важный столбец: инструмент, который сделал быстро, но с четырьмя исправлениями, экономит меньше, чем кажется.

Записывать стоит и то, что не сработало: где инструмент остановился, что переспросил, что понял не так. Такие строки через неделю окажутся полезнее итогового балла. Общий балл легко подогнать под ожидание, а конкретный провал — нет.

Сравнивать по одной задаче нечестно: инструмент может блеснуть на тексте и провалиться на таблице. Поэтому прогон повторяется на всех заданиях, и таблица заполняется целиком. Если времени мало, лучше два задания у всех, чем пять у одного.

Отдельно фиксируется стоимость: подписка, лимиты, время на настройку. Дешёвый инструмент, который требует часа подготовки на каждую задачу, может обойтись дороже. Стоимость тоже столбец таблицы, а не отдельная тема для разговора.

Ещё одна тонкость — время. Если мерить «на глаз», инструмент, который работает дольше, покажется хуже, хотя он мог сделать больше. Стоит записывать время от постановки задания до готового результата, включая свои правки: они тоже часть работы, и часто именно они съедают разницу.

Рецепт 2 · прогон и таблица
Помоги провести прогон заданий [какие три задания даю всем] и собрать таблицу сравнения.
1) Сделай таблицу: инструмент · задание · результат по проверке · время · число правок.
2) Записывай, где инструмент остановился, что переспросил, что понял не так.
3) Отдельным столбцом — стоимость: подписка, лимиты, время на настройку.
4) Не выставляй общий балл: покажи строки, а вывод я сделаю сам.

Разбор: условия должны совпадать

Если один инструмент получил понятное задание, а другой — обрывок фразы, сравнение бессмысленно. Совпадать должно и задание, и окружение: текст тот же, папка та же, права те же, сеть той же скорости. Разница в условиях легко объясняет половину результата, и именно её потом труднее всего заметить.

Шаг 3. Сделать вывод и проверить его на следующей задаче

Таблица даёт материал, но выбор не сводится к тому, у кого больше галочек. Стоит посмотреть, на каких заданиях разрыв большой, а на каких его нет. Если инструмент проигрывает только на редкой задаче, это может быть неважно. Если проигрывает на самой частой — скорее всего, он вам не подходит.

Вывод лучше формулировать для себя, а не для публики: «на моих задачах удобнее такой-то, потому что он меньше переспрашивает». Такая формулировка не претендует на истину и не устаревает так быстро, как рейтинг. Через полгода условия изменятся — и вы переснимете таблицу на новых заданиях.

И последнее: после выбора стоит дать инструменту неделю на настоящей работе. Сравнение на заданиях показывает потенциал, а рутина показывает другое — насколько удобно им пользоваться каждый день, не устаёт ли внимание, не раздражают ли мелочи. Иногда победитель таблицы проигрывает обычной неделе, и это важный довод в пользу выбора.

Рецепт 3 · вывод
Вот таблица сравнения: [вставьте таблицу]. Помоги сделать вывод, но не выбирай за меня.
1) Назови задания, где разрыв между инструментами самый большой и самый маленький.
2) Отметь, где инструмент проиграл на самом частом для меня задании.
3) Сформулируй три вопроса, которые стоит проверить на настоящей работе за неделю.
4) Не объявляй победителя и не пересказывай рекламные обещания.

Разбор: сравнение устаревает

Инструменты обновляются часто, и то, что верно в этом месяце, может быть неверно через два. Поэтому таблицу стоит хранить с датой и переснимать при смене условий: обновился инструмент, изменилась цена, появилась новая задача. Старое сравнение не выбрасывается — оно показывает, что менялось, и помогает не повторять одни и те же прогоны, а значит, и не тратить вечер на вопросы, которые уже были решены.

И ещё: сравнивать стоит и инструменты, и способы постановки задачи. Один и тот же агент на расплывчатом задании и на задании с проверкой показывает разные результаты. Иногда выясняется, что менять надо не инструмент, а формулировку, — и это самый дешёвый вывод из всего прогона.

Почему сравнение агентов — хорошая задача для агента

Это работа с одинаковыми записями: провести задание, записать результат, свести в таблицу. Человек на такой работе устаёт и начинает подгонять результаты под ожидание — особенно если уже есть любимый инструмент. Агент ведёт записи ровно и помогает увидеть то, что не совпадает с ожиданием.

Вторая причина — честность условий. Агент может напомнить, что сравнение требует одинаковых заданий, и проверить, что задания совпадают. Это та самая мелочь, которая отличает настоящий эксперимент от долгого спора о вкусе.

Начинать стоит с двух инструментов и трёх заданий. Не с большого обзора всего рынка, а с собственной рутины. Такой прогон занимает один вечер и даёт ответ, который касается именно вашей работы, а не чужих ожиданий.

Сравнение имеет смысл на вашей задаче: выбор инструмента описывает критерии, а замер на своём деле показывает, где выдачи расходятся.

Отправной вопрос здесь проще: чем агент отличается от чата — работа или ответ. И держат наготове признаки того, что ошибка агента уже в выдаче: у двух инструментов она заметнее. Разные инструменты по-разному объясняют выбор: на чём основывать сравнение — в ментальных моделях.

Осторожно: не загружайте в инструменты для сравнения чужие данные и рабочие документы с конфиденциальной информацией — для прогона достаточно обезличенных примеров. Не публикуйте чужие скриншоты и отзывы без разрешения. И помните, что один вечер сравнения — не приговор инструменту: условия и обновления меняются, таблицу стоит пересматривать.