Отдел 00 · Агент

Агент в браузере: собрать данные с сайтов и свести в таблицу

время чтения ~10 минут · рецептов: 3 · обновлено: ноябрь 2026

Сравнить пять магазинов, собрать условия с сайтов банков или выписать сроки доставки — работа, на которую уходит вечер и которая наполовину состоит из копирования. Агент, умеющий открывать страницы, делает это за вас, но читать итог и проверять ключевые строки всё равно нужно вам.

Собирать — агенту, задавать столбцы и проверять — вам

Хорошо: открывать страницы по списку адресов, выписывать значения в заранее заданные столбцы, сохранять ссылку на источник каждой строки, отмечать «не нашлось» и «непонятно», повторять обход по расписанию. Категорически плохо: выдумывать значение, если на странице его нет; обходить защиту от роботов, капчи и запреты в правилах сайта; входить под вашим паролем без спроса; покупать, бронировать и отправлять формы без вашего подтверждения. Таблица, собранная агентом, — это черновик данных, а не готовое решение: цена строки равна тому, что вы готовы за неё проверить.

Шаг 1. Задать столбцы до похода по сайтам

Главная ошибка — сначала обойти сайты, а потом думать, что собрано. На выходе получается разнородная солянка: у одного магазина указана цена без доставки, у другого с доставкой, у третьего вместо цены «уточняйте». Поэтому первый шаг — таблица с пустыми столбцами и правилом заполнения для каждого. Столбцов должно быть мало: пять-семь, иначе сбор превращается в переписывание сайтов целиком. Хороший набор для сравнения покупки: название, цена, что входит в цену, срок, условия возврата, ссылка на страницу. Для сравнения услуг — название, что входит, цена за период, скрытые доплаты, срок действия условий, ссылка.

К каждому столбцу пишется правило, чтобы агент не толковал по-своему: «цена — та, что показана в корзине для моего города, без учёта промокодов»; «срок — от подтверждения заказа, а не от оплаты». Правила короткие, но без них две строки одной таблицы будут считать разное. Отдельно оговаривается, что делать с отсутствующим значением: писать «нет на странице» и не заполнять по догадке. Пустая клетка честнее выдуманной цифры, и её видно с первого взгляда.

Рецепт 1 · столбцы и правила сбора
Мы будем сравнивать [что именно] по сайтам: [список адресов].
1) Предложи таблицу из пяти-семи столбцов и для каждого — правило заполнения
одной строкой. Скажи, какие столбцы ты предлагаешь убрать и почему.
2) Напиши, где на типичной странице лежит каждое значение и что считать
источником: карточка товара, корзина, условия доставки.
3) Напиши правило для отсутствующего значения: «нет на странице», без догадок.
4) Пока ничего не открывай: сначала покажи таблицу и жди моего подтверждения.

Разбор: цена без условий — половина цены

В сравнении почти всегда побеждает тот, кто спрятал доплату. Доставка, сборка, страховка, обязательный минимальный срок — всё это меняет итог сильнее, чем разница в цене на витрине. Поэтому в таблице появляется столбец «что входит», и он не менее важен, чем цена. Если заполнить его нечем, это тоже результат: значит, сайт не говорит прямо, и вопрос стоит задать продавцу, а не додумывать. Тот же принцип работает с услугами: тариф за месяц без условия о повышении цены — реклама, а не предложение.

Шаг 2. Обход со ссылкой на каждую строку

Обход идёт по списку адресов, и каждая строка таблицы несёт ссылку на страницу, с которой взято значение. Это не формальность: через день вы откроете две-три ссылки и увидите, что именно прочитал агент. Без ссылки проверить нечего — остаётся верить или переделывать всё. Второе правило обхода: не переходить по чужим ссылкам и не заполнять формы, если об этом не было отдельной договорённости. Агент в браузере видит страницу примерно как человек, но нажимает быстрее и не сомневается; лишний клик по кнопке «оформить» стоит дороже, чем весь сэкономленный вечер.

Если сайт закрылся от роботов или показывает капчу, обход этой страницы прекращается. Обходить защиту — значит нарушать правила сайта и портить отношения с магазином, где вы, возможно, будете покупать. Правильное действие — открыть страницу руками и вписать значение самому; в таблице такая строка помечается «собрано вручную». Это честнее и быстрее, чем борьба с проверкой, которая всё равно закончится блокировкой.

Рецепт 2 · обход по списку
Открой страницы по списку: [адреса]. Работай по таблице из прошлого шага.
1) Заполни строку по каждому адресу, строго по правилам столбцов.
2) В каждой строке оставь ссылку на страницу, откуда взято значение.
3) Если значения нет — напиши «нет на странице». Если страница закрыта
проверкой или не открылась — напиши «собрать вручную» и переходи дальше.
4) Не нажимай кнопки покупки, бронирования и отправки форм. Не входи в аккаунты.
5) В конце назови страницы, которые не удалось прочитать, и причину.

Разбор: страница меняется между обходом и проверкой

Цены и условия живут недолго: акция кончается, наличие меняется, доставка дорожает. Поэтому у таблицы есть дата сбора, и она стоит в шапке, а не в подвале мелким шрифтом. Если решение принимается через неделю, ключевые строки перепроверяются заново — не всю таблицу, а те три-четыре, на которых держится выбор. Ещё одна причина перепроверить: агент мог прочитать старую версию страницы из кэша. Свежий взгляд по ссылке снимает и это сомнение.

Шаг 3. Свести, проверить выборочно и записать вывод

Собранные строки сводятся в одну таблицу и сортируются по тому признаку, который важен: по итоговой цене, по сроку, по условиям возврата. Сортировка сама по себе ничего не решает, но показывает перекосы: например, что самый дешёвый вариант выпадает по сроку, а самый быстрый дороже остальных вдвое. Дальше — выборочная проверка. Возьмите три строки: лучшую, худшую и случайную, откройте ссылки и сверьте значения глазами. Если расходится хотя бы одна, проверять нужно всю таблицу: значит, правило столбца понято не так, как вы задумали.

Вывод записывается отдельно от таблицы: какой вариант выбран, почему, что осталось непроверенным. Это спасает от повторного обхода через месяц — по записи видно, что изменилось с тех пор. И ещё: таблицу стоит хранить в простом виде, который читается без специальной программы, — тогда через год её откроет любой инструмент, а не только тот, в котором она создана.

Рецепт 3 · сводка и выборочная проверка
Вот таблица после обхода. Ничего не додумывай.
1) Сведи строки в одну таблицу и отсортируй по [признак]. Покажи первые три
и последние три строки.
2) Назови строки, где значения выглядят подозрительно: пусто, резко дешевле
остальных, противоречит другому столбцу.
3) По трём строкам — лучшей, худшей и случайной — приведи цитату со страницы,
которая подтверждает значение.
4) Отдельным блоком: что осталось непроверенным и что стоит переспросить
у продавца или у меня.

Разбор: за таблицей стоит человек, а не сайт

Сводка не заменяет разговор. Условия на странице — общие, а ваш случай может быть особенным: доставка на этаж, возврат после сборки, перенос даты. Поэтому последний шаг — список вопросов, которые таблица не закрыла. Три-четыре вопроса, заданные продавцу до покупки, экономят больше, чем ещё один час обхода. Агент хорошо готовит этот список: он видел все страницы и знает, где формулировки расходятся.

Почему браузерный агент ошибается тише, чем кажется

Он читает то, что видно на странице, и не всегда видит то, что спрятано: всплывающее окно с условием, мелкий шрифт под кнопкой, цену для другого города. Отсюда правило «что входит в цену» и выборочная проверка: они ловят именно этот класс ошибок. Второе — он торопится. Человек, листая карточку, замечает странность, а агент спокойно переносит значение в клетку, потому что оно стоит на своём месте. Поэтому в рецептах есть требование цитаты: цитата возвращает страницу в разговор и делает ошибку видимой.

И третье, самое простое: не всякую работу стоит поручать браузеру. Если нужно сравнить три позиции, быстрее открыть три страницы самому. Обход оправдан, когда позиций десятки, когда сбор повторяется раз в месяц или когда нужно привести разрозненные страницы к одному виду. В остальных случаях агент готовит таблицу, а вы просто читаете её — и это тоже законный способ сэкономить время.

Собранные с сайтов данные удобно сводить таблицей: скриншот как источник цифр и рутина, которая сходится сама — два следующих шага после ручной сборки.

Осторожно: агент в браузере может нажать лишнюю кнопку, принять условия или отправить форму, поэтому не давайте ему вход в аккаунты и право оформлять заказы без подтверждения. Сайты, закрытые от роботов, обходите руками: обход защиты нарушает правила сайта. Значения из таблицы перед решением сверяйте по ссылке — цены и условия успевают измениться.