Сравнить пять магазинов, собрать условия с сайтов банков или выписать сроки доставки — работа, на которую уходит вечер и которая наполовину состоит из копирования. Агент, умеющий открывать страницы, делает это за вас, но читать итог и проверять ключевые строки всё равно нужно вам.
Собирать — агенту, задавать столбцы и проверять — вам
Хорошо: открывать страницы по списку адресов, выписывать значения в заранее заданные столбцы, сохранять ссылку на источник каждой строки, отмечать «не нашлось» и «непонятно», повторять обход по расписанию. Категорически плохо: выдумывать значение, если на странице его нет; обходить защиту от роботов, капчи и запреты в правилах сайта; входить под вашим паролем без спроса; покупать, бронировать и отправлять формы без вашего подтверждения. Таблица, собранная агентом, — это черновик данных, а не готовое решение: цена строки равна тому, что вы готовы за неё проверить.
Шаг 1. Задать столбцы до похода по сайтам
Главная ошибка — сначала обойти сайты, а потом думать, что собрано. На выходе получается разнородная солянка: у одного магазина указана цена без доставки, у другого с доставкой, у третьего вместо цены «уточняйте». Поэтому первый шаг — таблица с пустыми столбцами и правилом заполнения для каждого. Столбцов должно быть мало: пять-семь, иначе сбор превращается в переписывание сайтов целиком. Хороший набор для сравнения покупки: название, цена, что входит в цену, срок, условия возврата, ссылка на страницу. Для сравнения услуг — название, что входит, цена за период, скрытые доплаты, срок действия условий, ссылка.
К каждому столбцу пишется правило, чтобы агент не толковал по-своему: «цена — та, что показана в корзине для моего города, без учёта промокодов»; «срок — от подтверждения заказа, а не от оплаты». Правила короткие, но без них две строки одной таблицы будут считать разное. Отдельно оговаривается, что делать с отсутствующим значением: писать «нет на странице» и не заполнять по догадке. Пустая клетка честнее выдуманной цифры, и её видно с первого взгляда.
Мы будем сравнивать [что именно] по сайтам: [список адресов]. 1) Предложи таблицу из пяти-семи столбцов и для каждого — правило заполнения одной строкой. Скажи, какие столбцы ты предлагаешь убрать и почему. 2) Напиши, где на типичной странице лежит каждое значение и что считать источником: карточка товара, корзина, условия доставки. 3) Напиши правило для отсутствующего значения: «нет на странице», без догадок. 4) Пока ничего не открывай: сначала покажи таблицу и жди моего подтверждения.
Разбор: цена без условий — половина цены
В сравнении почти всегда побеждает тот, кто спрятал доплату. Доставка, сборка, страховка, обязательный минимальный срок — всё это меняет итог сильнее, чем разница в цене на витрине. Поэтому в таблице появляется столбец «что входит», и он не менее важен, чем цена. Если заполнить его нечем, это тоже результат: значит, сайт не говорит прямо, и вопрос стоит задать продавцу, а не додумывать. Тот же принцип работает с услугами: тариф за месяц без условия о повышении цены — реклама, а не предложение.
Шаг 2. Обход со ссылкой на каждую строку
Обход идёт по списку адресов, и каждая строка таблицы несёт ссылку на страницу, с которой взято значение. Это не формальность: через день вы откроете две-три ссылки и увидите, что именно прочитал агент. Без ссылки проверить нечего — остаётся верить или переделывать всё. Второе правило обхода: не переходить по чужим ссылкам и не заполнять формы, если об этом не было отдельной договорённости. Агент в браузере видит страницу примерно как человек, но нажимает быстрее и не сомневается; лишний клик по кнопке «оформить» стоит дороже, чем весь сэкономленный вечер.
Если сайт закрылся от роботов или показывает капчу, обход этой страницы прекращается. Обходить защиту — значит нарушать правила сайта и портить отношения с магазином, где вы, возможно, будете покупать. Правильное действие — открыть страницу руками и вписать значение самому; в таблице такая строка помечается «собрано вручную». Это честнее и быстрее, чем борьба с проверкой, которая всё равно закончится блокировкой.
Открой страницы по списку: [адреса]. Работай по таблице из прошлого шага. 1) Заполни строку по каждому адресу, строго по правилам столбцов. 2) В каждой строке оставь ссылку на страницу, откуда взято значение. 3) Если значения нет — напиши «нет на странице». Если страница закрыта проверкой или не открылась — напиши «собрать вручную» и переходи дальше. 4) Не нажимай кнопки покупки, бронирования и отправки форм. Не входи в аккаунты. 5) В конце назови страницы, которые не удалось прочитать, и причину.
Разбор: страница меняется между обходом и проверкой
Цены и условия живут недолго: акция кончается, наличие меняется, доставка дорожает. Поэтому у таблицы есть дата сбора, и она стоит в шапке, а не в подвале мелким шрифтом. Если решение принимается через неделю, ключевые строки перепроверяются заново — не всю таблицу, а те три-четыре, на которых держится выбор. Ещё одна причина перепроверить: агент мог прочитать старую версию страницы из кэша. Свежий взгляд по ссылке снимает и это сомнение.
Шаг 3. Свести, проверить выборочно и записать вывод
Собранные строки сводятся в одну таблицу и сортируются по тому признаку, который важен: по итоговой цене, по сроку, по условиям возврата. Сортировка сама по себе ничего не решает, но показывает перекосы: например, что самый дешёвый вариант выпадает по сроку, а самый быстрый дороже остальных вдвое. Дальше — выборочная проверка. Возьмите три строки: лучшую, худшую и случайную, откройте ссылки и сверьте значения глазами. Если расходится хотя бы одна, проверять нужно всю таблицу: значит, правило столбца понято не так, как вы задумали.
Вывод записывается отдельно от таблицы: какой вариант выбран, почему, что осталось непроверенным. Это спасает от повторного обхода через месяц — по записи видно, что изменилось с тех пор. И ещё: таблицу стоит хранить в простом виде, который читается без специальной программы, — тогда через год её откроет любой инструмент, а не только тот, в котором она создана.
Вот таблица после обхода. Ничего не додумывай. 1) Сведи строки в одну таблицу и отсортируй по [признак]. Покажи первые три и последние три строки. 2) Назови строки, где значения выглядят подозрительно: пусто, резко дешевле остальных, противоречит другому столбцу. 3) По трём строкам — лучшей, худшей и случайной — приведи цитату со страницы, которая подтверждает значение. 4) Отдельным блоком: что осталось непроверенным и что стоит переспросить у продавца или у меня.
Разбор: за таблицей стоит человек, а не сайт
Сводка не заменяет разговор. Условия на странице — общие, а ваш случай может быть особенным: доставка на этаж, возврат после сборки, перенос даты. Поэтому последний шаг — список вопросов, которые таблица не закрыла. Три-четыре вопроса, заданные продавцу до покупки, экономят больше, чем ещё один час обхода. Агент хорошо готовит этот список: он видел все страницы и знает, где формулировки расходятся.
Почему браузерный агент ошибается тише, чем кажется
Он читает то, что видно на странице, и не всегда видит то, что спрятано: всплывающее окно с условием, мелкий шрифт под кнопкой, цену для другого города. Отсюда правило «что входит в цену» и выборочная проверка: они ловят именно этот класс ошибок. Второе — он торопится. Человек, листая карточку, замечает странность, а агент спокойно переносит значение в клетку, потому что оно стоит на своём месте. Поэтому в рецептах есть требование цитаты: цитата возвращает страницу в разговор и делает ошибку видимой.
И третье, самое простое: не всякую работу стоит поручать браузеру. Если нужно сравнить три позиции, быстрее открыть три страницы самому. Обход оправдан, когда позиций десятки, когда сбор повторяется раз в месяц или когда нужно привести разрозненные страницы к одному виду. В остальных случаях агент готовит таблицу, а вы просто читаете её — и это тоже законный способ сэкономить время.
Собранные с сайтов данные удобно сводить таблицей: скриншот как источник цифр и рутина, которая сходится сама — два следующих шага после ручной сборки.
Осторожно: агент в браузере может нажать лишнюю кнопку, принять условия или отправить форму, поэтому не давайте ему вход в аккаунты и право оформлять заказы без подтверждения. Сайты, закрытые от роботов, обходите руками: обход защиты нарушает правила сайта. Значения из таблицы перед решением сверяйте по ссылке — цены и условия успевают измениться.