Единственная глава книги, где юридический абзац идёт до практики, и это не случайно.
Сайты — чужая собственность, и собирать с них данные можно не всё и не всегда. Держитесь трёх правил:
Открытое и публичное — можно, личное — нельзя. Цены с витрины магазина — публичная информация. Персональные данные людей (телефоны, адреса из профилей) — нет: их сбор без согласия нарушает закон о персональных данных.
Уважайте правила сайта. У площадок есть пользовательские соглашения и файл robots.txt («правила для роботов»). Попросите Claude: «проверь robots.txt этого сайта — что там разрешено?». А у многих сервисов есть официальное API — дверь для программ; если есть, пользуйтесь ей, а не окном.
Не создавайте нагрузку. Опрашивать сайт раз в неделю — вежливо. Долбить каждую секунду в сто потоков — это уже атака, за которую банят (и правильно делают). Claude по умолчанию делает паузы между запросами — не просите его «ускориться любой ценой».
Мониторить цены десятка конкурентов раз в неделю — нормальная, общепринятая практика. С этой рамкой — поехали.