Боты и парсинг цен в интернет-магазине

Боты — это программы, которые автоматически посещают сайт. Часть полезна (поисковые роботы), часть вредна: парсинг копирует цены и каталог, credential stuffing перебирает украденные логины, боты-скальперы скупают дефицит, а тестировщики карт проверяют номера на странице оплаты.

Простыми словами

Магазин открыт всем, поэтому и роботы заходят свободно. Плохих отличают не по самому факту автоматичности, а по цели и нагрузке. Конкурент может каждый день собирать ваши цены, причём очень быстро, другой бот перебирает пароли в личном кабинете, третий занимает корзины товаром. Вы видите последствия: замедление сайта, странную аналитику, счета за хостинг, аккаунты, в которые заходили не владельцы.

Сколько это

По отчёту Imperva (Thales) Bad Bot Report 2026 автоматизированный трафик превышает половину веб-трафика, и около 40% его классифицируют как вредоносный; атаки на API и системы идентификации составляют 27% атак; атаки с AI выросли в 12,5 раза (Thales/Imperva, 2026). Предыдущий отчёт (2025) называл 51% автоматизированного трафика по данным 2024 года (Imperva, 2025).

Оговорка: это данные компании, которая продаёт защиту от ботов, и измеряют они её клиентов, а не весь интернет. Для украинского магазина доля может быть другой; реальную картину показывают ваши журналы сервера.

Согласно отчёту Verizon DBIR 2026, ИИ усиливает около 15% техник атак (Verizon).

Виды ботов, на которые стоит обратить внимание

Названия классов угроз задаёт OWASP в проекте Automated Threats to Web Applications (OWASP); страница отсылает к отдельному справочнику с определениями.

Полезные боты: поисковики и AI-роботы

Блокировать «всё автоматическое» нельзя: Googlebot, Bing и другие приводят покупателей. Google указывает, что его роботы идентифицируются по заголовку user-agent, IP-адресу и обратному DNS-имени; одному заголовку доверять не следует, потому что его можно подделать (Google). О роботах AI-сервисов и правилах доступа для них см. AI-краулеры.

Что можно сделать

1. robots.txt не защита. Он просит вежливых роботов не заходить, но «не может принудительно изменить поведение краулера»; для чувствительного контента нужны пароли и другие меры (Google).
2. Ограничение частоты запросов (rate limit) с одного адреса на поиск, логин, оформление заказа.
3. Проверка на ботов на «дорогих» действиях: вход, регистрация, оплата, купон. Не на каждой странице каталога.
4. Защита уровня CDN или фаервола (WAF). Она отсекает часть трафика до сайта.
5. Двухэтапный вход и уведомления о входе против credential stuffing.
6. Анализ журналов: резкие пики запросов, один адрес или подсеть, необычные user-agent.
7. Цены. Полностью спрятать публичные цены от парсинга невозможно; реальный ответ — ценовая политика, а не маскировка: бот видит то же, что и покупатель. Для B2B можно показывать цены после входа, см. B2B-продажи онлайн.

Типичные ошибки

• Блокировать по стране или user-agent и случайно отсечь покупателей или Googlebot.
• Смотреть на сеансы в аналитике как на людей: часть трафика это боты, и конверсия выглядит ниже. См. конверсия.
• Сложная капча на каждом шаге. Она отпугивает и покупателей.
• Не отделять парсинг от нагрузки: иногда проблема в слабом хостинге, а не в атаке.

FAQ

Что такое парсинг цен? Автоматический сбор цен и характеристик с сайтов, обычно конкурентами или сервисами сравнения цен.

Можно ли полностью запретить парсинг? Нет. То, что видит посетитель, может увидеть и программа. Можно усложнить массовый сбор и ограничить скорость запросов.

Как отличить бота от человека? По поведению: скорость, последовательность действий, один адрес с тысячами запросов, отсутствие типичных браузерных признаков. Одного заголовка недостаточно (Google).

Помогает ли robots.txt против вредоносных ботов? Нет, его соблюдают только вежливые роботы (Google).

Связанные термины

• AI-боты на сайте: GPTBot, robots.txt и llms.txt
• Безопасность интернет-магазина: минимум
• Мошенничество с платежами и 3-D Secure
• Хостинг, CDN и пики нагрузки
• Технический аудит сайта

Источники

• Thales/Imperva, The 2026 Bad Bot Report is here — community-cybersec.thalesgroup.com/blogs/tim-chang/2026/05/05/the-2026-bad-bot-report-is-here
• Imperva, 2025 Bad Bot Report — imperva.com/resources/resource-library/reports/2025-bad-bot-report
• Verizon, 2026 DBIR — verizon.com/business/resources/reports/dbir
• Google Search Central, Overview of Google crawlers and fetchers — developers.google.com/search/docs/crawling-indexing/overview-google-crawlers
• Google Search Central, Introduction to robots.txt — developers.google.com/search/docs/crawling-indexing/robots/intro
• OWASP, Automated Threats to Web Applications — owasp.org/www-project-automated-threats-to-web-applications