Боти й парсинг цін в інтернет-магазині
Боти — це програми, які автоматично відвідують сайт. Частина корисна (пошукові роботи), частина шкідлива: парсинг копіює ціни й каталог, credential stuffing перебирає вкрадені логіни, боти-скальпери скуповують дефіцит, а тестувальники карток перевіряють номери на сторінці оплати.
Простими словами
Магазин відкритий усім, тому й роботи заходять вільно. Поганих відрізняють не за самим фактом автоматичності, а за метою та навантаженням. Конкурент може щодня збирати ваші ціни з дуже швидко, інший бот перебирає паролі в особистому кабінеті, третій займає кошики товаром. Ви бачите наслідки: сповільнення сайту, дивну аналітику, рахунки за хостинг, акаунти, до яких заходили не власники.
Скільки це
За звітом Imperva (Thales) Bad Bot Report 2026 автоматизований трафік перевищує половину веб-трафіку, і близько 40% від нього класифікують як шкідливий; атаки на API та системи ідентифікації становлять 27% атак; атаки з AI зросли у 12,5 раза (Thales/Imperva, 2026). Попередній звіт (2025) називав 51% автоматизованого трафіку за даними 2024 року (Imperva, 2025).
Застереження: це дані компанії, що продає захист від ботів, і вимірюють вони її клієнтів, а не весь інтернет. Для українського магазину частка може бути іншою; реальну картину показують ваші журнали сервера.
Відповідно до звіту Verizon DBIR 2026, ШІ посилює близько 15% технік атак (Verizon).
Види ботів, на які варто звернути увагу
Що роблять | Чим шкодять |
|---|---|
Парсинг цін і каталогу | Конкурент бачить ваші ціни, контент копіюють, зростає навантаження |
Credential stuffing | Перебір паролів, захоплення акаунтів і бонусів |
Тест карток (carding) | Спроби оплати, збитки на комісіях і спорах, див. шахрайство з оплатами |
Скальпінг, скуповування | Дефіцитний товар розкуплено ботами |
Спам у формах і відгуках | Забруднення бази, ризик ін'єкцій у AI-помічники, див. ризики AI |
DDoS | Сайт недоступний, див. хостинг і піки навантаження |
Назви класів загроз ставить OWASP у проєкті Automated Threats to Web Applications (OWASP); сторінка відсилає до окремого довідника з визначеннями.
Корисні боти: пошуковики та AI-роботи
Блокувати «все автоматичне» не можна: Googlebot, Bing та інші приводять покупців. Google вказує, що його роботи ідентифікуються за заголовком user-agent, IP-адресою та зворотним DNS-ім'ям; тільки заголовок довіряти не слід, бо його можна підробити (Google). Про роботів AI-сервісів і правила доступу для них див. AI-краулери.
Що можна зробити
- robots.txt не захист. Він просить чемних роботів не заходити, але «не може примусово змінити поведінку краулера»; для чутливого контенту потрібні паролі та інші заходи (Google).
- Обмеження частоти запитів (rate limit) з однієї адреси на пошук, логін, оформлення замовлення.
- Перевірка на ботів на «дорогих» діях: вхід, реєстрація, оплата, купон. Не на кожній сторінці каталогу.
- Захист рівня CDN чи фаєрвола (WAF). Він відсікає частину трафіку до сайту.
- Двоетапний вхід і сповіщення про вхід проти credential stuffing.
- Аналіз журналів: різкі піки запитів, одна адреса або підмережа, незвичні user-agent.
- Ціни. Повністю заховати публічні ціни від парсингу неможливо; реальна відповідь — цінова політика, а не маскування: бот бачить те саме, що й покупець. Для B2B можна показувати ціни після входу, див. B2B-продажі онлайн.
Типові помилки
- Блокувати за країною чи user-agent і випадково відсікти покупців чи Googlebot.
- Дивитися на сеанси в аналітиці як на людей: частина трафіку це боти, і конверсія виглядає нижчою. Див. конверсія.
- Складна капча на кожному кроці. Вона відлякує і покупців.
- Не відокремлювати парсинг від навантаження: іноді проблема в слабкому хостингу, а не в атаці.
FAQ
Що таке парсинг цін? Автоматичний збір цін і характеристик з сайтів, зазвичай конкурентами чи сервісами порівняння цін.
Чи можна повністю заборонити парсинг? Ні. Те, що бачить відвідувач, може побачити і програма. Можна ускладнити масовий збір і обмежити швидкість запитів.
Як відрізнити бота від людини? За поведінкою: швидкість, послідовність дій, одна адреса з тисячами запитів, відсутність типових браузерних ознак. Одного заголовка недостатньо (Google).
Чи допомагає robots.txt проти шкідливих ботів? Ні, його дотримуються лише чемні роботи (Google).
Пов'язані терміни
- AI-боти на сайті: GPTBot, robots.txt і llms.txt
- Безпека інтернет-магазину: мінімум
- Шахрайство з оплатами та 3-D Secure
- Хостинг, CDN і піки навантаження
- Технічний аудит сайту: що це і що перевіряють
Джерела
- Thales/Imperva, The 2026 Bad Bot Report is here — community-cybersec.thalesgroup.com/blogs/tim-chang/2026/05/05/the-2026-bad-bot-report-is-here
- Imperva, 2025 Bad Bot Report — imperva.com/resources/resource-library/reports/2025-bad-bot-report
- Verizon, 2026 DBIR — verizon.com/business/resources/reports/dbir
- Google Search Central, Overview of Google crawlers and fetchers — developers.google.com/search/docs/crawling-indexing/overview-google-crawlers
- Google Search Central, Introduction to robots.txt — developers.google.com/search/docs/crawling-indexing/robots/intro
- OWASP, Automated Threats to Web Applications — owasp.org/www-project-automated-threats-to-web-applications
Читайте також
Хостинг, CDN і піки навантаження
Хостинг — це сервер (або хмара), на якому працює магазин. CDN (content delivery network) — мережа серверів по світу, що віддає частину сайту (картинки, скрипти, іноді сторінки) з точки, ближчої до покупця. Разом вони визначають, чи витримає сайт розпродаж і…
Резервні копії інтернет-магазину
Резервна копія — це збережена окремо копія сайту, бази даних (товари, замовлення, клієнти) і файлів, з якої можна відновити магазин після збою, помилки чи зламу. Копія має сенс лише тоді, коли відновлення з неї перевірено.
Шахрайство з оплатами та 3-D Secure
Шахрайство з оплатами в інтернет-магазині — це спроба отримати товар чи гроші за допомогою чужих карткових даних, обману покупця або недобросовісного оскарження платежу. 3-D Secure (3DS) — протокол, за яким банк-емітент додатково перевіряє, що картку…
Застосунок, PWA чи сайт: що обрати магазину
PWA (progressive web app) — це вебсайт, який можна встановити на телефон як застосунок, і який уміє працювати за поганого зв'язку. Нативний застосунок — окрема програма з App Store чи Google Play. Адаптивний сайт — звичайний сайт у браузері, що…