Боты против людей: как половина интернета перестала быть человеческой

[Ryancoolround]

Вряд ли сегодня для кого-то это станет открытием — значительная часть трафика в интернете не имеет никакого отношения к людям. Согласно многочисленным исследованиям, менее 50% интернет-активности приходится на действия реальных пользователей. Всё остальное — это бесперебойная, автоматизированная деятельность ботов, создаваемых как в легальных, так и в преступных целях.

Что такое боты в интернете?

Бот (сокращение от «робот») — это программа, которая выполняет действия в интернете автоматически, без участия человека. Боты бывают разными, но для удобства их делят на две основные категории:

1. Полезные боты

Сюда входят:

• Поисковые краулеры (Googlebot, YandexBot и т.п.), индексирующие сайты.
• Системы мониторинга доступности сайтов.
• RSS-читалки.
• Боты социальных сетей (например, Telegram preview bot).
• Сервисы антиплагиата, сканеры сертификатов, валидаторы кода и др.

2. Вредоносные или подозрительные боты

Это:

• Парсеры контента (воруют текст, изображения, структуру сайта).
• Автоматические спамеры (форумы, формы обратной связи, комментарии).
• Сканеры уязвимостей (в поисках уязвимых версий CMS, открытых API, старых библиотек).
• Brute force-боты (перебор логинов и паролей).
• Боты, эмулирующие поведение пользователей (накрутка поведенческих факторов).

Статистика: интернет глазами аналитики

По данным отраслевых отчётов (Imperva, Statista, Cloudflare), средний показатель распределения трафика по категориям в 2020–2024 годах выглядел следующим образом:

• Человеческий трафик: 45–49%
• Полезные боты: 15–20%
• Вредоносные и подозрительные боты: 30–35%

Это значит, что реальный пользователь — уже не большинство. Сайт, который получает 1000 посещений в сутки, на деле может обслуживать только ~450 реальных человек, а остальное — искусственные запросы, потенциально угрожающие его стабильности и репутации.

В реальном времени со статистикой по ботам можно ознакомиться здесь: https://radar.cloudflare.com/bots?dateRange=52w

Почему это стало нормой? Причины роста бот-трафика

1. Доступность инфраструктуры

С развитием облачных платформ (AWS, Azure, DigitalOcean) стало проще и дешевле запускать десятки и сотни автоматизированных агентов с анонимных IP.

2. Коммерциализация ботов

Бот — это инструмент, и он давно стал товаром. Существуют сервисы, продающие:

• автоматические SEO-боты;
• системы массового комментирования;
• фальшивые переходы для рекламы;
• инструменты парсинга конкурентов.

3. Рост теневого рынка данных

Контент сайтов, базы товаров, метаданные и поведенческие сценарии — всё это интересует ботов-парсеров, которые непрерывно сканируют сайты.

4. Проблемы этики у разработчиков

Многие «белые» сервисы не ограничивают своих ботов в скорости, глубине обхода или количестве повторных запросов. В итоге нагрузка на сервер ощущается так же, как от вредоносных агентов.

Чем опасны боты для сайта?

📌 1. Искажение статистики

• Аналитика перестаёт быть объективной.
• Метрика, GA, Piwik не могут различить умного бота и живого человека.
• Контент может «взлететь» в посещениях, но не иметь никакой отдачи (нет регистраций, нет комментариев, нет активности).

📌 2. Псевдооптимизация

• Администратор видит трафик — думает, что страница интересна.
• Вложение времени и ресурсов в улучшение бесполезной страницы.
• Потеря стратегического контроля над сайтом.

📌 3. Нагрузка на сервер

• Боты создают паразитную нагрузку на базу данных и сеть.
• Увеличение времени ответа.
• Возможны сбои и даунтайм при массированных заходах.

📌 4. Репутационные риски

• Поведенческие факторы портятся — высокая частота отказов, быстрые выходы.
• Сайт может попасть под фильтр в поисковых системах за подозрительную активность.
• Угроза блокировки от антибот-сервисов и систем защиты от накрутки.

📌 5. Прямой вред

• Атаки на формы входа (brute force).
• Поиск уязвимостей CMS, плагинов, админок.
• Подмена контента, внедрение скриптов, воровство данных.

Почему фильтрация — сложная задача

Даже современные системы защиты (Cloudflare, reCAPTCHA, WAF) не гарантируют 100% защиты от умных ботов. Причины:

• Боты научились эмулировать действия человека (движение мыши, задержки между кликами, скроллинг).
• Многие маскируются под популярные браузеры (Chrome, Firefox), подделывая User-Agent.
• Используются прокси и мобильные IP, что усложняет бан по диапазонам.
• Боты обучаются проходить простые капчи.

Вывод

Современный сайт существует в агрессивной экосистеме, где на одного реального посетителя приходится один или даже два автоматических агента. Эта реальность требует от администраторов пересмотра подходов к аналитике, безопасности и ресурсному управлению.

Если раньше анализ поведения пользователей строился на простых метриках (посещения, время на странице, глубина), то теперь всё чаще приходится начинать с вопроса: "Это человек или бот?"