antiBot

Блокировка ботов и парсеров по IP и USER AGENT
Автор дополнения
Андрей Степаненко
Пакетов
27
Закачек
2 892
Обычно отвечает в течение нескольких дней
Автор дополнения
Пакетов
27
Закачек
2 892
Обычно отвечает в течение нескольких дней
Версия 1.0.12-beta
Дата выпуска 19.04.2019
Загрузки 31
Просмотры 1 197
Внимание, этот компонент требует версию PHP 5.4 или выше! Если ваш сайт использует PHP ниже требуемого, установка этого дополнения может его сломать.
Внимание, этот компонент требует версию MODX не ниже 2.4 !
Компонент записывает все хиты и ведет список пользователей/ботов зашедших на сайте с возможностью блокировки через стоп-листы. Вся статистика хранится в течении 3-х дней (по умолчанию), после чего автоматически удаляется по наступлении даты во время захода пользователя или бота только 1 раз в сутки.

Какие задачи решает компонент


  1. Защита MODX REVOLUTION от парсеров и ботов;
  2. Значительное снижение нагрузки на сайт за счет блокировки ненужных ботов на событие OnHandleRequest, то есть до того как сайт начинает грузить контент, то есть ресурс с чанками, сниппетами и шаблонами;
  3. Ведение и просмотр статистики сайта с отображением общего количества хитов у пользователая/бота
  4. Защита от парсеров вашего сайта, как правило парсеры которые нагружают сайт и занимаются воровством используют несколько IP адресов которые возможно заблокировать;
  5. Проверка бота на принадлежность к yandex bot. Так как USER-AGENT можно подделать, добавлена возможность для проверки,
    является ли IP с которого пришел яндекс бот не фэковым;

Возможности


  • Добавлена настройка для отключения отчистки статистики управляемые через antibot_max_day
  • Добавление индексов для поля user agent для быстрого поиска по нему
  • Добавлена возможность блокировки по части IP
  • Возможность проверки фэйковых ботов yandex, google, mail
  • Блокировка пользователей по IP
  • Блокировка пользователей по USER AGENT
  • Включение/отключение — учета переходов авторизированных пользователей
  • Включение/отключение — учета переходов заблокированных пользователей
  • Включение/отключение — учета переходов в контексте mgr
  • Включение/отключение — учета переходов всех пользователей. Можно отключить запись переходов, но созданные стоп листы будут работать
  • Хранение в базе переходов и пользователей определенное количество дней (по умолчанию 3 дня). По наступлению даты, записи автоматически удаляются
  • Указание страницы для редиректа или сообщение которое будет возвращаться заблокированному пользователю
  • Блокировка любых пустых USER AGENT при создании любого стоп-листа
  • Во время блокировки возвращается HTTP/1.1 503 Service Temporarily Unavailable, что предоставляет возможность не вылететь странице из поисковой выдачи в случаях если ошибочно был забанен бот google или yandex

Пример блокировки надоедливых ботов AhrefsBot, MJ12bot, DotBot и SemrushBot


Эти боты могу делать в день по 100, 500, 3000 и больше прямых заходов на страницы сайта.
Тем самым эти бесполезные боты создают такую нагрузку на сервер, которую живые пользователи не всегда смогу создавать.

Проверялся компонент на сайте с большим каталогом в 17000 товаров, на нем посещаемость от 3-10 пользователей в день, зато боты: AhrefsBot, MJ12bot, DotBot дают нагрузку на сайт в среднем около 1000 переходов.

Действия для блокировки
Переходим на вкладку "Стоп-листы" и нажимаем Добавить стоп-лист
// Для AhrefsBot
Контекст: web
USER AGENT: Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/)
Возвращаемое сообщение: Доступ запрещен
Комментарий для администратора: блокировка бота AhrefsBot

// Для SemrushBot
Контекст: web
USER AGENT: Mozilla/5.0 (compatible; SemrushBot/3~bl; +http://www.semrush.com/bot.html)
Возвращаемое сообщение: Доступ запрещен
Комментарий для администратора: блокировка бота SemrushBot

// Для MJ12bot
Контекст: web
USER AGENT: Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)
Возвращаемое сообщение: Доступ запрещен
Комментарий для администратора: блокировка бота MJ12bot

// Для DotBot
Контекст: web
USER AGENT: Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)
Возвращаемое сообщение: Доступ запрещен
Комментарий для администратора: блокировка бота DotBot

Так мы создали 2 стоп-листа для блокировки ботов по user-agent:


Блокировка по IP


Переходим на вкладку "Стоп-листы" и нажимаем Добавить стоп-лист
Контекст: web
USER AGENT: ОСТАВЛЯЕМ ПУСТЫМ
Блокировать IP: 223.12.233.11
Возвращаемое сообщение: Доступ запрещен
Комментарий для администратора: блокировка пользователя

Проверка фэковых ботов


Некоторые боты умеют подделывать USER AGENT и прикидываться например googlebot или другим доброжелательными ботами. На скриншоте ниже как раз мы и найдем такого бота. После нахождения таких ботов, можно смело создавать стоп-лист с указанием USER AGENT + IP найденого бота.

Проверка google бота:


Результат проверки показывает что это поддельный бот. Так же возвращается реальный домен поддельного бота.


Репозиторий правил


В стоп-листы добавлена кнопка для скачивания правил для стоп листов из репозитория. После скачивания создаются стоп-листы с правилами для блокировки ботов.
Репозиторий будет периодически пополняется новыми правилами блокировки.


Настройки

antibot_enable_statistics — Включить статистику
По умолчанию Да. Если хотите отключить ведение статистики и проверку по стоп-листам установить Нет

antibot_keep_block_user — Включить статистику заблокированных
По умолчанию Да. Если не хотите записывать переходы заблокированных по стоп-листу, установите Нет

antibot_max_day — Хранить статистику в днях
Укажите в течении скольки дней хранить статистику

antibot_keep_statistics_authorized_users — Включить учет авторизированных пользователей
По умолчанию Да. Если вы не хотите учитывать авторизированных пользователей в статистике то установите Нет

antibot_last_date_remove — Последняя дата удаления статистики
Дата устанавливается автоматически по наступлению дня для удаления статистики

antibot_keep_statistics — Включить запись переходов
По умолчанию Да. Если установить Нет то статистика по переходам не будет записыватся, но стоп-листы будут работать.

antibot_keep_statistics_context — Вести статистику в контексте mgr
По умолчанию Да. Если установить Нет то переходы в административной части не будут записыватся

Интерфейс


Список посетителей



Список хитов



Стоп-листы



Добавление стоп-листа



Как блокировать ботов через nginx


В случае обнаружения бота вы можете заблокировать его через nginx добавив код ниже, указав сигнатуру бота:

Список популярный ботов
if ($http_user_agent ~ SemrushBot|DotBot|SputnikBot|Crowsnest|PaperLiBot|peerindex|ia_archiver|Slurp|Aport|NING|JS-Kit|rogerbot|BLEXBot|MJ12bot|Twiceler|Baiduspider|Java|CommentReader|Yeti|discobot|BTWebClient|Tagoobot|Ezooms|igdeSpyder|AhrefsBot|Teleport|Offline|DISCo|netvampire|Copier|HTTrack|WebCopier) {
    return 503;
}

Не правильно определяется IP адрес


Разные настройки веб-сервера по разному определяют IP адреса пользователей.
Если у вас в статистике antiBot пустой IP адрес или адрес в виде: 127.0.0.1 то вы можете указать в системных настройках (antibot_ip_definition)переменную с помощью которой ваш сервер определяет IP (по умолчанию установлена REMOTE_ADDR) или опставить его пустым чтобы перебрались адреса автоматически.

1.0.12-beta

  • Блокировака по IP адресу из списка хитов и из списка гостей
  • Блокировака по USER AGENT из списка хитов и из списка гостей

Последние обсуждения в сообществе MODX.pro