ВойтиПопробовать бесплатно
Разделы документации

Определение ботов и свои бот-листы

По каким признакам трекер помечает клик как бота и как добавить собственные списки User-Agent и IP-адресов.

Трекер проверяет каждый клик на признаки бота. Встроенная проверка работает всегда и не настраивается, а собственные бот-листы дополняют её фрагментами User-Agent, IP-адресами и подсетями. Бот-листы видят и меняют владелец и администратор.

Что происходит с ботом

Пометка «бот» сама по себе клик не блокирует. Дальше она работает так:

  • В кампании с включённой клоакой бот получает вайт — см. Куда уходит отсеянный трафик.
  • Без клоаки бот идёт по потокам как обычный посетитель. Чтобы бот не попал в поток, добавьте в него условие Бот = false — см. Защита потока без клоаки.
  • В отчётах клик попадает в метрику Боты, а группировка и фильтр Бот отделяют такие клики от остальных.
  • Макрос {is_bot} отдаёт 1 для бота и 0 для остальных кликов. Все макросы — в справочнике.

Встроенные признаки

Трекер проверяет признаки в порядке таблицы и останавливается на первом совпавшем. Бот-листы проверяются последними: если клик уже признан ботом по встроенному признаку, у него останется код этого признака, а не custom_list.

КодКогда срабатывает
ua_botUser-Agent распознан как бот: известный краулер, headless-браузер или ссылка на сайт внутри User-Agent
empty_uaUser-Agent пустой, или по нему не определились ни браузер, ни операционная система
ua_signatureUser-Agent содержит одну из встроенных сигнатур — список ниже
datacenterТип соединения — hosting, то есть адрес дата-центра. Тип соединения даёт только база IP2Proxy
custom_listКлик совпал с вашим бот-листом по User-Agent или IP

Код виден только в кампании с включённой клоакой: в окне клика, в секции Клоака, строка Причины содержит текст вида «бот/модерация по UA или коннекту (ua_signature)». Как открыть окно клика и читать остальные причины — на странице Диагностика: почему клик ушёл на вайт.

Адреса VPN, Tor и прокси ботами не считаются. Их отсекает флажок Блокировать дата-центры / прокси / VPN в клоаке или условие Прокси / ДЦ = false в потоке.

Встроенные сигнатуры User-Agent

Сигнатура ищется как подстрока, регистр не учитывается. Сигнатура bot срабатывает на любом краулере со словом bot в названии. Смартфоны Cubot под неё не попадают. Добавлять эти значения в свой бот-лист не нужно.

  • Общие: bot, crawl, spider, slurp, preview, monitor, uptime.
  • Автоматизация браузера: headless, phantom, puppeteer, playwright, selenium, scrapy.
  • Библиотеки и консольные клиенты: curl/, wget, python-requests, python-urllib, go-http-client, java/, okhttp, apache-httpclient, libwww, lwp::, httpclient, axios/, node-fetch, guzzle.
  • Сканеры, мониторинг и проверка скорости: pingdom, datadog, censys, masscan, zgrab, nmap, lighthouse, chrome-lighthouse, gtmetrix.
  • Google: googlebot, adsbot, mediapartners, google-read-aloud, googleweblight, google-inspectiontool, storebot-google, google favicon, feedfetcher-google, apis-google.
  • Другие поисковики: bingbot, bingpreview, adidxbot, msnbot, yandexbot, yandex.com/bots, applebot, duckduckbot, baiduspider, petalbot.
  • Соцсети и мессенджеры: facebookexternalhit, facebot, facebookcatalog, meta-externalagent, whatsapp, telegrambot, twitterbot, linkedinbot, pinterestbot.
  • SEO-сервисы: ahrefsbot, semrushbot, mj12bot, dotbot.

Как добавить свой бот-лист

  1. Нажмите значок Админ-панель в правом верхнем углу панели.
  2. Выберите Настройки.
  3. Перейдите на вкладку Боты и гео. Блок бот-листов расположен под блоком IP2Proxy и начинается с текста «Кастомные бот-листы поверх встроенного детекта».
  4. Вставьте в поле Бот UA — подстроки (по одной на строку) фрагменты User-Agent.
  5. Вставьте в поле Бот IP / CIDR (по одному на строку) адреса и подсети.
  6. Нажмите Сохранить под этими полями.

Над полями на три секунды появится сообщение «Сохранено — применится к движку в течение ~15с». Список начинает действовать на новые клики в течение примерно 15 секунд, перезапуск не нужен. Уже записанные клики не пересчитываются.

Совет.

Подготовьте список в текстовом редакторе и вставьте его в поле целиком. При наборе с клавиатуры поле сразу убирает пустые строки и пробелы по краям строк, поэтому клавиша Enter в конце списка новую строку не начинает.

Чтобы убрать запись, удалите строку и снова нажмите Сохранить. Пустые поля означают, что работает только встроенная проверка.

Правила заполнения

ПолеЧто вписыватьКак сравниваетсяПределы
Бот UA — подстроки (по одной на строку)Фрагмент User-Agent, например MyScannerКлик считается ботом, если строка встречается в любом месте User-Agent. Регистр не учитываетсяДо 10000 строк, каждая до 512 байт — это 512 латинских символов
Бот IP / CIDR (по одному на строку)Адрес 203.0.113.10 или подсеть 203.0.113.0/24. Подходят IPv4 и IPv6Адрес клика равен записи или входит в подсетьДо 10000 строк

Маски со звёздочкой вида 203.0.113.* в поле IP не принимаются — запишите подсеть в формате CIDR.

Оба списка вместе должны быть меньше 1 МиБ. Если они больше, при сохранении появится сообщение «Ожидается JSON объект».

Список один на всю установку и действует на клики всех кампаний.

Внимание.

Подстрока User-Agent сравнивается без границ слова. Короткая или общая запись, например chrome или android, пометит ботами живых посетителей, и в кампаниях с клоакой они получат вайт вместо оффера.

Проверка

  1. Подождите 15 секунд после сохранения.
  2. Откройте ссылку кампании с IP-адреса из списка или из браузера, в User-Agent которого есть фрагмент из списка.
  3. Откройте эту кампанию в панели.
  4. Нажмите Статистика.
  5. Перейдите на вкладку Лог кликов.
  6. Найдите свой клик. В колонке Бот у него стоит пометка «бот».

В кампании с включённой клоакой нажмите на строку клика. В секции Клоака строка Причины содержит «бот/модерация по UA или коннекту (custom_list)».

Какой поток получит отсеянный посетитель, без отправки трафика показывает проверка выбора потока.

Если не сохраняется

Текст ошибки появляется над полями. Оба поля сохраняются вместе: при ошибке в одном не сохраняется ни одно.

Некорректный IP/CIDR

В поле IP есть строка, которая не читается как адрес или подсеть. Она указана в сообщении после двоеточия. Исправьте или удалите эту строку.

Список ботов: максимум 10000 строк

В одном из полей больше 10000 строк. Замените отдельные адреса подсетями или уберите лишние записи.

Пустое или слишком длинное значение бот-листа

Одна из строк длиннее 512 байт. Сократите её до характерного фрагмента.

Настройки изменены в другой вкладке. Обновите страницу и повторите правку.

Пока вы редактировали список, настройки сохранил другой администратор или вы сами в другой вкладке. После обновления страницы несохранённые строки пропадут.

  1. Скопируйте свой список из полей.
  2. Обновите страницу.
  3. Вставьте список заново.
  4. Нажмите Сохранить.

Настройки сохранены, но движок пока не подтвердил применение. Обновите страницу и повторите сохранение.

Список записан в настройках, но к трафику ещё не применён.

  1. Обновите страницу.
  2. Нажмите Сохранить под полями бот-листа ещё раз.

Если сообщение повторяется, проверьте службы на странице Состояние системы.

Обновлено Нужна помощь? ↗