User-Agent нашего робота и как исключить его из вашей статистики.
Если на вашем сайте появились запросы от Pingvera — значит студия или агентство, которое обслуживает сайт, поставило его на мониторинг доступности. Мы периодически (по заданному интервалу) запрашиваем страницу из нескольких регионов, чтобы первыми заметить сбой. Эти запросы можно исключить из веб-аналитики.
Все наши проверки (доступность, WordPress-отпечаток, битые ссылки, скан) представляются единым User-Agent с опознавательным токеном Pingvera:
Браузерный префикс нужен, чтобы защиты (DDoS-Guard, Cloudflare) не блокировали проверку. Стабильный признак для фильтрации — подстрока Pingvera в User-Agent.
Проверки выполняются из нескольких регионов зондирования (например, Москва, Санкт-Петербург, Амстердам). IP-адреса могут меняться — для исключения надёжнее ориентироваться на User-Agent, а не на IP.
Мы запрашиваем страницу редко — по интервалу мониторинга (обычно от 1 до 3 минут на проверку доступности; срок домена и сертификата — раз в сутки/часы). Это не создаёт заметной нагрузки и не индексирует сайт.
Вопросы по краулеру: info@pingvera.ru.