Некачественный трафик на сайте из сети Megafon: Прямые заходы и другой реферальный спам

Если у вас на сайте появился некачественный трафик из сети Megafon, то вы пришли по адресу. В начале июня, я заметил рост трафика на сайте в районе 35-40%, это были прямые заходы, переходы из социальных сетей, с других сайтов, которые никак не связаны с тематикой моего сайта. Что я подумал впервые, увидев такое? На самом деле я был очень рад, так как думал что посетители начали делиться статьями с моего сайта и с точки зрения поведенческих факторов это очень хорошо для продвижения веб-ресурса.

Некачественный трафик на сайте из сети Megafon

Примерно через месяц как на сайте появился новый трафик, я начал замечать что в то-же время и позиции сайта в поисковых системах, начал проседать. К большому сожалению я ничего не предпринял и оставил все как есть и это было моей ошибкой. Далее, я расскажу все подробнее и то как я убрал некачественный трафик.

 

Некачественный трафик на сайте из сети Megafon

В начале сентября я провел анализ сайта и увидел следующую картину, больше половины запросов которые еще недавно были в топ 1-3 пропали и даже в топ 100 их нет но, в тоже время и трафик на сайте не просел, только рос. И тогда я начал разбираться в чем же причина и достаточно быстро ее нашел. Оказалось что, весь некачественный трафик на сайте шел из сети Megafon, а именно “Ural Branch of OJSC MegaFon GPRS/UMTS Network” и “Center Branch of OJSC MegaFon, GPRS/UMTS Pool 2”.

Многие могут задаться вопросом, а как я понял что данный трафик некачественный. Все очень просто. Во-первых, просмотрев записи посещения всех посетителей в Вебвизоре которые шли через сеть Megafon, не похожи на реальных людей. Больше всего это похоже на ботов, которые заходят на сайт проводят от 5 до 80 секунд и уходят с сайта, а что самое главное на сайте ничего не делают или просто скролят страницу. 

Я так полагаю что эти боты идут дальше в поиск по тому же запросу что и перешли на мой сайт, тем самым, дают поисковым системам понять что на моем сайте ничего полезного не нашли. И вот такие манипуляции очень плохо влияют на поведенческие факторы в дальнейшем продвижении.

Также у многих может появиться и такой вопрос, а разве ПС не понимают что это боты и их посещения не учитываются? Ну во-первых, в Яндекс метрике есть такая настройка как “Отфильтровать ботов по строгим правилам”, у меня она стоит, но в то-же время и посещения в метрике тоже учитываются, а по идеи не должны так как это боты. На самом деле я не утверждаю, что это действительно боты, может это и реальные пользователи которые ничего не делают на сайте и просто скролят страницу туда сюда.

На самом деле то, написать такого бота не сложно на JavaScript и PHP, но вопрос то не в этом, главный вопрос, это почему некачественный трафик идет только через сети Megafon. И для меня до сих пор остается загадкой.

 

Как убрать некачественный трафик от Megafon

А теперь давайте перейдем к тому, как убрать некачественный трафик с сайта от оператора Megafon. Во-первых если у вас точно такая же ситуация как и у меня, прямое переходы, внезапные посещения из соц. сетей и других сайтов и все это из одной сети Megafon, рекомендую вам заблокировать диапазоны с которого идет этот трафик как это сделал я. 

За пару часов я собрал все диапазоны IP адресов с которых идет некачественный трафик, и этот список вы можете увидеть и скопировать из списка ниже.

178.176.96.0/19
178.176.64.0/19
31.173.80.0/21
85.140.0.0/21
31.173.100.0/23
31.173.120.0/24
83.169.216.0/24
83.149.44.0/22
83.149.19.0/24
83.149.20.0/22
83.149.36.0/22
31.173.103.0/24
31.173.242.0/23
31.173.240.0/23

Для тех кто не в курсе как блокировать IP адреса, объясню подробнее. В корне сайта ищем файл “.htaccess”. В самом конце файла, вписываем код который расположен ниже. Как можете заметить, перед каждым IP адресом стоит "Deny from", что запрещает переход на сайт и выдает ошибку 403.

Order allow,deny
Allow from all
# start_auto_deny_listDeny from 178.176.96.0/19
Deny from 178.176.64.0/19
Deny from 31.173.80.0/21
Deny from 85.140.0.0/21
Deny from 31.173.100.0/23
Deny from 31.173.120.0/24
Deny from 83.169.216.0/24
Deny from 83.149.44.0/22
Deny from 83.149.19.0/24
Deny from 83.149.20.0/22
Deny from 83.149.36.0/22
Deny from 31.173.103.0/24
Deny from 31.173.242.0/23
Deny from 31.173.240.0/23# end_auto_deny_list

Скажу сразу что, вы не блокируете всех пользователей которые переходят на ваш сайт через Megafon. Здесь диапазоны IP адресов только тех, с которых идет некачественный трафик. Конечно же, вы можете блокировать каждый IP адрес по отдельности, а не диапазоном но, это бесполезно так как каждый день будут появляться новые IP, которые портят статистику сайта. На данном этапе я думаю это все, надеюсь вам эта статья помогла!

Комментариев: 4
  1. Тоже обратил внимание на резкий скачок трафика с 1 янв 2021. Как этих гадов определить IPv4 address block not managed by the RIPE NCC ? и еще много других ? Время нахождения либо 0 секунд либо 0:15 секунд. В основном прямые заходы, с мобильных устройств и теперь прямые заходы 60%, а было 20%. Хотя я думаю эти гады их и раньше составляли - эти 20%.
    Что это вообще за хня творится ? На мой сайт атака началась только сейчас, заглянул в поиск, а обсуждают это уже несколько лет. Я так понял начинается это, когда твой сайт выходит в топ, как это и случилось с моим, по многим позициям.

    1. Здравствуйте! Смотрите в логах своего сайта. Логи можно найти в панели хостинга как например в Beget. Или заблокируйте ip которые указаны в статье, как это сделал я.

  2. Которые у вас ip указаны, у меня заблокированы. Но ботов мне кажется еще больше стало. Айпишники с IPv4 address block not managed by the RIPE NCC определяются вот в таком виде 2a09:400:95d9:b253:2e8a:88b3:6f59:58aa. Как быть то ?

    1. Напишите своему хостинг провайдеру и попросите все ip адреса за нужный период и заблокируйте их. Правда если у вас прямые заходы на сайте, то они не отслеживаются, а именно ip.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *