Некачественный трафик на сайте из сети Megafon: Прямые заходы и другой реферальный спам
Если у вас на сайте появился некачественный трафик из сети Megafon, то вы пришли по адресу. В начале июня, я заметил рост трафика на сайте в районе 35-40%, это были прямые заходы, переходы из социальных сетей, с других сайтов, которые никак не связаны с тематикой моего сайта. Что я подумал впервые, увидев такое? На самом деле я был очень рад, так как думал что посетители начали делиться статьями с моего сайта и с точки зрения поведенческих факторов это очень хорошо для продвижения веб-ресурса.
Примерно через месяц как на сайте появился новый трафик, я начал замечать что в то-же время и позиции сайта в поисковых системах, начал проседать. К большому сожалению я ничего не предпринял и оставил все как есть и это было моей ошибкой. Далее, я расскажу все подробнее и то как я убрал некачественный трафик.
Некачественный трафик на сайте из сети Megafon
В начале сентября я провел анализ сайта и увидел следующую картину, больше половины запросов которые еще недавно были в топ 1-3 пропали и даже в топ 100 их нет но, в тоже время и трафик на сайте не просел, только рос. И тогда я начал разбираться в чем же причина и достаточно быстро ее нашел. Оказалось что, весь некачественный трафик на сайте шел из сети Megafon, а именно “Ural Branch of OJSC MegaFon GPRS/UMTS Network” и “Center Branch of OJSC MegaFon, GPRS/UMTS Pool 2”.
Многие могут задаться вопросом, а как я понял что данный трафик некачественный. Все очень просто. Во-первых, просмотрев записи посещения всех посетителей в Вебвизоре которые шли через сеть Megafon, не похожи на реальных людей. Больше всего это похоже на ботов, которые заходят на сайт проводят от 5 до 80 секунд и уходят с сайта, а что самое главное на сайте ничего не делают или просто скролят страницу.
Я так полагаю что эти боты идут дальше в поиск по тому же запросу что и перешли на мой сайт, тем самым, дают поисковым системам понять что на моем сайте ничего полезного не нашли. И вот такие манипуляции очень плохо влияют на поведенческие факторы в дальнейшем продвижении.
Также у многих может появиться и такой вопрос, а разве ПС не понимают что это боты и их посещения не учитываются? Ну во-первых, в Яндекс метрике есть такая настройка как “Отфильтровать ботов по строгим правилам”, у меня она стоит, но в то-же время и посещения в метрике тоже учитываются, а по идеи не должны так как это боты. На самом деле я не утверждаю, что это действительно боты, может это и реальные пользователи которые ничего не делают на сайте и просто скролят страницу туда сюда.
На самом деле то, написать такого бота не сложно на JavaScript и PHP, но вопрос то не в этом, главный вопрос, это почему некачественный трафик идет только через сети Megafon. И для меня до сих пор остается загадкой.
Как убрать некачественный трафик от Megafon
А теперь давайте перейдем к тому, как убрать некачественный трафик с сайта от оператора Megafon. Во-первых если у вас точно такая же ситуация как и у меня, прямое переходы, внезапные посещения из соц. сетей и других сайтов и все это из одной сети Megafon, рекомендую вам заблокировать диапазоны с которого идет этот трафик как это сделал я.
За пару часов я собрал все диапазоны IP адресов с которых идет некачественный трафик, и этот список вы можете увидеть и скопировать из списка ниже.
178.176.96.0/19 178.176.64.0/19 31.173.80.0/21 85.140.0.0/21 31.173.100.0/23 31.173.120.0/24 83.169.216.0/24 83.149.44.0/22 83.149.19.0/24 83.149.20.0/22 83.149.36.0/22 31.173.103.0/24 31.173.242.0/23 31.173.240.0/23 |
Для тех кто не в курсе как блокировать IP адреса, объясню подробнее. В корне сайта ищем файл “.htaccess”. В самом конце файла, вписываем код который расположен ниже. Как можете заметить, перед каждым IP адресом стоит "Deny from", что запрещает переход на сайт и выдает ошибку 403.
Order allow,deny Allow from all # start_auto_deny_listDeny from 178.176.96.0/19 Deny from 178.176.64.0/19 Deny from 31.173.80.0/21 Deny from 85.140.0.0/21 Deny from 31.173.100.0/23 Deny from 31.173.120.0/24 Deny from 83.169.216.0/24 Deny from 83.149.44.0/22 Deny from 83.149.19.0/24 Deny from 83.149.20.0/22 Deny from 83.149.36.0/22 Deny from 31.173.103.0/24 Deny from 31.173.242.0/23 Deny from 31.173.240.0/23# end_auto_deny_list |
Скажу сразу что, вы не блокируете всех пользователей которые переходят на ваш сайт через Megafon. Здесь диапазоны IP адресов только тех, с которых идет некачественный трафик. Конечно же, вы можете блокировать каждый IP адрес по отдельности, а не диапазоном но, это бесполезно так как каждый день будут появляться новые IP, которые портят статистику сайта. На данном этапе я думаю это все, надеюсь вам эта статья помогла!
Тоже обратил внимание на резкий скачок трафика с 1 янв 2021. Как этих гадов определить IPv4 address block not managed by the RIPE NCC ? и еще много других ? Время нахождения либо 0 секунд либо 0:15 секунд. В основном прямые заходы, с мобильных устройств и теперь прямые заходы 60%, а было 20%. Хотя я думаю эти гады их и раньше составляли - эти 20%.
Что это вообще за хня творится ? На мой сайт атака началась только сейчас, заглянул в поиск, а обсуждают это уже несколько лет. Я так понял начинается это, когда твой сайт выходит в топ, как это и случилось с моим, по многим позициям.
Здравствуйте! Смотрите в логах своего сайта. Логи можно найти в панели хостинга как например в Beget. Или заблокируйте ip которые указаны в статье, как это сделал я.
Которые у вас ip указаны, у меня заблокированы. Но ботов мне кажется еще больше стало. Айпишники с IPv4 address block not managed by the RIPE NCC определяются вот в таком виде 2a09:400:95d9:b253:2e8a:88b3:6f59:58aa. Как быть то ?
Напишите своему хостинг провайдеру и попросите все ip адреса за нужный период и заблокируйте их. Правда если у вас прямые заходы на сайте, то они не отслеживаются, а именно ip.