В этой статье мы рассмотрим, как скрыть свои ссылки от конкурентов, чтобы боты Ahrefs, Semrush, Majestic не спалили бэклинки вашего сайта или PBN.
Зачем сеошники прячут свои ссылки (бэклинки) от конкурентов
Для начала кратко о том, как сегодня оказываются услуги по SEO заказчикам, которые купили сайт на бирже и хотят его продвинуть в топ. Большинство оптимизаторов используют такую заезженную схему:
- Ищут конкурентов по теме с использованием Ahrefs или других сервисов.
- Выгружают ценные данные с сайтов-конкурентов, занимающих топы выдачи в Гугл/Яндекс. Под ценными данными в нашем случае имеем в виду бэклинки.
- Копируют их решения и вносят дополнительную ценность.
Таким образом, прятать ссылки нужно, чтобы защитить подноготную своих сайтов от чужих глаз. Конкуренты могут снять все хорошие бэклинки. А дальше уже дело вкуса:
- либо завалят ваш ресурс, написав донорам от вашего лица, что линки надо снимать;
- либо получат на руки рабочую схему по внешнему продвижению и обгонят вас в поисковой выдаче.
Ну вот, а как раз такие сервисы, как Ahrefs, Semrush и Majestic, выступают в роли разведчиков. С их помощью палят чужую органику и внешние ссылки в несколько кликов.
Как запретить ботам Ahrefs, Semrush и Majestic сканировать мои сайты
Ниже о том, как закрыть доступ перечисленных сервисов к вашим сайтам. Методы вполне рабочие на момент написания статьи.
Htaccess
Нужно поставить запрет на уровне сервера, который закроет ботам доступ к сайтам. Прописывается в htaccess. Вот ссылка на этот скрипт.
Анализируем журнал посещений (файл logs), находим ботов и блочим их с помощью вышеописанного скрипта на уровне сервера. Однако многие краулеры легко обходят такой запрет, используя поддельные имена. Например, представляются как Yandexbot или Googlebot.
Тогда используем цепочку запросов к серверу доменных имен. Как это работает:
- Бот обращается к сайту под именем Yandexbot. Выгружаем его IP-адрес.
- Определяем хост, выполнив обратный DNS-запрос. Таким образом, проверяем, принадлежит хост Яндексу или нет. Он должен заканчиваться на yandex.ru/net/com. Если хост имеет другое окончание – этот бот не принадлежит поисковой системе.
- Делаем прямой DNS-запрос на перевод хоста в IP. Получаем айпи, соответствующий имени хоста. Если он не совпадает с айпи, полученным при обратном DNS-запросе, имя 100-процентно поддельное, и этот сервис конкурентной разведки будет заблокирован.
О том, как выполнить обратный DNS-запрос. В Windows это можно сделать, например, через команду nslookup.
Трекеры
MagicChecker — один из лучших анти-spy сервисов, взятый на вооружение арбитражниками. Успешно скрывает рабочие связки, не давая конкурентам возможности что-то стащить у вас. Хороший способ и для SEO, так как защищает практически от любых ботов и VPN. База данных обновляется каждую неделю. Единственный минус – дорогая цена за доступ к функционалу (почти $200 в месяц). Однако топовые арбитраны, знающие как лить органический трафик на офферы, от него без ума.
Другое решение – Keitaro. Хотя анти-спай функция у этого трекера не реализована в полной мере, его возможностей достаточно для сокрытия от конкурентов лендингов, креативов и, конечно же, бэклинков.
2 неактуальных способа сокрытия ссылок и PBN-сеток
Есть и другие способы закрытия бэклинков от чужих глаз. Но они малоэффективны.
- Просто ставим запрет в файле Robots.txt. Но помним, что это лишь рекомендация ботам, а не правило. Кроме того, многие боты сервисов не исполняют директивы роботса. Пример закрытия бэклинков в файле Robots.txt, с использованием директивы User-agent и Disallow.
- Устанавливаем плагины. Эти расширения помогают интегрировать некоторые дополнительные функции WP. Все ставится на автомат, и вручную делать ничего не надо (кроме загрузки и настройки). Есть два модуля, способных закрыть доступ ботам к базе данных ваших обратных ссылок: Spyder Spanker (премиум) и Link Privacy (бесплатное решение). Однако все здесь также, как и в случае с robots.txt.
Заключение
Закрывайте ваши обратные ссылки от конкурентов, если не хотите подарить свою рабочую схему продвижения всем желающим. Способы, как это сделать, описаны выше.
Чтобы не дать им возможности обогнать вас в поисковой выдаче или завалить, используя «грязные» приемчики.
С помощью htaccess, анти-spy, плагинов или robots.txt.
Да могут. Поэтому лучше пользоваться трекером, база которого часто обновляется.
В современных условиях на 100% вряд ли. Конкуренты тоже не спят и придумывают новые решения.
