Google Crawl rel: "nofollow" вообще?

1. гипотеза
2. методология
3. Результаты
4. Заключение

Добавление тега rel = ”nofollow” к внутренним ссылкам было очень распространенной практикой еще в «мрачные дни» SEO, когда ссылки на каталоги, вращение статей и якорные тексты, богатые ключевыми словами, были в моде. Тег nofollow может быть использован для предотвращения сканирования и передачи Google PageRank на страницы сайта, которые не являются центральными для производительности SEO, и, в свою очередь, гарантируют, что более ценные страницы получат большую долю полномочий.

«Скульптура PageRank» - это термин, который был придуман для описания процесса манипулирования способом распределения PageRank по всему сайту. Цель этой манипуляции состояла в том, чтобы гарантировать, что самые ценные целевые страницы кампании SEO получили наибольшую долю авторитета ссылок. Тем не менее, примерно в 2008/2009 году Google пресек это, изменив способ распределения PageRank по ссылкам на странице.

Предварительное изменение : в самых простых терминах, если у вас было десять ссылок на страницу, то каждая ссылка получала бы одну десятую прав доступа к этой странице. Если вы примените тег nofollow к пяти из этих ссылок, то оставшиеся пять получат одну пятую прав доступа к ссылкам (другими словами, полномочия ссылок nofollow будут перераспределены на остальные ссылки)

После изменения : это уже не так, поскольку любой орган, ссылающийся на ссылки nofollow, просто теряется и не перенаправляется.

Это изменение полностью убило процесс скульптинга PageRank, поскольку веб-мастера больше не могли контролировать поток ссылок на своем веб-сайте с помощью тега nofollow. В результате было бы легко подумать, что нет никаких причин для использования внутреннего тега nofollow.

гипотеза

Тег nofollow всегда использовался как способ сказать Google: «Не передавайте полномочия ссылки через эту ссылку», и именно поэтому он стал таким мощным инструментом для внутреннего использования. Тем не менее, Google никогда не было ясно, сканирует ли она ссылку, чтобы обнаружить новый контент. Если этого не произойдет, то это может означать, что rel = nofollow по-прежнему является очень мощным инструментом для внутреннего использования, чтобы максимизировать производительность SEO.

Официальная позиция Google по этому вопросу такова:

Но это довольно неоднозначно - фактически не говорится, будет ли обнаружен контент, связанный с тегом nofollow.

Кроме того, Рэнд Фишкин поделился своим мнением в Moz Whiteboard Пятница что Google сканирует эти ссылки:

Мы были заинтригованы, поэтому решили провести небольшой эксперимент. Здесь, в поисковой лаборатории, мы постоянно проверяем теорию SEO, чтобы наши клиенты получали наилучшие рекомендации для повышения эффективности органического поиска.

методология

Наш тест начал с создания двух совершенно новых веб-сайтов с помощью простой установки WordPress. Затем мы проанализировали их журналы сканирования, чтобы определить, может ли поисковая система находить контент за ссылками nofollow. Следующий метод был использован на двух сайтах, чтобы получить больший размер выборки и статистически значимые результаты:

1. Заблокируйте сайт для поисковых роботов, прежде чем начинать тестирование. Мы не хотели, чтобы какие-либо действия по предварительному сканированию искажали наши результаты
2. Настройте три страницы - домашнюю страницу, вторую страницу (страница B) и третью страницу (страница C)
3. Создайте ссылку с домашней страницы на страницу B и примените тег rel = ”nofollow”
4. Создайте ссылку с домашней страницы на страницу C без тега rel = ”nofollow” (это было сделано для того, чтобы Google действительно сканировал дальше, чем домашняя страница)
5. Разблокируйте сайт и откройте его для сканеров поисковых систем:
   1. Удалите команду Disallow: / из robots.txt
   2. Используйте команду «Получить из Google» в консоли поиска Google - выберите «Сканировать только этот URL», чтобы убедиться, что Google найдет ссылку nofollow естественным образом, и мы не поможем ей

1. Мониторинг активности робота Googlebot на сайте с использованием файлов журнала необработанного доступа

Результаты

После десяти дней сканирования мы не увидели активности сканирования на странице B, несмотря на многочисленные обращения к файлу robots.txt, домашней странице и странице C. Мы немного скептически отнеслись к тому, что Google, возможно, просто не обнаружил ссылку на страницу B, поэтому мы пошли вернитесь в консоль поиска Google, чтобы снова использовать функцию «Получить как Google». На этот раз мы сказали Google: «Просканируйте этот URL и его прямые ссылки», не оставляя камня на камне:

Затем мы собрали данные сканирования за месяц, чтобы действительно определить, сканирует ли Google наш связанный с nofollow контент:

САЙТ 1

robots.txt 113 Домашняя страница 69 / page-b / 0 / page-c / 8

САЙТ 2

URLCrawl instances

robots.txt 75 Домашняя страница 39 / page-b / 0 / page-c / 4

Заключение

Из этого теста мы извлекли то, что Google будет полностью соблюдать тег nofollow при его внутреннем использовании и не будет использовать его для обнаружения контента. Это имеет огромное значение для веб-мастеров, так как они могут использовать эту функцию, чтобы урезать бюджет сканирования на своем сайте. Это особенно актуально для веб-сайтов, использующих многогранную навигацию, которая может быть настоящей коробкой сканирования и обнаружения контента Pandora, если она не обрабатывается правильно.

Используете ли вы теги nofollow на вашем сайте? Дайте нам знать, что вы думаете об этом, учитывая наши новые выводы.

Джейми Уайт является главой технического SEO в Лаборатория поиска , Джейми более шести лет проработал в SEO в ряде ведущих британских цифровых агентств и присоединился к Search Laboratory в 2013 году. Следуйте за ним @ jammy8891 в Твиттере.

Похожие

Комментарии