Noindex и Nofollow для поисковых систем

Основной задачей поисковой системы является наиболее полное информирование пользователя по интересующему его запросу. Эта задача в условиях постоянно меняющейся сети интернет решается с помощью все более четкого анализа текста страниц и подавлением спама.

Второй задачей поисковой системы является быстрое обновление изменений сети с целью выдачи пользователю наиболее свежой информации. Эта задача частично лежит на плечах вебмастеров - поисковые системы рекомендуют скрывать разделы и страницы сайта, не несущие информационной ценности. Для управления роботом поисковой системы специально были введены теги noindex и nofollow, позволяющие закрывать содержимое, которое вебмастер не хочет “отдавать” роботу.

Для Яндекса используется тег noindex. Этот тег можно разместить в HTML коде страницы с целью закрытия частей контента.

2)части контента (включая тексты ссылок меню и пр.), мешающие ранжированию страницы по ключевым словам из текста

Пример: как известно, Яндекс считает страницу релевантной по тому или иному запросу в зависимости от самых часто употребляемых слов на странице.

Предположим, у нас текст про Овечкина и предполагается, что страница будет хорошо ранжироваться по запросу “Овечкин”. При этом на этой же странице есть навигационное меню, в котором такие пункты: “новости футбола”, “новости хоккея” и т.д. Кроме этого, у нас на странице есть текстовые ссылки “добавить новость в блог” и “печатная версия новости”. Количество вхождений слова Овечкин - 5 и примерно такое же - у слова “новости”.

В этом случае Яндекс не будет хорошо ранжировать страницу по слову “овечкин”, но будет выдавать по запросу “овечкин новости”. Страница теряет трафик.

Для того, чтобы страница была релевантна запросу “Овечкин”, необходимо с помощью тега noindex скрыть упоминания слова “новости” до такого количества, после которого это слово не будет считаться Яндексом значимым для этого документа.

Для Google с помощью тега noindex можно управлять индексацией целых страниц, подставляя это значение в <head> кода html вот так: <meta name=”robots” content=”noindex”>. Такое правило “понимает” и Яндекс.

Дело в том, что файл robots.txt доступен каждому пользователю. Если есть задача скрыть админку или другие файлы, о которых не должны знать любопытные пользователи, то рекомендуется закрывать такие страницы с помощью noindex.

Атрибут Nofollow тега <a href> используется только поисковой системой Google. Атрибут Nofollow является заявлением автора сайта о том, что роботу Google не стоит переходить по этой ссылке. Этот тег используется в случае, если автор не уверен в качестве линков, ведущих с его сайта.

Кроме этого, nofollow может использоваться в <head> кода html страницы вот так: <meta name=”robots” content=”nofollow”>. Эта конструкция означает, что автор не рекомендует роботу переходить по ссылкам на этой странице.