Особенности применения тега noindex и атрибута nofollow для закрытия от индексации текста или ссылки

В последнее время среди вебмастеров значительно увеличилось количество обсуждений и, естесственно, задаваемых вопросов по корректному применению тега noindex и атрибута nofollow для скрытия от индексации текста и ссылки.

Данная тема возникла не в последнюю очередь из-за текущих изменений в подходе поисковых систем к оцениванию ссылок, имеющих отношение к тому или иному веб-ресурсу.

Попытаюсь внести и свою лепту в ответы на указанные вопросы. Вначале давайте попробуем разобраться с тегом noindex (прошу учесть, что это совершенно не указывает на то, что он "важнее", чем атрибут nofollow).

Как поисковые системы воспринимают тег noindex

Говоря о введенном Яндексом теге noindex, следует обратить внимание на то, что существует две разновидности последнего: мета-тег noindex и обычный тег noindex. Причем, задачи они решают разные.

Обще-употребляемый мета-тег noindex служит для запрета индексации всей страницы (прописывается в файле robots.txt), а тег noindex от Яндекс — для запрета определенных участков контекста, html-кодов счетчиков, форм подписок и рассылок, баннеров и информации из сайдбаров, часто меняющееся текстовое наполнение и т.д.

Обычный тег noindex  закроет от индексации только тот участок текста или html-кода, который будет находиться между его открывающим и закрывающим тэгами:

<noindex>текст или  код, который не “видит” Яндекс </noindex>

Если до недавнего времени тег noindex применялся Яндексом для запрета индексации и ссылок, то теперь этого уже нет – для закрытия индексации ссылок используется только атрибут rel=”nofollow” тега а, который воспринимается большинством поисковых систем. Поэтому, если вы закроете ссылку в тег noindex, то закрытым от индексации окажется только якорный текст данной ссылки, что не принесет вам никакой пользы.

Служба поддержки Яндекса подтвердила вышеприведенную информацию. Для роботов Яндекса тег и мета-тег noindex запрещают индексировать контент, но не запрещают индексацию ссылок, в то время, как атрибут nofollow запрещает индексировать ссылки, в которых он присутствует. Поэтому, именно атрибут nofollow следует применять для запрета индексации тех или иных внешних ссылок, причем, данное высказывание относится ко всем поисковым системам, а не только к Яндексу.

Рекомендации Яндекс по применения тега noindex

Для запрета индексирования служебных участков текста вы можете использовать тег noindex. Тег работает аналогично мета-тегу noindex, но распространяется только на контент, заключенный внутри тега в формате:

<noindex>текст, индексирование которого нужно запретить</noindex>

Тег noindex не чувствителен к вложенности (может находиться в любом месте html-кода страницы). Чтобы сделать код сайта валидным, следует использовать тег в следующем формате:

<!—noindex—>текст, индексирование которого нужно запретить<!—/noindex—>

Как Google воспринимает атрибут nofollow

Атрибут nofollow предоставляет вебмастеру возможность предупредить поисковые системы о том, чтобы они не индексировали либо все, либо только конкретные ссылки на той или иной странице. Изначально атрибут nofollow использовался, чтобы указывать поисковым системам, на каких страницах не индексировать любые исходящие ссылки. Например:

<meta name="robots" content="nofollow" />

До того, как атрибут nofollow начал использоваться в нынешнем качестве, запрещение роботам индексации отдельных ссылок на странице был довольно трудоемким делом (например, требовалось перенаправление такой ссылки на URL, заблокированный в файле robots.txt).

Теперь использование атрибута nofollow дает вебмастерам более простой инструмент: вместо того чтобы говорить поисковым системам и роботам, чтобы они не индексировали все ссылки на странице, он позволяет легко поручить роботам не индексировать только определенные ссылки. Например:

<a href="http://mysite.ru" rel="nofollow">якорный текст</a>

Google не передает PageRank (вес ссылки) или содержание якорного текста через эти ссылки. По сути, использование атрибута nofollow приводит к тому, что определенные ссылки не индексируются. Однако, страницы со ссылками, содержащими атрибут nofollow, все равно могут появиться в индексе, если другие сайты ссылаются на них без указания атрибута nofollow  или, если их URL-адреса были переданы Google в файле Sitemap. Кроме того, важно отметить, что другие поисковые системы могут интерпретировать наличие атрибута nofollow по-другому.

 

Некоторые особенности использования атрибута nofollow

Ниже приведены некоторые возможные варианты применения данного атрибута.

Подозрительный контент

Если вы не можете или не хотите передать часть своего PR странице, на которую ведет ссылка с вашего сайта (например, если такие ссылки расположены в не вызывающих доверия комментариях пользователей или записях в гостевой книге), то вы должны закрывать от индексации подобные ссылки. Это может послужить препятствием для использования спамерами вашего сайта для улучшения их рейтинга и поможет сохранить ваш вебресурс от непреднамеренной передачи значения PageRank недобросовестным конкурентам.

В частности, спамеры, использующие комментарии для своих целей, могут перестать использовать ваш сайт или блог, если они увидят, что вызывающие подозрение ссылки закрываются от индексации. Если же вы захотите, выделить какую-то ссылку, ведущую на действительно ценную информацию, то можете удалить с нее атрибут nofollow и она будет проиндексирована.  

Платные ссылки

Рейтинг сайта в результатах поиска Google отчасти основывается на анализе тех сайтов, которые ссылаются на него. Чтобы платные ссылки не оказывали отрицательного воздействия на результаты поисковой выдачи и негативного влияния на пользователей, Google настоятельно рекомендует вебмастерам использовать для таких ссылок атрибут nofollow.

Условия использования поисковых систем предусматривают, что вебмастера должны раскрывать перед роботами наличие платных ссылок на страницах принадлежащих им вебресурсов, таким же образом, как потребителям онлайн и оффлайн производители и продавцы обязаны раскрывать платные взаимоотношения (например, в полностраничной газете объявлений должно присутствовать слово «Реклама»).

Приоритеты индексации

Роботы поисковых систем не могут войти или зарегистрироваться в качестве члена вашего форума, например, поэтому нет никаких оснований запрещать Googlebot индексировать «регистрация» или «войти в …» ссылки. Использование атрибута nofollow для таких ссылок запрещает роботу Googlebot сканировать другие страницы, которые вы предпочли бы видеть в индексе Google.

Однако, удобная структура расположения информации, интуитивно понятная навигация по сайту, понятные для пользователей и поисковых систем URL-адреса и так далее — может быть гораздо более продуктивным использованием ресурсов, чем концентрация на запрещении индексации посредством атрибута nofollow.

Также атрибут может быть использован для уменьшении количества исходящих ссылок, в том случае,  когда на той или иной странице расположилось большое количество внутренних и внешних ссылок. Важно не перестараться, т.к. закрыв от индексации все ссылки, можно снизить доверие поисковых систем к сайту. Все хорошо в меру. Оставив одну-две ссылки на странице, вы много веса не отдадите.

На этом ставлю точку. Надеюсь, приведенная выше информация окажется полезной в вашей работе. Удачи!

 

 

 

Комментарии 0

Оставить комментарий

Ваш email не будет опубликован.