Показать Меню
falbar Запрет индексации

О том, как запретить индексацию тегами и атрибутами

Запрет индексации

Настроить правильную индексацию сайта помогает robots.txt, но иногда закрыть от индексации необходимо отдельные куски страницы, либо только ссылки, либо часть ссылок закрыть, а часть оставить – использовать robots.txt в этих случаях крайне неудобно. Причем, записывая сложное правило легко совершить ошибку, а ошибка в robots.txt негативно скажется на всём сайте. Решение проблемы – использовать мета теги и атрибуты.

Начнем, пожалуй, с мета-тегов с атребутом name="robots". С их помощью можно явно указать на необходимость индексирования страницы или же на запрет:

  • <meta name="robots" content="all" /> — разрешаем индексировать как текст, так и все ссылки на странице, аналогичная запись <meta name="robots" content="index, follow" />;
  • <meta name="robots" content="noindex" /> — закрываем от индексации весь текст на странице;
  • <meta name="robots" content="nofollow" /> — запрещаем переходы по всем ссылкам на странице, следовательно: вес по ним перетекать не будет. Если необходимо открыть только некоторые ссылки, то к ним можно дописать атребут rel="follow";
  • <meta name="robots" content="none" /> — полная противоположность content="all";
  • <meta name="robots" content="noarchive" /> — довольно интересная опция, как известно Яндекс на своих серверах хранит копии ресурсов, которые может затем показывать, если ресурс по каким-либо причинам недоступен, или же у Вас возникло желание взглянуть на сохраненную копию. Ну так вот, запретить хранить копию мы не можем, но выразить свое желание не показывать на неё ссылку можно использовав этот мета-тег. Для чего нужно? Самое простое: чтобы не краснеть, если вдруг в копию попала страница во время её отладки;
  • <meta name="robots" content="noyaca" /> — запрещаем использовать описание из Яндекс каталога. Если Вы счастливчик и ваш сайт уже попал в каталог, то возможно Вам и пригодится, когда-нибудь;
  • <meta name="robots" content="noodp" /> — тоже самое, только каталог DMOZ.

Всю страницу прикрывать научились, да вот незадача – скрыть нужно только, скажем, абзац текста очень хороший и складный, да только «стыренный» с одного ну уж очень хорошего блога. Яндекс, на мой взгляд, оказывает в этом случае просто неоценимую услугу – тег <noindex>. Опознается он только роботами и никак не влияет на структуру страницы. Более того, его можно скрыть в комментарии и добиться полной валидности кода!

<!--noindex-->не очешь «честный» контент<!--/noindex-->

Но главная задумка все же состоит в закрытии от индексирования ссылок. Одно время ссылки имели просто колоссальное влияние на ранжирование страниц, и за пузомерки разыгрывалась нешуточная битва. А жадность ведь не позволяет нам «за просто так» ставить ссылку на кого-то там, даже если мы и воспользовались его контентом. Поисковики и тут пошли нам на встречу: ловите атрибут для ссылок rel="nofollow".

<a href="адрес_страницы" rel="nofollow">текст ссылки</a>

Хотя, на мой взгляд, это была вынужденная мера. Иначе бы мы столкнулись просто с невообразимым «клоакингом» и чудовищными ajax-ухищрениями.

А вот и палочка-выручалочка для ряда случаев: атрибут rel="canonical" тега <link>. Очень полезная вещь, просто спасает, когда есть несколько страниц со схожим контентом и есть опасность, что поисковики их воспримут как дубли. Просто указываем явно каноническую страницу и дальше спим крепким и здоровым сном.

<link rel="canonical" href="http://www.falbar.ru/services" />

Однако следует помнить:

  • данный атрибут имеет рекомендательный характер, и если по каким-либо причинам ссылка на каноническую страницу не сработает – роботом учитываться не будет;
  • также не будет работать, если ссылка будет вести на другой домен или поддомен, или Вы случайно укажите несколько ссылок.

Подписаться на обновления

Комментариев еще не оставлено