Настроить правильную индексацию сайта помогает robots.txt, но иногда закрыть от индексации необходимо отдельные куски страницы, либо только ссылки, либо часть ссылок закрыть, а часть оставить – использовать robots.txt в этих случаях крайне неудобно. Причем, записывая сложное правило легко совершить ошибку, а ошибка в robots.txt негативно скажется на всём сайте. Решение проблемы – использовать мета теги и атрибуты.
Начнем, пожалуй, с мета-тегов с атребутом name=robots. С их помощью можно явно указать на необходимость индексирования страницы или же на запрет:
<meta name="robots" content="all" /><meta name="robots" content="all" />
<meta name="robots" content="all" />
<meta name="robots" content="all" />
<meta name="robots" content="all" />
<meta name="robots" content="all" />
<meta name="robots" content="all" />
<meta name="robots" content="all" />
Всю страницу прикрывать научились, да вот незадача – скрыть нужно только, скажем, абзац текста очень хороший и складный, да только «стыренный» с одного ну уж очень хорошего блога. Яндекс, на мой взгляд, оказывает в этом случае просто неоценимую услугу – тег noindex. Опознается он только роботами и никак не влияет на структуру страницы. Более того, его можно скрыть в комментарии и добиться полной валидности кода!
<!--noindex-->не очешь «честный» контент<!--/noindex-->
Но главная задумка все же состоит в закрытии от индексирования ссылок. Одно время ссылки имели просто колоссальное влияние на ранжирование страниц, и за пузомерки разыгрывалась нешуточная битва. А жадность ведь не позволяет нам «за просто так» ставить ссылку на кого-то там, даже если мы и воспользовались его контентом. Поисковики и тут пошли нам на встречу: ловите атрибут для ссылок rel=nofollow.
<a href="адрес_страницы" rel="nofollow">текст ссылки</a>
Хотя, на мой взгляд, это была вынужденная мера. Иначе бы мы столкнулись просто с невообразимым «клоакингом» и чудовищными ajax-ухищрениями.
А вот и палочка-выручалочка для ряда случаев: атрибут rel=canonical тега link. Очень полезная вещь, просто спасает, когда есть несколько страниц со схожим контентом и есть опасность, что поисковики их воспримут как дубли. Просто указываем явно каноническую страницу и дальше спим крепким и здоровым сном.
<link rel="canonical" href="http://www.falbar.ru/services" />
Однако следует помнить:
- Данный атрибут имеет рекомендательный характер, и если по каким-либо причинам ссылка на каноническую страницу не сработает – роботом учитываться не будет;
- Также не будет работать, если ссылка будет вести на другой домен или поддомен, или вы случайно укажите несколько ссылок.