О том, как запретить индексацию тегами и атрибутами

4 июля 2015 ti1schweiger 1008 0

Настроить правильную индексацию сайта помогает robots.txt, но иногда закрыть от индексации необходимо отдельные куски страницы, либо только ссылки, либо часть ссылок закрыть, а часть оставить – использовать robots.txt в этих случаях крайне неудобно. Причем, записывая сложное правило легко совершить ошибку, а ошибка в robots.txt негативно скажется на всём сайте. Решение проблемы – использовать мета теги и атрибуты.

Реклама

Начнем, пожалуй, с мета-тегов с атребутом name=robots. С их помощью можно явно указать на необходимость индексирования страницы или же на запрет:

  • <meta name="robots" content="all" /> — разрешаем индексировать как текст, так и все ссылки на странице, аналогичная запись <meta name="robots" content="all" />;
  • <meta name="robots" content="all" /> — закрываем от индексации весь текст на странице;
  • <meta name="robots" content="all" /> — запрещаем переходы по всем ссылкам на странице, следовательно: вес по ним перетекать не будет. Если необходимо открыть только некоторые ссылки, то к ним можно дописать атребут rel=follow;
  • <meta name="robots" content="all" /> — полная противоположность content=all;
  • <meta name="robots" content="all" /> — довольно интересная опция, как известно Яндекс на своих серверах хранит копии ресурсов, которые может затем показывать, если ресурс по каким-либо причинам недоступен, или же у вас возникло желание взглянуть на сохраненную копию. Ну так вот, запретить хранить копию мы не можем, но выразить свое желание не показывать на неё ссылку можно использовав этот мета-тег. Для чего нужно? Самое простое: чтобы не краснеть, если вдруг в копию попала страница во время её отладки;
  • <meta name="robots" content="all" /> — запрещаем использовать описание из Яндекс каталога. Если вы счастливчик и ваш сайт уже попал в каталог, то возможно вам и пригодится, когда-нибудь;
  • <meta name="robots" content="all" /> — тоже самое, только каталог DMOZ.

Всю страницу прикрывать научились, да вот незадача – скрыть нужно только, скажем, абзац текста очень хороший и складный, да только «стыренный» с одного ну уж очень хорошего блога. Яндекс, на мой взгляд, оказывает в этом случае просто неоценимую услугу – тег noindex. Опознается он только роботами и никак не влияет на структуру страницы. Более того, его можно скрыть в комментарии и добиться полной валидности кода!

<!--noindex-->не очешь «честный» контент<!--/noindex-->

Но главная задумка все же состоит в закрытии от индексирования ссылок. Одно время ссылки имели просто колоссальное влияние на ранжирование страниц, и за пузомерки разыгрывалась нешуточная битва. А жадность ведь не позволяет нам «за просто так» ставить ссылку на кого-то там, даже если мы и воспользовались его контентом. Поисковики и тут пошли нам на встречу: ловите атрибут для ссылок rel=nofollow.

<a href="адрес_страницы" rel="nofollow">текст ссылки</a>

Хотя, на мой взгляд, это была вынужденная мера. Иначе бы мы столкнулись просто с невообразимым «клоакингом» и чудовищными ajax-ухищрениями.

А вот и палочка-выручалочка для ряда случаев: атрибут rel=canonical тега link. Очень полезная вещь, просто спасает, когда есть несколько страниц со схожим контентом и есть опасность, что поисковики их воспримут как дубли. Просто указываем явно каноническую страницу и дальше спим крепким и здоровым сном.

<link rel="canonical" href="http://www.falbar.ru/services" />

Однако следует помнить:

  • Данный атрибут имеет рекомендательный характер, и если по каким-либо причинам ссылка на каноническую страницу не сработает – роботом учитываться не будет;
  • Также не будет работать, если ссылка будет вести на другой домен или поддомен, или вы случайно укажите несколько ссылок.
Реклама
Комментариев еще не оставлено
no_avatar
Читайте далее

Часы на JavaScript

21 июля 2014 Антон Кулешов

Часы являются одним из простых скриптов, но, одновременно с тем, и наиболее часто используемым для сайта. На его основе можно сделать различные таймеры, а также анимацию, зависящую от времени. Сегодня я расскажу, как сделать часы на JavaScript двумя способами.

Lightbox от falbar или falbox

20 октября 2015 Антон Кулешов

Совсем недавно, занимаясь внутренним обновлением сайта, я заметил, что в некоторых статьях есть картинки большей ширины, чем сам блок с контентом. Конечно, визуальному восприятию это не мешало, тем более что, я заранее старался подгонять картинки так, чтобы текст на них оставался читаемым. Однако, заглядывая в будущее, я решил, что возможность увеличения изображения для детального его рассмотрения будет весьма кстати даже на моём скромном сайте. Поэтому я написал функциональный lightbox с элементами слайдера и галереи, которым и решил поделиться в этой статье.

Случайный вывод картинок при помощи PHP

21 декабря 2014 Антон Кулешов

Сегодняшняя статья о том, как сделать вывод случайного изображения из папки, используя PHP скрипт. Данный функционал будет весьма полезен, когда кроме основной картинки пользователю необходимо показать еще несколько изображений. Реализовывать подборку изображений вручную для каждой страницы сайта, согласитесь, нерационально.