О том, как запретить индексацию тегами и атрибутами

4 июля 2015 ti1schweiger 996 0

Настроить правильную индексацию сайта помогает robots.txt, но иногда закрыть от индексации необходимо отдельные куски страницы, либо только ссылки, либо часть ссылок закрыть, а часть оставить – использовать robots.txt в этих случаях крайне неудобно. Причем, записывая сложное правило легко совершить ошибку, а ошибка в robots.txt негативно скажется на всём сайте. Решение проблемы – использовать мета теги и атрибуты.

Реклама

Начнем, пожалуй, с мета-тегов с атребутом name=robots. С их помощью можно явно указать на необходимость индексирования страницы или же на запрет:

  • <meta name="robots" content="all" /> — разрешаем индексировать как текст, так и все ссылки на странице, аналогичная запись <meta name="robots" content="all" />;
  • <meta name="robots" content="all" /> — закрываем от индексации весь текст на странице;
  • <meta name="robots" content="all" /> — запрещаем переходы по всем ссылкам на странице, следовательно: вес по ним перетекать не будет. Если необходимо открыть только некоторые ссылки, то к ним можно дописать атребут rel=follow;
  • <meta name="robots" content="all" /> — полная противоположность content=all;
  • <meta name="robots" content="all" /> — довольно интересная опция, как известно Яндекс на своих серверах хранит копии ресурсов, которые может затем показывать, если ресурс по каким-либо причинам недоступен, или же у вас возникло желание взглянуть на сохраненную копию. Ну так вот, запретить хранить копию мы не можем, но выразить свое желание не показывать на неё ссылку можно использовав этот мета-тег. Для чего нужно? Самое простое: чтобы не краснеть, если вдруг в копию попала страница во время её отладки;
  • <meta name="robots" content="all" /> — запрещаем использовать описание из Яндекс каталога. Если вы счастливчик и ваш сайт уже попал в каталог, то возможно вам и пригодится, когда-нибудь;
  • <meta name="robots" content="all" /> — тоже самое, только каталог DMOZ.

Всю страницу прикрывать научились, да вот незадача – скрыть нужно только, скажем, абзац текста очень хороший и складный, да только «стыренный» с одного ну уж очень хорошего блога. Яндекс, на мой взгляд, оказывает в этом случае просто неоценимую услугу – тег noindex. Опознается он только роботами и никак не влияет на структуру страницы. Более того, его можно скрыть в комментарии и добиться полной валидности кода!

<!--noindex-->не очешь «честный» контент<!--/noindex-->

Но главная задумка все же состоит в закрытии от индексирования ссылок. Одно время ссылки имели просто колоссальное влияние на ранжирование страниц, и за пузомерки разыгрывалась нешуточная битва. А жадность ведь не позволяет нам «за просто так» ставить ссылку на кого-то там, даже если мы и воспользовались его контентом. Поисковики и тут пошли нам на встречу: ловите атрибут для ссылок rel=nofollow.

<a href="адрес_страницы" rel="nofollow">текст ссылки</a>

Хотя, на мой взгляд, это была вынужденная мера. Иначе бы мы столкнулись просто с невообразимым «клоакингом» и чудовищными ajax-ухищрениями.

А вот и палочка-выручалочка для ряда случаев: атрибут rel=canonical тега link. Очень полезная вещь, просто спасает, когда есть несколько страниц со схожим контентом и есть опасность, что поисковики их воспримут как дубли. Просто указываем явно каноническую страницу и дальше спим крепким и здоровым сном.

<link rel="canonical" href="http://www.falbar.ru/services" />

Однако следует помнить:

  • Данный атрибут имеет рекомендательный характер, и если по каким-либо причинам ссылка на каноническую страницу не сработает – роботом учитываться не будет;
  • Также не будет работать, если ссылка будет вести на другой домен или поддомен, или вы случайно укажите несколько ссылок.
Реклама
Комментариев еще не оставлено
no_avatar
Читайте далее

SMTP сервер для отправки писем с сайта если функция mail не работает

9 апреля 2016 Антон Кулешов

Довольно распространенное явление на просторах бесплатных хостингов – когда не работает функция mail() или работает как-то странно. Что же делать в этом случае? Ответ простой - воспользоваться отправкой писем через SMTP протокол, но для этого нам нужен уже готовый и написанный код. Совсем недавно подключая доменную почту на falbar, я сделал «маленькую выжимку из поисковой выдачи» и не найдя подходящего решения написал собственный класс, который, я думаю, будет полезен не только мне.

Социальные кнопки поделиться – пишем сами

3 мая 2015 Антон Кулешов

С ростом популярности социальных сетей и сервисов кнопки поделиться прочно укоренились на страницах большинства сайтов. Имея свою колонку на «Фейсбуке» или «Вконтакте», человек волей-неволей собирает на неё интересующий его материал, так почему бы не предложить ему поделиться статьёй и с нашего сайта. Для этих целей сегодня мы и попытаемся реализовать функционал кнопок поделиться для основных соцсетей.

Как сделать всплывающие подсказки, разбираемся с WebUI Popover

14 января 2015 Антон Кулешов

В сегодняшней статье я хочу рассмотреть тему, которая появилась еще во время зарождения первых пользовательских интерфейсов, в частности Windows 3.11 (если кто помнит), и прочно закрепилась во всех приложениях, нацеленных на работу с пользователем – всплывающие подсказки.