| LSD | Дата: Воскресенье, 21.08.2011, 01:42 | Сообщение # 1
|
 Легенда Зоны
Группа: Администраторы
Сообщений: 619
Статус:  | Как запретить индексацию сайта поисковыми системами
Ранее мы рассмотрели методы как ускорить индексацию сайта поисковыми системами. Не смотря на то, что все вебмастера хотят как можно более быстрой и полной индексации сайта существуют случаи когда нужно закрыть сайт от индексации ПС. Что это за случаи? Как правило возникает необходимость закрыть от индексации некоторые служебные части сайта. Это может быть админская часть, страницы регистраций и профилей пользователей, разные формы для ввода информации и т.д. Иногда есть скрытые или секретные разделы сайта которые так же не должны попасть в индекс поисковых систем. В некоторых случаях нужно закрыть от ПС не всю страницу, а часть, например одну ссылку или абзац текста.
Поэтому я условно разделяю два вида запрета индексации сайта - запрет индексации страниц (разделов) сайта и запрет индексации части страницы.
Запрет индексации сайта в robots.txt
Сначала рассмотрим как запретить индексацию страниц сайта. Лучше всего это делать через специальный файл robots.txt. Он предназначен для указания поисковым системам инструкций по индексации сайта. Делается он с блокноте Windows и сохраняется c именем robots и расширением txt. В нем прописываются нужные указания и файл помещается в корневую директорию сайта. У одного сайта может быть только один файл robots.txt. Я уже писал про файл robots.txt и потому повторяться не буду, напомню лишь как запретить индексацию сайта в robots.txt.
User-agent: *
Disallow: /file.html
Disallow: /papka/
Где, * - указывает что инструкции для всех поисковых систем
Disallow: /file.html – запрещает индексацию файла file.html
Disallow: /papka/ - запрещает индексацию всех файлов папки papka
Запрещаем индексацию сайта через мета-тег robots
При помощи мета-тега robots можно управлять индексацией конкретной страницы сайта. Данный мета-тег дает указания по индексации страницы ботам всех поисковых систем. Тут нельзя прописать инструкцию для робота конкретной поисковой системы. Как и все мета-теги, он располагается в заголовке документа между тегами <head> </head>. Формат записи такой:
<meta name="robots" content="noindex, nofollow">
Через атрибут content могут быть заданы следующие условия:
index – разрешает индексировать данную страницу сайта;
noindex – запрещает индексировать данную страницу сайта;
follow – разрешает индексировать ссылки на данной странице;
nofollow – запрещает индексировать ссылки на данной странице;
all – включает в себя сразу index и follow (разрешает индексировать и страницу и ссылки);
none – включает noindex и nofollow (запрещает индексировать и страницу и ссылки).
Запрет индексации ссылки через инструкцию rel
Инструкция rel учитывается не всеми поисковыми системами. При ее помощи можно закрыть ссылку от индексации в Google и Yahoo. А вот наш любимый Яндекс ее игнорирует. Формат записи:
<a href=http://site.ru rel="nofollow">ссылка</a>
Такую конструкцию часто используют когда не хотят что бы ссылке передавался ссылочный вес, а так же Google PageRank на ссылаемый сайт.
Запрет индексации части страницы через тег <noindex>
Тег <noindex> дает возможность запретить часть страницы, причем это может быть как текст, так и ссылки или скрипты. Формат записи:
<noindex>
тут ссылка или часть страницы которую вы хотите закрыть от индексации
</noindex>
Если инструкцию rel слушаются такие поисковики как Гугл и Яху, то тег ноиндекс применяют когда хотят закрыть индексацию от Yandex и Rambler. Часто этим тегом закрывают нежелательные к индексации ссылки и коды счетчиков и рейтингов.
|
| |
| |
