Google+ Followers

Будь в курсе событий!

31.03.2012

Как писать файл robots. txt

Leave a Comment
Файл  robots.txt автоматически создается для каждого блога. Увидеть его можно по адресу  http://адрес_блога/robots.txt.
файл robots.txt
В этом файле, предназначенном для облегчения работы поисковых систем, находится список страниц, которые поисковику индексировать не надо. По умолчанию же стоит разрешение на сканирование всех страниц блога. Из-за этого, как я уже писала в посте о дублировании страниц, возникают повторы - страницы с одинаковым содержанием, но с разными адресами: из архива, из списка ярлыков, популярных сообщений и проч.
Также в нем можно запретить сканировать и страницу блога с содержанием, которое является внутренним и не должно попасть в поисковик.

Чтобы это сделать, надо поправить файл  robots.txt.
Доступ к нему возможен из панели управления на Блоггере:  "Настройки" - "Настройки поиска" - "Поисковые роботы и индексация" -  "Пользовательский файл robots.txt".

Вот как выглядит этот файл по-умолчанию:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://адрес_блога/feeds/posts/default?orderby=updated (по-умолчанию карта сайта берется из RSS).
Allow: / означает, что все содержание блога открыто для сканирования поисковой системой.

На сайте "Шпаргалка блогера" http://shpargalkablog.ru/2010/07/kontent.html советуют закрыть блог для сканирования, а отдельно выписать страницы, сканировать которые нужно:

User-agent: Mediapartners-Google
Disallow:
User-agent: * 
Disallow: /                (не разрешает сканировать блог)
Allow: /*.html$ #      (разрешает сканировать статичные страницы)
Allow: /$ #               (разрешает сканировать Главную страницу)
Sitemap: http://адрес_блога/feeds/posts/default?orderby=updated  (карта сайта берется из RSS)

Другой вариант (взято из блога Seo Блогспот):
перечисляет все страницы, сканировать которые не нужно:

User-agent: Mediapartners-Google
Disallow: /search/
 Disallow: /search/label/        (запрещает сканировать ярлыки)
 Disallow: /*archive.html      (запрещает сканировать архив)
 Allow: /
 Sitemap: http://адрес_блога/feeds/posts/default?orderby=updated
 User-agent: Yandex       (почему-то прописано для Яндекса отдельно)
 Disallow: /search/
 Disallow: /search/label/
 Disallow: /*archive.html
 Allow: /

Надо заметить, что по некоторым данным, файл  robots.txt является рекомендательным, но не строго обязательным для поисковика. И иногда страницы, запрещенные в нем, все же попадают в индексацию. Поэтому изредка надо просматривать список проиндексированных страниц, напр., в "Гугл. Инструменты для веб-мастеров" (об этом сервисе я писала раньше), и удалять там дублирующиеся страницы вручную.

Параллельно с файлом robots.txt в блоге можно использовать метатег robots, который нужно разместить в шаблоне блога (в самом начале перед head/) (совет от Aldous):











0 коммент. :

© 2012-2017 Cash's from program