robots.txt |
Совсем недавно я выиграла конкурс,на самого активного комментатора, где приз был анализ блога. К сожалению, я о нем узнала поздновато так как февраля были трудности с выходом к блогу, постоянные мои читатели знают почему:). Так вот главный приз я не получила., но в честь 14 февраля организатор конкурса, сделал подарок всем комментаторам независимо от количество комментарий она пообещала сделать этот самый анализ. И вот буквально вчера я получила свой анализ. Про это я опишу в следующий раз, о своих ощущениях. Сейчас хочу остановиться на ее совете. Дело в том что этим поисковикам не нравятся внешние ссылки с блога, и которые нужно закрыть этим самым robots. файлом. Но прежде чем это делать, я решила разобраться что за что отвечает:)
Мой файл выглядит так::
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://studying-blogin.blogspot.com/feeds/posts/default?orderby=UPDATED
И насколько я понимаю он стандартный, с заложенным разрешением на индексацию тех или иных файлов
В Азбука блоггера предлагают заменить на такой: Значение
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/search.html
Allow: /
Sitemap: http://rukotvorie.blogspot.ru/feeds/posts/default?orderby=updated (это адрес вашей карты для поисковиков)
User-agent: Yandex
Disallow: /search
Disallow: /p/search.html
Allow: /
Предлагаю разобраться что означает, верней как поняла лично я, если кто то заменит ошибки в объяснении можете оставить замечания я их исправлю, чтобы не вводить в заблуждение читателей.
User-agent:-сюда вписывают название работов (их имена можно узнать на Вебмастере Яндексе так и Google, можно поставить знак снежинку *, и это будет обозначать для всех роботов)
Disallow: в эту строчку вписывают частичный или полный путь URL, который не будет посещен
Allow: Данная строчка разрешает только индексировать определенные файлы.
Значение символов
* -означает любой
/ - означает запрет
Вообщем пока установлю предложенный файл, посмотрим результат:), и буду дальше разбираться, что за чем.
Пожалуйста не забывайте поделиться
0 коммент. :