Что делать, чтобы не дублировались страницы блога

Текст сообщения, как я писала в посте о требованиях к тексту блога, должен быть уникальным. Для блога это трудновыполнимо. Даже если использовать все тексты только собственного авторства, все равно они дублируются на главной странице, на страницах архива, в популярных сообщениях и т.п.

Поисковику можно запретить индексировать определенные страницы блога. Управление индексацией осуществляется через файл robots.txt, который автоматически создается для каждого блога и сайта.

Но в "Инструментах для вебмастеров Гугл" пишут так:

Google больше не рекомендует блокировать доступ поисковых роботов к повторяющемуся контенту с помощью файла robots.txt или иных способов. Если поисковые системы не имеют возможности сканировать страницы с повторяющимся контентом, то они не смогут автоматически определять, что разные URL имеют одинаковый контент, и будут обращаться с ними как с уникальными страницами. Наилучший выход из этого положения – разрешить поисковым системам сканировать все URL, предварительно отметив их как повторяющиеся с помощью элемента link rel="canonical", функции обработки параметров URL или переадресации 301. Если на вашем сайте очень много страниц с повторяющимся контентом, рекомендуется настроить скорость сканирования в Инструментах для веб-мастеров. Если на вашем сайте хранится несколько страниц с почти одинаковым контентом, вы можете указать предпочитаемый URL для Google. Такая процедура называется "канонизацией".

Несмотря на это, многие  блоггеры все-равно советуют убирать из индексации определенные страницы. В основном архив и ярлыки. Дальше я напишу о том, как поправить файл robots.txt.