Что такое Robots.txt 

Вот столкнулся еще с одним вопросом при изучении Джумлы - robots.txt. Решил ответить для себя на вопрос, как должен выглядеть правильный robots.txt для Joomla.

Но сначала пришлось освоить основные понятия, которые надо знать при составлении правильного robots.txt для любого сайта на любом движке.

Постараюсь подробно и с примерами изложить их ниже.

Что из себя представляет robots.txt? robots.txt – это простой текстовый файл, созданный любым текстовым редактором. Содержание данного файла – это правила для поисковых ботов по индексированию сайта. Пример стандартного robots.txt для Джумлы:

                                                  User-agent: *
                                                  Disallow: /administrator/
                                                  Disallow: /cache/
                                                  Disallow: /components/
                                                  Disallow: /component/*
                                                  Disallow: /component/search/
                                                  Disallow: /component/content/
                                                  Disallow: /includes/
                                                  Disallow: /installation/
                                                  Disallow: /language/
                                                  Disallow: /libraries/
                                                  Disallow: /media/
                                                  Disallow: /modules/
                                                  Disallow: /plugins/
                                                  Disallow: /templates/
                                                  Disallow: /tmp/
                                                  Disallow: /xmlrpc/

Noindex 

Рассмотрев в предыдущей статье атрибут nofollow, я решил, что надо рассказать немного и о его “собрате” -  тэге noindex.
В чем же отличие noindex от nofollow? Да в том, что тэг noindex может закрыть от индексации не только ссылку, но и любой кусок текста от таких поисковых систем как Yandex и Rambler и только от них, так как другие поисковые системы на данный тэг не обращают никакого внимания.

 Будьте очень внимательны при использовании тэга noindex. В связи с тем что он является парным тэгом, то его обязательно нужно закрывать.

 Привожу пример правильного использования данного тэга:

 <noindex>Этот текст или ссылка будут закрыты от индексации Яндексом и Рамблером</noindex>

Nofollow?

Рассмотрим подробнее атрибут nofollow. По инициациве Google, в 2005 году для борьбы со спамом, появилось новое использования  nofollow для атрибута rel . Yahoo и MSN/Bing сразу же поддержало эту инициативу, Яндекс же присоединился к этой компании только в мае 2010-го года.

До этого поисковики пользовались nofollow как атрибутом уровня страницы. Например, если вы хотите чтобы внешние ссылки на конкретной странице не сканировались поисковой системой:

 <meta content="nofollow" />

Но такой способ запрещает переход сразу по всем ссылкам на странице. А как же быть если вам надо запретить одну конкретную ссылку? Вот поэтому и было создано значение nofollow для атрибута rel. Оно помогает веб-мастерам уточнить запреты по ссылкам. Например: