Robots.txt для Joomla

Предоставляю на ваше рассмотрение плод моего кропотливого труда над файлом robots.txt для joomla:  

                                           User-agent: *
                                           Disallow: /administrator/
                                           Disallow: /cache/
                                           Disallow: /components/
                                           Disallow: /includes/
                                           Disallow: /installation/
                                           Disallow: /language/
                                           Disallow: /libraries/
                                           Disallow: /media/
                                           Disallow: /modules/
                                           Disallow: /plugins/
                                           Disallow: /templates/
                                           Disallow: /tmp/
                                           Disallow: /xmlrpc/
                                           Disallow: /index2.php?option=com_content
                                           Disallow: /index.php?option=com_content
                                           Crawl-delay: 10
                                           Request-rate: 1/10         
                                           Visit-time: 0200-0545 
                                           Host: vashsite.com
                                           Sitemap: http://адрес_сайта/sitemap.xml

Чтоб закрепить знания по файлу robots.txt рассмотрим каждый пункт в отдельности. Все же дерективы файла robots.txt, с примерами, описаны в предыдущей статье - Что такое Robots.txt, рекомендую с нею ознакомиться до прочтения данного материала.

User-agent: *
- правила индексации сайта применяются к любому боту, для которого нет отдельной записи.

Disallow: /administrator/
- запрещаем ботам индексировать содержание папки administrator

Disallow: /cache/
- закрываем от индексации ботами папку, которая отвечает в Джумле за кэш страниц сайта

Disallow: /components/
- бот не может проиндексировать папку с компонентами Джумлы

Disallow: /includes/
- нет смысла индексации папки содержащей служебные РНР файлы

Disallow: /language/
- накладываем запрет на индексацию папки с языковыми файлами

Disallow: /libraries/
- папку с различными библиотеками, которые работают в Joomla также запретим индексировать

Disallow: /media/
- скажем нет индексации папки с мультимедиафайлами (клипы, звуки и т.п.)

Disallow: /modules/
- даем указание ботам не индексировать папку, содержащую модули, применимые для Джумлы

Disallow: /plugins/
- делаем тоже самое, но только уже для плагинов

Disallow: /templates/
- запрет индексации папки с шаблонами сайта

Disallow: /tmp/
- запрещаем индексацию папки для хранения временных файлов

Disallow: /xmlrpc/
- не индексируем папку с файлами которые реализуют доступ к нашему сайту по протоколу XML-RPC

Disallow: /index.php?option=com_content
- при использовании на сайте поддержки SEO, Joomla автоматически создает два вида ссылок на страницы сайта, поэтому запрещаем индексацию ссылок типа index.php?option=com_content&task=view&id=6&Itemid=7

Disallow: /index2.php?option=com_content
- боремся с дубликатами страниц

Crawl-delay: 10
- указываем для бота Яндекса минимальный интервал в секундах (в нашем случае 10 секунд) между запросами на загрузку страниц сайта для индексации (применяется для уменьшения нагрузки на сервер)

Request-rate: 1/10
- для западных ботов разрешена загрузка не более одной страницы для индексации за 10 секунд (уменьшает нагрузку на сервер)
       
Visit-time: 0200-0545 
 - разрешаем ботам западных поисковых систем загружать для индексации страницы вашего сайта с 2 утра до 5:45 по Гринвичу (способствует уменьшению нагрузки на сервер)

Host: vashsite.com
- указываем для Яндекса, что vashsite.com является главным зеркалом сайта.

Sitemap: http://адрес_сайта/sitemap.xml
- указываем боту поисковой системы путь к карте сайта в xml формате

Вот, пожалуй, и все. Не забываем менять vashsite.com на доменное имя вашего сайта. Если что-то пропустил, то совершенствовать и редактировать robots.txt буду постепенно, по мере поступления хороших идей в комментариях.

P.S. Яна Джангирова: “Запретные плоды не обязательно есть целиком – некоторые достаточно надкусить”.