Ishta Blog

Рано или поздно оптимизаторы сталкиваются с проблемой дублей страниц сайтов или желанием отключить индексацию определенных папок, разделов или динамических ссылок с какой-нибудь переменной. Так вот все поисковые роботы при посещении сайта, в первую очередь, ищут файл robots.txt. Это текстовый файл, находящийся в корневой директории сайта, в нем записываются специальные инструкции для поисковых роботов. Рассмотрим наиболее востребованные примеры robot.txt, а также как правильно отключать индексацию ненужных страниц в joomla.

1. Запрет индексации папки cgi всеми поисковиками:

User-agent: * 
Disallow: /cgi/

2. Разрешаем индексировать все страницы сайта всем поисковикам (примечание: эквивалентом данной инструкции будет пустой файл robots.txt):

User-agent: *
Disallow:

3. Запрещаем индексировать все страницы сайта всем поисковикам:

User-agent: *
Disallow: /

4. Разрешаем индексировать всем кроме Яндекса:

User-agent: Yandex
Disallow: /

5. Запрещаем индексировать всем поисковикам кроме Яндекса (примечание: обратите внимание на обязательную пустую строку между двумя инструкциями, без нее файл не будет воспринят правильно):

User-agent: Yandex
Disallow:

User-agent: *
Disallow: /

6. Яндексу запрещаем индексировать папки cgi и images, а Апорту файлы myfile1.htm и myfile2.htm в директории dir:

User-agent: Yandex
Disallow: /cgi/
Disallow: /images/

User-agent: Aport
Disallow: myfile1.htm
Disallow: myfile2.htm

7. Весьма актуальная проблема. Запрещаем индексировать динамические ссылки, пример (?ul=…) всем поисковикам:

User-agent: *
Disallow: /*?sl* 

8. Указание значения для Disallow без открывающего слеша приведет к тому, что робот пропустит не только папки с таким именем, но и файлы. В следующем примере, роботы не будут индексировать папку с именем myfile, а также все файлы, имеющие данное имя например myfile.php:

User-agent: *
Disallow: myfile

9. Запрет индексации папок cgi и images для всех поисковиков: 

User-agent: *
Disallow: /cgi/
Disallow: /images/

10. Запрет индексации файлов myfile1.htm и myfile2.htm для Google:

User-agent: Google
Disallow: myfile1.htm
Disallow: myfile2.htm

11. Запрет индексации файлов spisok.php и vsakaya-fignya.php для всех поисковиков:

User-agent: *
Disallow: spisok.php
Disallow: vsakaya-fignya.php

12. Запрет индексации динамических ссылок с переменной sl:

User-agent: *
Disallow: /*?sl*

Решение проблем с индексацией страниц на Joomla! CMS.

После попадания в индекс Яндекса некоторые обнаруживают неприятную особенность, которая заключается в индексировании всех страниц по ссылкам "Отправить на e-mail", часть печатных версий страниц (даже не смотр на то, что в админке глобальной конфигурации отключена индексация этих страниц), страницы из админки, куски из rss и т.д.

Исключаем страницы из индексации:

1. Для запрета индексации страниц "Отправить на e-mail":

Disallow: /index2.php?option=com_content&task=emailform

2. Для дополнительного запрета индексации печатных версий страниц, если включен встроенный SEF, то повредить эта строка не должна:

Disallow: /index2.php?option=com_content&task=view

2а. Или можно указать так:

Disallow: /index2.php?option=com_content

3а. Или так:

Disallow: /index2.php

4. Для запрета индексации страниц, связанных с авторизацией на сайте:

Disallow: /component/option,com_registration/

5. Если вы используете сторонние SEF-компонентов такая строка имеет право на жизнь. При использовании же встроенного SEF-а будет запрещена к индексации бОльшая часть сайта:

Disallow: /content/

p.s. Удачи с индексацией!