Конфликт директив в Robots.txt

Файл robots.txt часто используется при оптимизации индексации сайта, seo специалисты закрывают от индексации различные служебные папки/файлы, с помощью директивы «Disallow», например:

Disallow: /manager/

или указывают основное зеркало с помощью директивы «Host»

Host: www.домен.ru

а так же указывают директиву «sitemap», указывая где лежит карта сайта.

Sitemap: /index.php?page=xml_sitemap

Но, при seo аудите сайта, встречается такая ошибка в файле robots.txt когда одна директива запрещает индексирование папки или файла, но при этом закрываются от индексации нужные файлы.

Пример:

Disallow: /*.php*

Данная директива закрывает от индексации все  .php файлы

Но, при этом карта сайта в robots.txt прописана:

Sitemap: /index.php?page=xml_sitemap

Таким образом карта сайта закрыта от индексации.

Решение.

В файле .htaccess прописать редирект:

RewriteRule ^sitemap.xml$ index.php?page=xml_sitemap [L]

И в файле robots.txt заменить директиву sitemap

Sitemap: http:www.домен.ru/sitemap.xml

Вот так просто, можно исправить ошибку, на сегодня все, желаю удачи в продвижении сайтов.

Не забудьте поделиться этой статьей в социальных сетях
comments powered by Disqus