Страница генератора robots.txt:
http://htmlweb.ru/analiz/robots.php
Генерирование этого файла в принципе не представляет сложности.
Вид для печати
Страница генератора robots.txt:
http://htmlweb.ru/analiz/robots.php
Генерирование этого файла в принципе не представляет сложности.
Кстати, хотел обратить внимание тех, кто впервые сталкивается с понятием управления поисковыми роботами (файл robots.txt).
Важно знать, что неверное использование этого файла можен нанести прямой вред посещаемости Вашего Интернет-ресурса.
Для примера правильной настройки robots.txt, выгружу свой, чтобы Вы могли наглядно все посмотреть.
Кстати, проверить файл robots.txt можно на сервисе Яндекса по адресу:Код:User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /forum/editpost.php
Disallow: /forum/gamercard.php
Disallow: /forum/inlinemod.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/payments.php
Disallow: /forum/printthread.php
Disallow: /forum/private.php
Disallow: /forum/profile.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/sendmessage.php
Disallow: /forum/showpost.php
Disallow: /forum/usercp.php
Disallow: /forum/usernote.php
User-agent: Mediapartners-Google
Allow: /member.php
Allow: /private.php
Allow: /usercp.php
Sitemap: http://www.pageranker.ru/index.php?o...&no_html=1
http://webmaster.yandex.ru/robots.xml