Страница генератора robots.txt:
http://htmlweb.ru/analiz/robots.php
Генерирование этого файла в принципе не представляет сложности.
Страница генератора robots.txt:
http://htmlweb.ru/analiz/robots.php
Генерирование этого файла в принципе не представляет сложности.
Кстати, хотел обратить внимание тех, кто впервые сталкивается с понятием управления поисковыми роботами (файл robots.txt).
Важно знать, что неверное использование этого файла можен нанести прямой вред посещаемости Вашего Интернет-ресурса.
Для примера правильной настройки robots.txt, выгружу свой, чтобы Вы могли наглядно все посмотреть.
Кстати, проверить файл robots.txt можно на сервисе Яндекса по адресу:Код:User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /images/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/ Disallow: /forum/editpost.php Disallow: /forum/gamercard.php Disallow: /forum/inlinemod.php Disallow: /forum/member.php Disallow: /forum/memberlist.php Disallow: /forum/newreply.php Disallow: /forum/newthread.php Disallow: /forum/payments.php Disallow: /forum/printthread.php Disallow: /forum/private.php Disallow: /forum/profile.php Disallow: /forum/report.php Disallow: /forum/search.php Disallow: /forum/sendmessage.php Disallow: /forum/showpost.php Disallow: /forum/usercp.php Disallow: /forum/usernote.php User-agent: Mediapartners-Google Allow: /member.php Allow: /private.php Allow: /usercp.php Sitemap: http://www.pageranker.ru/index.php?o...&no_html=1
http://webmaster.yandex.ru/robots.xml
Эту тему просматривают: 1 (пользователей: 0 , гостей: 1)