# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://forum.web-desing.org.ua/sitemap.php
# END XML-SITEMAP-PLUGIN

User-agent: *
# * - значит для всех пауков

# запрещение индексации служебных папок
Disallow: /adm/
Disallow: /awstat/
Disallow: /cashe/
Disallow: /cgi-bin/
Disallow: /download/
Disallow: /files/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /store/
Disallow: /config.php
Disallow: /cron.php

# разрешение индексации по имени файлов
Allow: /sitemap.php
Allow: /faq.php

# запрещение индексации по расширению

Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$