#настройки идентичны для всех роботов
User-agent: *
Disallow: /articles/
Disallow: /css/
Disallow: /db/
Disallow: /img/
Disallow: /js/
Disallow: /src/