User-agent: *
Disallow: /
Request-rate: 1/5         
# загружать не более одной страницы за пять секунд
Visit-time: 0100-0600     
# загружать страницы только в промежуток с 6 утра до 8:45 по Гринвичу.