#En primer lugar un ejemplo de archivo robots.txt 
User-agent: *
Crawl-delay: 60
Visit-time: 0300-0700
Disallow: /suscripcion/ # afecta a /help/index.html  pero no a  /help.html.

# En cambio lycra y BadBot
# tiene prohibido integramente el acceso
User-agent: lycra
User-agent: BadBot
Disallow: /
# Un documento CADA  30 minutos
#Request-rate: 1/30m		
# Combinado: 1 doc cada 10 minutos
# y solo de una  a 5 tarde
#Request-rate: 1/10m 1300-1659