# EJEMPLOS: 

# Establecemos total libertad para webcrawler, Ya que dejamos Disallow vacio
# User-agent: webcrawler
# Disallow:

# En cambio lycra y BadBot, tiene prohibido integramente el acceso
# User-agent: lycra
# User-agent: BadBot
# Disallow: /

# El resto de bots (seņalado mediante *), tiene prohibido el acceso a los directorios /tmp y /log; libertad para el resto.
# User-agent: *
# Disallow: /tmp
# Disallow: /logs

# Disallow: /help  (afecta a /help.html y a  /help/index.html)
# Disallow: /help/ (afecta a /help/index.html  pero no a  /help.html)


# MIS INSTRUCCIONES

# todos los robots tienen prohibido el acceso a los directorios /inc y /material
User-agent: Googlebot

User-agent: ArchitextSpider

User-agent: Scooter

User-agent: Lycos

User-agent: FastCrawler

User-agent: *

Disallow: /inc

Disallow: /material