# Robots.txt file from http://www.tunari.com # All robots will spider the domain # orden para todos los robots User-agent:* Allow: / # Permitir trabajar a los bots de 12:00 pm a 12:00 am # Las horas son siempre Greenwitch Visit-time: 1200-1200 # ruta que no entran los robot Disallow: /admin/ Disallow: /adodb/ Disallow: /Smarty/ Disallow: /templates_c/ Allow: / Disallow: /*.js$ # no indexe los ficheros que terminen en .js (javascript), Crawl-delay: 30 # que espere 30 segundos entre cada acceso