Generar un archivo Robots.txt

Generar Archivo Robots.txt

Predeterminado: todos los robots son:	Permitidos Rechazados
Retardo de rastreo:	Predeterminado - Sin demora 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Sitemap: (déjalo en blanco si no tienes)
Buscar Robots:	Google	Igual que el predeterminado Permitidos Rechazados
	Google Image	Igual que el predeterminado Permitidos Rechazados
	Google Mobile	Igual que el predeterminado Permitidos Rechazados
	MSN Search	Igual que el predeterminado Permitidos Rechazados
	Yahoo	Igual que el predeterminado Permitidos Rechazados
	Yahoo MM	Igual que el predeterminado Permitidos Rechazados
	Yahoo Blogs	Igual que el predeterminado Permitidos Rechazados
	Ask/Teoma	Igual que el predeterminado Permitidos Rechazados
	GigaBlast	Igual que el predeterminado Permitidos Rechazados
	DMOZ Checker	Igual que el predeterminado Permitidos Rechazados
	Nutch	Igual que el predeterminado Permitidos Rechazados
	Alexa/Wayback	Igual que el predeterminado Permitidos Rechazados
	Baidu	Igual que el predeterminado Permitidos Rechazados
	Naver	Igual que el predeterminado Permitidos Rechazados
	MSN PicSearch	Igual que el predeterminado Permitidos Rechazados
Directorios restringidos:	La ruta es relativa a la raíz y debe contener una barra inclinada "/"

Ahora, añade el archivo 'robots.txt' en tu directorio raíz. Copia el texto anterior y pégalo como un archivo de texto.

Herramienta para Generar Archivo Robots.txt

Con nuestro generador de archivos robots.txt puedes crear un archivo que garantice que Google y otros motores de búsqueda pueden rastrear e indexar tu sitio correctamente y además indicar qué directorios deberían y no deberían rastrear.