Ahora, añade el archivo 'robots.txt' en tu directorio raíz. Copia el texto anterior y pégalo como un archivo de texto.
Con nuestro generador de archivos robots.txt puedes crear un archivo que garantice que Google y otros motores de búsqueda pueden rastrear e indexar tu sitio correctamente y además indicar qué directorios deberían y no deberían rastrear.