Para todo gestor de una web es necesario conocer ciertos términos básicos que le ayudarán a obtener mejores resultados. Y como bien es sabido, el éxito de una página web depende en gran medida de la calidad del contenido publicado.
¿Por qué? Pues Google, por medio de sus rastreadores, dará una mejor posición en las SERP a aquellas páginas que resaltan por su calidad de contenido.
Pero para que eso sea posible es necesario atender a ciertos parámetros de cada fase de desarrollo de la página web. Tal es el caso de la fase de generación de contenido a través del tan utilizado archivo robots.txt.
Para quien no lo sepa el archivo robots.txt es un comando al cual se tiene acceso desde la raíz del dominio. Este indica a Google qué contenido debe ser indexado y puesto dentro de sus SERP. Pero yendo más allá, es necesario destacar que este funciona a través de una serie de comandos. Uno de ellos es sobre el cual nos centraremos en este artículo: disallow.
A nivel etimológico es una palabra anglosajona que se traduce como deshabilitar o rechazar. Y eso define muy bien de qué se trata. Este es un esquema de exclusión de robots de búsqueda, a fin de evitar que dichos bots agreguen información irrelevante en los resultados de la búsqueda.
Este comando indica que no debe ser indexado bajo ningún concepto. ¿Por qué motivo? Puede ser que aun esa página esté en fase de edición y no esté terminada para ser vista por el público. Así que por el momento lo mejor es ocultarla.
La instrucción disallow sirve para indicar a los buscadores que contenido no deben seguir ni indexar. Permitiendo entonces encriptar los datos que no deben ser publicados. Y clasificar los datos de mayor relevancia.
A su vez ayuda a tus objetivos SEO, pues solo dará lugar a tu contenido de primer nivel.
Cuando no se desea que un contenido se encuentre visible para los robots buscadores de Google u otros buscadores, esta es la opción idónea.
De hecho, el comando disallow es más utilizado de lo que puede parecer. Pues es una herramienta indispensable en la fase de creación y desarrollo del contenido de una página web. ¡Sino los resultados en las SERP serían un desastre!
Además, esta herramienta te permite optimizar los recursos de indexación que son destinados a tu página. Pues Google día a día se encarga de barrer las nuevas webs que son creadas pero existe cierto límite para cada dominio… Entonces con disallow podrás canalizar la atención que te brinda el motor de búsqueda a lo que en realidad quieres que sea publicado.
Y por todo lo mencionado, la realidad es que el comando disallow tiene una importancia descomunal para los creadores de contenido web. Pero también para los usuarios en general.
Lo primero es que el disallow simplifica la tarea de los motores de búsqueda al momento de analizar una página web. Con ello se terminan publicando en las SERP aquellos resultados de calidad. ¿Y quiénes son los que se ven favorecidos? Pues las personas que día a día ingresan a Internet a realizar millones de búsquedas.
Eso es posible porque lo primero que los rastreadores hacen es analizar el comando robots.txt detectando el status de este comando en específico. **Lo que redunda en un mejor y mayor posicionamiento SEO porque se indexa lo que el desarrollador considere necesario. **
Además, con el comando disallow se toma el control al momento de limitar algunas opciones que ayuden a evitar penalizaciones de los algoritmos de Google. Este logra:
Se puede hacer uso de ella mediante caracteres específicos en una línea de códigos al momento del desarrollo o edición de una página web.
Para hacer uso de este comando se debe escribir el código: disallow: /
Y acto seguido especificar qué parte del sitio web se va a restringir. Por ejemplo:
User-agent: *
disallow: /
La opción anterior sirve para bloquear todos los robots.
En caso de que se desee bloquear un bot en específico… supongamos el buscador Bing se coloca la instrucción:
User-agent: Bingbot Disallow: /
¡Esperamos que te haya quedado claro todo sobre el siempre útil comando disallow!