Los motores de búsqueda de Internet envían los denominados robots o programas encargados de indexar automáticamente el contenido de sitios web a recorrer constantemente la red. En ocasiones se han producido conflictos entre los propietarios de los buscadores y los propietarios de sitios web, ya que estos últimos no necesariamente desean que todos los documentos almacenados en sus servidores web sean indexados por los robots y que, con ello, queden a disposición de todos los usuarios de Internet.
El problema se ha acentuado ahora con una nueva herramienta de Google, que hace posible buscar una serie de formatos de archivos, como por ejemplo documentos de Office, archivos de Adobe y hojas de cálculo de Lotus.
Desde el lanzamiento de la nueva herramienta de Google, los administradores de web han debido remover documentos escondidos u olvidados en carpetas del servidor web, y que ahora comenzaban a aparecer en la lista de resultados de Google.
Los nuevos tipos de archivos también pueden ser un problema para los usuarios de Google, que corren el riesgo de instalar en sus máquinas algún virus escondido en archivos de Word o Excel. Google ha intentado reducir tal riesgo ofreciendo una función denominada Ver en HTML que presenta el documento en un inofensivo formato web.
Con todo, los administradores preocupados por las nuevas capacidades de Google tienen varias posibilidades de negar la entrada de sus robots al servidor web o guiar su labor. La solución más fácil es crear un archivo especial denominado robots.txt que señala al robot qué documentos o carpetas no deben ser indexadas. La propia Google informa en su sitio web sobre el procedimiento a seguir.
📬 Newsletter gratuito
Lo más relevante de tecnología y negocios digitales en español — cada día, en cinco minutos.
