jesusdml.es

Limitando el acceso a bots en un servidor web

Desde que Internet es Internet, contamos con la ayuda de los buscadores para encontrar aquello que estamos buscando (al menos, en la web). A veces, no nos interesa que determinado contenido sea indexado por los buscadores y para ello solemos recurrir a un fichero llamado robots.txt, que la mayoría de los buscadores suelen hacer cierto caso. Pero este fichero, conjuntamente con directivas incluidas en el propio código (como nofollow o noindex), es ignorado o malinterpretado por muchos otros buscadores que no respetan este estándar. Para evitar esto, podemos contar con los ficheros .htaccess y una serie de «truquitos» que veremos a […]