¿Recuerdan que hice un blog de Doxing? En una parte del blog mencione la parte de los robots en una web y que podemos doxear a usuarios o a la web gracias a esto.
Hay otras formas de hacer esto y podemos profundizar mas utilizando una herramienta llamada: eNYe-Spider v1.0 la cual analiza remotamente una web sacando la estructura de ficheros y directorios.
Está diseñado para que compruebes las vulnerabilidades de tu web e incluye algunos extras: posibilidad de usar un servidor proxy, discrimina los ficheros que aceptan parámetros por GET o POST, permite escribir anotaciones sobre los escaneos, navegador web integrado y permite guardar los análisis en disco.
Use la herramienta con Amino y sin duda alguna es buena, y a los que usen linux ya hay herramientas (Están preinstaladas de pendiendo del os, por ejemplo, Kali, Parrot, Pentoo, etc.) que hacen esto.
Webs