El rastreador web de Glintscout
GlintscoutBot
Glintscout crea listas de leads B2B: empresas con su dirección, teléfono y email de contacto. GlintscoutBot es su rastreador. Lee las páginas de contacto públicas de las webs de empresas para encontrar el email de contacto propio de la empresa, como info@ en el dominio de la empresa. Las webs que visita salen de fichas públicas de empresas, como las de Google Maps.
Cómo reconocerlo
Cada petición que hace lleva esta cabecera User-Agent:
Mozilla/5.0 (compatible; GlintscoutBot/2.0; +https://glintscout.com/bot)De dónde vienen sus peticiones
GlintscoutBot envía sus peticiones desde dos direcciones IP fijas y desde ninguna otra, cada una para su propia tarea. Cada una tiene un nombre de DNS inverso que apunta de nuevo a la misma dirección (DNS inverso confirmado):
167.233.187.89, nombre de DNS inversocrawler.glintscout.com: lee los sitios web de las empresas que buscan nuestros clientes77.42.10.240, nombre de DNS inversocrawl.glintscout.com: mantiene al día el directorio de empresas de Glintscout
Así puedes comprobar con dos consultas a un visitante que se llama GlintscoutBot:
$ host 167.233.187.89
89.187.233.167.in-addr.arpa domain name pointer crawler.glintscout.com.
$ host crawler.glintscout.com
crawler.glintscout.com has address 167.233.187.89
$ host 77.42.10.240
240.10.42.77.in-addr.arpa domain name pointer crawl.glintscout.com.
$ host crawl.glintscout.com
crawl.glintscout.com has address 77.42.10.240¿Dudas sobre una visita que se llama GlintscoutBot pero viene de otra dirección? Escríbenos (ver Contacto más abajo) con la dirección y la hora, y te diremos si fuimos nosotros.
Qué lee
- Primero tu robots.txt, y después solo lo que permite.
- La página de inicio y como mucho 3 páginas más del mismo sitio: una de contacto, el aviso legal o una de quiénes somos.
- Tu sitemap (sitemap.xml), solo cuando la página de inicio no enlaza ninguna de esas páginas.
- Una petición cada vez y como mucho 5 peticiones por sitio, contando robots.txt, las redirecciones y el sitemap. Se detiene en cuanto encuentra la dirección.
- Solo páginas públicas: no inicia sesión, no envía formularios ni ejecuta el JavaScript de las páginas.
Respeta robots.txt
GlintscoutBot lee tu robots.txt antes que nada y sigue las reglas para GlintscoutBot o, si no hay ninguna con su nombre, las reglas para todos los rastreadores (User-agent: *). Para mantenerlo fuera de todo tu sitio, añade:
User-agent: GlintscoutBot
Disallow: /Vuelve a leer robots.txt al empezar cada visita, así que un cambio se aplica desde su próxima visita. También puedes bloquear solo una parte de tu sitio, por ejemplo con Disallow: /privado/.
Lo que nunca hace
- Nunca resuelve CAPTCHAs ni comprobaciones antibots (como una página «Just a moment») ni intenta saltárselas: una comprobación, una respuesta de «acceso denegado» (401 o 403) o de «demasiadas peticiones» (429) termina su visita. Cuando varios sitios de un mismo proveedor de alojamiento responden así, la dirección que se los encontró va más despacio con todo ese proveedor, respeta su Retry-After y puede volver una sola vez más tarde a un sitio así.
- Nunca se oculta: siempre se identifica en el User-Agent, nunca se hace pasar por un navegador y no usa proxies. Cada una de sus dos direcciones se ciñe a su tarea, y nunca pasa a la otra para saltarse un bloqueo: si un sitio bloquea una de ellas, le pone una comprobación o la excluye en su robots.txt, la otra dirección tampoco visita ese sitio durante seis meses (dos semanas tras un «demasiadas peticiones»). Una regla de robots.txt para GlintscoutBot vale para las dos direcciones.
Qué guarda
Solo direcciones de email del propio dominio de la empresa: en el sitio ejemplo.es, una dirección como info@ejemplo.es. Las direcciones de otros dominios y las de email gratuito (como Gmail u Outlook) se descartan, y las páginas que lee no se guardan. Cómo usa Glintscout estas direcciones, y cuáles son tus derechos, se explica en nuestra Política de privacidad.
Cómo excluirte
- Para tu web: bloquea GlintscoutBot en robots.txt como se muestra arriba. A partir de entonces no lee nada más de tu sitio.
- Para una dirección que Glintscout ya tiene: pide que la borremos en la página Elimina tus datos. Se borra y no se vuelve a recopilar, tampoco por GlintscoutBot.
Contacto
¿Preguntas sobre GlintscoutBot o una visita que no esperabas? Escribe a support@