Aller au contenu

Le robot d’exploration de Glintscout

GlintscoutBot

Glintscout crée des listes de leads B2B : des entreprises avec leur adresse, leur téléphone et leur e-mail de contact. GlintscoutBot est son robot d’exploration. Il lit les pages de contact publiques des sites d’entreprises pour trouver l’adresse e-mail de contact propre à l’entreprise, comme info@ sur le domaine de l’entreprise. Les sites qu’il visite proviennent de fiches publiques d’entreprises, comme celles de Google Maps.

Comment le reconnaître

Chacune de ses requêtes porte cet en-tête User-Agent :

Mozilla/5.0 (compatible; GlintscoutBot/2.0; +https://glintscout.com/bot)

D’où viennent ses requêtes

GlintscoutBot envoie ses requêtes depuis deux adresses IP fixes, et depuis aucune autre, chacune pour sa propre tâche. Chacune a un nom DNS inverse qui renvoie à la même adresse (DNS inverse confirmé) :

  • 167.233.187.89, nom DNS inverse crawler.glintscout.com : elle lit les sites web des entreprises que nos clients recherchent
  • 77.42.10.240, nom DNS inverse crawl.glintscout.com : elle tient à jour l’annuaire d’entreprises de Glintscout

Vous pouvez donc vérifier en deux requêtes un visiteur qui se présente comme GlintscoutBot :

$ host 167.233.187.89
89.187.233.167.in-addr.arpa domain name pointer crawler.glintscout.com.
$ host crawler.glintscout.com
crawler.glintscout.com has address 167.233.187.89

$ host 77.42.10.240
240.10.42.77.in-addr.arpa domain name pointer crawl.glintscout.com.
$ host crawl.glintscout.com
crawl.glintscout.com has address 77.42.10.240

Un doute sur une visite qui se présente comme GlintscoutBot mais vient d’une autre adresse ? Écrivez-nous (voir Contact ci-dessous) avec l’adresse et l’heure, et nous vous dirons si c’était nous.

Ce qu’il lit

  • D’abord votre robots.txt, puis uniquement ce qu’il autorise.
  • La page d’accueil et au plus 3 autres pages du même site : une page de contact, les mentions légales ou une page « à propos ».
  • Votre sitemap (sitemap.xml), seulement quand la page d’accueil ne renvoie vers aucune de ces pages.
  • Une requête à la fois et au plus 5 requêtes par site, robots.txt, redirections et sitemap compris. Il s’arrête dès qu’il a trouvé l’adresse.
  • Uniquement des pages publiques : il ne se connecte nulle part, n’envoie aucun formulaire et n’exécute pas le JavaScript des pages.

Il respecte robots.txt

GlintscoutBot lit votre robots.txt avant tout et suit les règles prévues pour GlintscoutBot ou, s’il n’y en a aucune à son nom, celles prévues pour tous les robots (User-agent: *). Pour le tenir à l’écart de tout votre site, ajoutez :

User-agent: GlintscoutBot
Disallow: /

Il relit robots.txt au début de chaque visite : une modification s’applique donc dès sa prochaine visite. Vous pouvez aussi ne bloquer qu’une partie de votre site, par exemple avec Disallow: /prive/.

Ce qu’il ne fait jamais

  • Il ne résout jamais de CAPTCHA ni de vérification anti-robots (comme une page « Just a moment ») et n’essaie jamais de les contourner : une vérification, une réponse « accès refusé » (401 ou 403) ou « trop de requêtes » (429) met fin à sa visite. Lorsque plusieurs sites d’un même hébergeur répondent ainsi, l’adresse qui les a rencontrés ralentit pour tout cet hébergeur, respecte son Retry-After et peut revenir une seule fois plus tard sur un tel site.
  • Il ne se cache jamais : il s’identifie toujours dans le User-Agent, ne se fait jamais passer pour un navigateur et n’utilise aucun proxy. Chacune de ses deux adresses s’en tient à sa tâche, et il ne passe jamais à l’autre pour contourner un blocage : si un site bloque l’une d’elles, lui oppose une vérification ou l’exclut dans son robots.txt, l’autre adresse laisse elle aussi ce site tranquille pendant six mois (deux semaines après un « trop de requêtes »). Une règle robots.txt pour GlintscoutBot vaut pour les deux adresses.

Ce qu’il conserve

Uniquement les adresses e-mail du propre domaine de l’entreprise : sur le site exemple.fr, une adresse comme info@exemple.fr. Les adresses d’autres domaines et les adresses de messageries gratuites (comme Gmail ou Outlook) sont écartées, et les pages lues ne sont pas enregistrées. L’usage que Glintscout fait de ces adresses et vos droits sont décrits dans notre Politique de confidentialité.

Comment vous y opposer

  • Pour votre site : bloquez GlintscoutBot dans robots.txt comme indiqué ci-dessus. Il ne lit alors plus rien de votre site.
  • Pour une adresse que Glintscout détient déjà : demandez sa suppression sur la page Supprimer vos données. Elle est supprimée et ne sera plus collectée, pas même par GlintscoutBot.

Contact

Une question sur GlintscoutBot, ou une visite inattendue ? Écrivez à support@glintscout.com en indiquant l’adresse de votre site.