Zum Inhalt springen

Der Webcrawler von Glintscout

GlintscoutBot

Glintscout erstellt B2B-Leadlisten: Unternehmen mit Adresse, Telefonnummer und Kontakt-E-Mail. GlintscoutBot ist sein Crawler. Er liest die öffentlichen Kontaktseiten von Firmenwebsites, um die eigene Kontaktadresse des Unternehmens zu finden, etwa info@ unter der Domain des Unternehmens. Die Websites, die er besucht, stammen aus öffentlichen Firmeneinträgen, etwa bei Google Maps.

So erkennen Sie ihn

Jede seiner Anfragen trägt diesen User-Agent-Header:

Mozilla/5.0 (compatible; GlintscoutBot/2.0; +https://glintscout.com/bot)

Woher seine Anfragen kommen

GlintscoutBot sendet seine Anfragen von zwei festen IP-Adressen und von keiner anderen, jede für ihre eigene Aufgabe. Jede hat einen Reverse-DNS-Namen, der wieder auf dieselbe Adresse zeigt (vorwärts bestätigtes Reverse DNS):

  • 167.233.187.89, Reverse-DNS-Name crawler.glintscout.com: Sie liest die Websites der Unternehmen, nach denen unsere Kunden suchen
  • 77.42.10.240, Reverse-DNS-Name crawl.glintscout.com: Sie hält das Unternehmensverzeichnis von Glintscout aktuell

So können Sie mit zwei Abfragen prüfen, ob ein Besucher, der sich GlintscoutBot nennt, wirklich von uns kommt:

$ host 167.233.187.89
89.187.233.167.in-addr.arpa domain name pointer crawler.glintscout.com.
$ host crawler.glintscout.com
crawler.glintscout.com has address 167.233.187.89

$ host 77.42.10.240
240.10.42.77.in-addr.arpa domain name pointer crawl.glintscout.com.
$ host crawl.glintscout.com
crawl.glintscout.com has address 77.42.10.240

Sie sind unsicher bei einem Besuch, der sich GlintscoutBot nennt, aber von einer anderen Adresse kommt? Schreiben Sie uns (siehe Kontakt unten) mit der Adresse und der Uhrzeit, und wir sagen Ihnen, ob er von uns kam.

Was er liest

  • Zuerst Ihre robots.txt, danach nur, was sie erlaubt.
  • Die Startseite und höchstens 3 weitere Seiten derselben Website: eine Kontaktseite, das Impressum oder eine Über-uns-Seite.
  • Ihre Sitemap (sitemap.xml), nur wenn die Startseite auf keine dieser Seiten verlinkt.
  • Eine Anfrage nach der anderen und höchstens 5 Anfragen pro Website, robots.txt, Weiterleitungen und Sitemap mitgezählt. Sobald er die Adresse gefunden hat, hört er auf.
  • Nur öffentliche Seiten: Er meldet sich nirgends an, sendet keine Formulare ab und führt kein JavaScript der Seiten aus.

Er beachtet robots.txt

GlintscoutBot liest vor allem anderen Ihre robots.txt und befolgt die Regeln für GlintscoutBot oder, wenn es keine eigenen für ihn gibt, die Regeln für alle Crawler (User-agent: *). So halten Sie ihn von Ihrer ganzen Website fern:

User-agent: GlintscoutBot
Disallow: /

Er liest die robots.txt zu Beginn jedes Besuchs neu, eine Änderung gilt also ab seinem nächsten Besuch. Sie können auch nur einen Teil Ihrer Website sperren, zum Beispiel mit Disallow: /privat/.

Was er nie tut

  • Er löst nie CAPTCHAs oder Bot-Prüfungen (etwa eine Seite „Just a moment“) und versucht nie, sie zu umgehen: Eine Prüfung, die Antwort „Zugriff verweigert“ (401 oder 403) oder „zu viele Anfragen“ (429) beendet seinen Besuch. Antworten mehrere Websites desselben Hosters so, wird die Adresse, die darauf traf, für den ganzen Hoster langsamer, hält sich an dessen Retry-After und besucht eine solche Website später höchstens noch einmal.
  • Er versteckt sich nie: Er nennt sich immer im User-Agent, gibt sich nie als Browser aus und nutzt keine Proxys. Jede seiner zwei Adressen bleibt bei ihrer Aufgabe, und er wechselt nie zur anderen, um eine Sperre zu umgehen: Sperrt eine Website eine der beiden, stellt ihr eine Prüfung oder schließt sie per robots.txt aus, lässt auch die andere Adresse diese Website sechs Monate lang in Ruhe (nach „zu viele Anfragen“ zwei Wochen lang). Eine robots.txt-Regel für GlintscoutBot gilt für beide Adressen.

Was er behält

Nur E-Mail-Adressen unter der eigenen Domain des Unternehmens: auf der Website beispiel.de etwa info@beispiel.de. Adressen unter anderen Domains und Freemail-Adressen (etwa Gmail oder Outlook) bleiben außen vor, und die gelesenen Seiten werden nicht gespeichert. Wie Glintscout diese Adressen verwendet und welche Rechte Sie haben, steht in unserer Datenschutzerklärung.

So widersprechen Sie

  • Für Ihre Website: Sperren Sie GlintscoutBot wie oben gezeigt in der robots.txt. Dann liest er nichts mehr von Ihrer Website.
  • Für eine Adresse, die Glintscout bereits hat: Lassen Sie sie auf der Seite Ihre Daten entfernen löschen. Sie wird gelöscht und nicht erneut erfasst, auch nicht von GlintscoutBot.

Kontakt

Fragen zu GlintscoutBot oder ein Besuch, mit dem Sie nicht gerechnet haben? Schreiben Sie an support@glintscout.com und nennen Sie die Adresse Ihrer Website.