Über unseren Crawler

Sie haben Conregio-Check in Ihren Server-Logs gefunden? Hier steht, was dahintersteckt.

Kennung

Conregio-Check/1.0 (+https://conregio.de/bot)

Token für robots.txt

conregio-check

Warum rufen wir Ihre Website ab?

Conregio prüft Websites im ausdrücklichen Auftrag ihrer Betreiber auf technische Probleme: kaputte Links, fehlende Verschlüsselung, Ladezeiten, Datenschutz-Themen, Auffindbarkeit bei Google. Wir crawlen nicht das offene Web und legen keine Sammlung fremder Inhalte an.

Der Durchgang läuft einmal am Tag, nachts ab 03:00 Uhr. Er gilt nur für Websites, deren Betreiber uns beauftragt und den Eigentumsnachweis erbracht hat. Fällt ein Tag aus, holen wir ihn nicht nach: Der nächste Durchgang sieht denselben Zustand, und mehrere hintereinander wären Last ohne Anlass.

Es gibt dabei einen zweiten, deutlich kleineren Fall: Eine von uns geprüfte Website verlinkt auf Ihre Seite, und wir sehen nach, ob dieser Verweis noch funktioniert. Dann fragen wir zuerst nur den Kopf der Antwort ab (HTTP HEAD), höchstens fünf Adressen je Server. Danach lassen wir diesen Server 30 Tage in Ruhe. Das gilt auch dann, wenn in der Zwischenzeit weitere unserer Kunden auf ihn verlinken. Die Frist zählt für den Server, nicht je Kunde. Meldet Ihr Server dabei einen Fehler oder lehnt er die Methode ab, fragen wir dieselbe Adresse ein zweites Mal vollständig ab (HTTP GET). Sonst würden wir einen funktionierenden Verweis fälschlich als tot melden, nur weil ein Server auf HEAD anders antwortet als auf GET. Gespeichert werden davon der Antwortcode und, bei einer Weiterleitung, deren Ziel. Ihre robots.txt lesen wir auch in diesem Fall vorher und halten uns daran.

Und es gibt einen dritten Fall, wenn der Betreiber ihn eingeschaltet hat: die Erreichbarkeitsüberwachung. Dann fragen wir rund um die Uhr alle 15 Minuten nur den Kopf der Antwort ab (HTTP HEAD). Das sind 96 Abrufe am Tag, bei einer Website mit Weiterleitung bis zu 192. Wir laden dabei keine Inhalte. Gespeichert wird, ob Ihr Server geantwortet hat und wie schnell.

Dieser eine Abruf passt sein Tempo bewusst nicht an. Er ist damit die Ausnahme von allem anderen, was wir tun. Eine Verfügbarkeitsmessung muss pünktlich sein, sonst misst sie unsere eigene Warteschlange statt Ihres Servers. Es bleibt ein einzelner HEAD alle 15 Minuten; das ist weniger, als eine Suchmaschine in derselben Zeit verursacht. Ihre robots.txt gilt auch hier: Sperren Sie uns aus, messen wir nicht. Als Ausfall werten wir das nicht.

Es gibt schließlich einen vierten Fall. Er gilt nur bei Websites, deren Betreiber uns seinen Eigentumsnachweis für die Domain erbracht hat: Wir suchen nach vergessenen Auftritten unter derselben Domain. Gemeint ist die Testinstallation von vorgestern, die noch öffentlich steht. Dazu fragen wir im Namenssystem eine feste Liste üblicher Namen ab (etwa staging., alt., test.). Antwortet einer davon, rufen wir höchstens acht davon je einmal die Startseite ab. Vorher lesen wir deren eigene robots.txt. Namen, die von der Hauptwebsite aus verlinkt sind, rufen wir gar nicht ab: Sie sind erkennbar gewollt.

Es gibt einen fünften Fall, ebenfalls nur nach erbrachtem Eigentumsnachweis. Wir sehen nach, ob vertrauliche Dateien öffentlich erreichbar sind. Gemeint sind die Konfigurationsdatei mit dem Datenbankpasswort, ein vergessener Datenbankabzug, ein Verzeichnis ohne Startseite. Dazu fragen wir eine feste, kurze Liste bekannter Pfade ab (etwa /.env, /backup.zip, /dump.sql). In einem Logfile sieht das einem Angriffsscan ähnlich, und deshalb steht es hier: Wir suchen keine Lücke, sondern melden dem Eigentümer, was ohnehin jeder finden könnte. Wir laden nichts davon herunter, was über die ersten Zeilen hinausgeht, und wir speichern keinen Inhalt. Festgehalten wird nur, dass die Datei erreichbar war.

Und es gibt einen sechsten Fall, wenn der Betreiber ihn ausdrücklich eingeschaltet hat: den Zustelltest für Kontaktformulare. Wir senden dann höchstens alle 25 Tage eine einzelne Testnachricht durch das Formular und sehen nach, ob sie ankommt. Das ist der einzige Fall, in dem wir auf einer Website etwas auslösen statt nur abzurufen. Die Nachricht sagt in ihrem Text, dass sie von uns stammt, und nennt einen Ansprechpunkt. Sie ist als Test erkennbar, nicht als Spam getarnt.

Ergibt das für Sie keinen Sinn, schreiben Sie uns. Wir klären das und stellen den Abruf ein.

Wie rücksichtsvoll gehen wir vor?

• Wir passen unser Tempo Ihrem Server an. Die Pause zwischen zwei Abrufen wächst mit Ihrer Antwortzeit: Antwortet Ihr Server in Millisekunden, arbeiten wir schnell; braucht er länger, warten wir entsprechend länger. So belegen wir im Regelfall nur einen Bruchteil einer einzigen Verbindung. Es gibt zwei benannte Ausnahmen: die Erreichbarkeitsmessung oben, und eine zügige Gangart, die wir nur von Hand und mit protokolliertem Grund einschalten. Sie kommt etwa vor, wenn ein Betreiber selbst um eine schnelle Nachprüfung bittet. Dann können kurzzeitig zwei Abrufe gleichzeitig laufen. Ihre robots.txt gilt auch dann: Ein Crawl-delay setzt die zügige Gangart außer Kraft.
• Wir ziehen uns zurück, wenn Sie bremsen. Antwortet Ihr Server mit 429 oder 503, halten wir uns an Retry-After. Häufen sich Zeitüberschreitungen, brechen wir die Prüfung ab, statt weiter anzufragen.
• Wir halten uns an Ihre robots.txt, einschließlich Crawl-delay.
• Eine Ausnahme, und sie gehört Ihnen. Wer für seine Website den Eigentumsnachweis erbracht hat, kann bei uns hinterlegen, dass wir die Disallow-Regeln seiner eigenen robots.txt übergehen. Der Nutzungsvorbehalt gehört ihm, also darf er ihn für uns aufheben. Ohne Nachweis geht das nicht. Sonst könnte jeder die robots.txt einer fremden Website für unwirksam erklären. Aufgehoben werden nur die Disallow-Regeln: Crawl-delay, Drosselung und der Rückzug bei Überlastung gelten weiter. Für fremde Server gilt die Ausnahme nie, und der Bericht weist sie aus.
• Wir speichern den Fließtext Ihrer Seiten nicht. Erfasst werden technische Kennzahlen wie Statuscode, Antwortzeit, Seitengröße und Wortanzahl. Dazu die Angaben, die eine Seite über sich selbst macht und die wir zum Prüfen brauchen: Seitentitel, Beschreibungstext, die Angaben für geteilte Links und die Sprachauszeichnung. Der eigentliche Text Ihrer Seiten wird ausgewertet, aber nicht abgelegt.

Wie sperren Sie uns aus?

Tragen Sie das in Ihre robots.txt ein:

User-agent: conregio-check
Disallow: /

Wir befolgen das ab dem nächsten Abruf. Einzelne Bereiche gehen genauso, etwa mit Disallow: /intern.

Kontakt

Fragen, Beschwerden oder ungewöhnliche Last durch unseren Crawler: kontakt@conregio.de. Wir melden uns zeitnah.