Über unseren Crawler

Sie haben Conregio-Check in Ihren Server-Logs gefunden? Hier steht, was dahintersteckt.

Kennung

Conregio-Check/1.0 (+https://conregio.de/bot)

Token für robots.txt

conregio-check

Warum rufen wir Ihre Website ab?

Conregio prüft Websites im ausdrücklichen Auftrag ihrer Betreiber auf technische Probleme: kaputte Links, fehlende Verschlüsselung, Ladezeiten, Datenschutz-Themen, Auffindbarkeit bei Google. Wir crawlen nicht das offene Web und legen keine Sammlung fremder Inhalte an.

Es gibt dabei einen zweiten, deutlich kleineren Fall: Eine von uns geprüfte Website verlinkt auf Ihre Seite, und wir sehen nach, ob dieser Verweis noch funktioniert. Dann fragen wir nur den Kopf der Antwort ab (HTTP HEAD), höchstens fünf Adressen je Server und einmal im Monat. Wir laden dabei keinen Inhalt herunter und speichern von Ihrer Seite nichts außer dem Antwortcode. Ihre robots.txt lesen wir auch in diesem Fall vorher und halten uns daran.

Ergibt das für Sie keinen Sinn, schreiben Sie uns – wir klären das und stellen den Abruf ein.

Wie rücksichtsvoll gehen wir vor?

• Wir passen unser Tempo Ihrem Server an. Die Pause zwischen zwei Abrufen wächst mit Ihrer Antwortzeit: Antwortet Ihr Server in Millisekunden, arbeiten wir zügig; braucht er länger, warten wir entsprechend länger. So belegen wir nie mehr als einen Bruchteil einer einzigen Verbindung.
• Wir ziehen uns zurück, wenn Sie bremsen. Antwortet Ihr Server mit 429 oder 503, halten wir uns an Retry-After. Häufen sich Zeitüberschreitungen, brechen wir die Prüfung ab, statt weiter anzufragen.
• Wir halten uns an Ihre robots.txt – inklusive Crawl-delay.
• Wir speichern keine Seiteninhalte. Erfasst werden technische Kennzahlen wie Statuscode, Antwortzeit, Seitengröße, Seitentitel und Wortanzahl – nicht der Text Ihrer Seiten.

Wie sperren Sie uns aus?

Tragen Sie das in Ihre robots.txt ein:

User-agent: conregio-check
Disallow: /

Wir befolgen das ab dem nächsten Abruf. Einzelne Bereiche gehen genauso – etwa Disallow: /intern.

Kontakt

Fragen, Beschwerden oder ungewöhnliche Last durch unseren Crawler: kontakt@conregio.de. Wir melden uns zeitnah.