Generator für robots.txt mit KI-Crawler-Sperre
Die Zutrittsregeln für Crawler, mit oder ohne die KI-Crawler
Ausgangspunkt
KI-Crawler
Angehakt heißt gesperrt. Einen Trainingscrawler zu sperren kostet keine Sichtbarkeit; einen Suchcrawler zu sperren nimmt Sie aus den Antworten.
Ergänzen Sie die Adresse Ihrer Sitemap. Es ist der einfachste Weg, sie allen Suchmaschinen auf einmal zu nennen.
Ihre robots.txt
User-agent: * Disallow:
Gehört in die Wurzel der Domain, sonst nirgendwohin. Eine robots.txt in einem Unterverzeichnis wird nie gelesen.
Alles wird in Ihrem Browser berechnet. Nichts wird gespeichert.
Die robots.txt ist die erste Datei, die eine Suchmaschine von einer Website anfordert, und eine der wenigen, bei denen ein Fehler in einer Zeile verheerend wirkt: Ein falsch gesetztes Disallow deindexiert eine ganze Website. Dieses Tool stellt die Datei aus bewussten Entscheidungen zusammen, ergänzt die Sitemap-Adresse und bietet an, die Trainings-Crawler von Sprachmodellen zu sperren, die sich in den letzten Jahren vervielfacht haben.
Anleitung
So funktioniert es
Von einer Vorlage ausgehen
Präsentationswebsite, Website mit Kundenbereich oder leere Datei. Jede Vorlage setzt die üblichen Sperren des Falls.
Eigene Pfade ergänzen
Verwaltungsverzeichnisse, interne Suchseiten, Tracking-Parameter: alles, was nicht gecrawlt werden muss.
Über KI-Crawler entscheiden
Eine Liste der wichtigsten Trainings-Crawler lässt sich mit einem Klick sperren, ohne die klassischen Suchmaschinen anzurühren.
Gut zu wissen
Vier Dinge, die Sie im Kopf behalten sollten
Sperren ist nicht Deindexieren
Eine in robots.txt gesperrte Seite kann im Index bleiben, wenn andere Websites sie verlinken, dann ohne Beschreibung. Um sie wirklich zu entfernen, braucht es ein noindex-Tag und damit erlaubtes Crawlen.
Sperren Sie nie CSS oder JavaScript
Google rendert die Seite wie ein Browser. Ohne Stylesheets und Skripte sieht es sie kaputt und beurteilt sie entsprechend, was am Handy teuer werden kann.
Eine Sitemap-Zeile, immer
Es ist der einfachste Weg, Ihre Sitemap ohne Umweg über eine Konsole zu melden. Die Adresse muss absolut sein, in https, und auf eine Datei zeigen, die wirklich antwortet.
Vor dem Hochladen testen
Die Search Console bietet einen robots.txt-Tester. Ein einziger falsch gesetzter Schrägstrich hinter Disallow sperrt die ganze Website, und die Wirkung zeigt sich binnen Tagen in der Indexierung.
FAQ
Häufige Fragen
In die Wurzel der Domain, sonst nirgendwohin. Eine robots.txt in einem Unterverzeichnis wird nie gelesen. Sie muss unter der Wurzeladresse gefolgt von robots.txt mit Code 200 antworten.
Von den Anbietern, die ihren Crawler öffentlich dokumentieren, in der Regel ja. Die robots.txt bleibt eine Konvention; sie hat keine bindende Kraft über einen Crawler, der sie ignoriert.
Pflicht ist sie nicht, doch eine minimale Datei mit allgemeiner Erlaubnis und der Sitemap-Zeile vermeidet einen 404 in den Protokollen und nennt allen Suchmaschinen die Sitemap-Adresse.
Ja, über ihren User-Agent. Achten Sie auf die Reihenfolge: Es gilt die spezifischste Regel, und eine gezielt angesprochene Gruppe ignoriert die Regeln der allgemeinen Gruppe vollständig.
Und auch
Weitere Tools derselben Familie
Und auch
Was Lokvi für Sie übernimmt
Und wenn das alles ohne Sie liefe
Bewertungen sammeln, beantworten, Beiträge und Treueprogramm, auf Ihrem Google-Business-Profil, vollautomatisch.
Ohne Kreditkarte: Erstellen Sie Ihr Konto und entdecken Sie Ihre echten Daten.
14 Tage kostenlos, dann 29 €/Monat, ohne Verpflichtung.