Robots.txt

Wofür steht Robots.txt ?

Kurz und knapp: robots.txt definiert was Google auf der entsprechenden Webseite durchsuchen darf, um es in die Suchergebnisse mit aufzunehmen. Man kann Google also erlauben oder verbieten, bestimmte Seiten aufzunehmen.

Was löst robots.txt aus?

Sie ist eine kleine Datei, mit großen Auswirkungen auf dein SEO. Denn mit dieser kleinen Datei, kannst du den Crawlern von Google genau vorgeben, welche Seiten deines Internetauftritts von ihnen für die Suchergebnisse durchsucht werden dürfen; und welche nicht. Diesen Vorgang nennt man im Fachjargon „crawlen“.

Du kannst so Einfluss darauf nehmen, wie User dich in den Suchergebnissen finden. Du kannst den Crawler so beispielsweise vorgeben, dass dein Impressum oder die Seite mit dem Adminzugang nicht in den Suchergebnissen erscheinen sollen.

Woraus besteht sie?

Innerhalb der robots.txt Datei arbeitet man mit zwei Befehlen: „disallow“ und „allow„. Der Befehl „disallow“ legt fest, auf welche Seiten die Crawler keinen Zugriff haben, während der Befehl „allow“ Zugriff gewährt. Da „allow“ allerdings die Regel ist, braucht man den Fokus vorerst nur auf „disallow“ zu legen. Legst du also kein „disallow“ fest, werden die Crawler einfach deine gesamte Webseite durchsuchen und ggf. mit in die Suchergebnisse nehmen. Wenn dir das Recht ist, brauchst du also nichts mehr tun.

Wo findet man die robots.txt Datei? 

Um diese umzusetzen, verankerst du eine entsprechende Datei im Stammverzeichnis deiner Webseite. Diese Datei findet man immer, wenn man an die Domain den Zusatz /robots.txt. anhängt. Dann findest du eine so genannte „Nur-Text-Datei“, die definiert worauf die so genannten Crawler Zugriff haben; oder eben nicht.

Wenn dich interessiert, wie andere Webseiten sich bei diesem Thema entschieden haben, kannst du einfach die entsprechende Domain mit dem Zusatz /robots.txt oben in deiner Browsersuchleiste eingeben 🙂

Kleiner Tipp: Google hat ein paar Richtlinien formuliert, damit die Dateien auch wirklich funktionieren. Aber Achtung: Tech-Talk!