Mit robots.txt können z.B. Admin-Bereiche, Staging-Umgebungen oder unwichtige Seiten vom Crawling ausgeschlossen werden. Wichtig: robots.txt verhindert das Crawling, aber nicht zwingend die Indexierung – dafür wird ein noindex-Tag benötigt. Fehler in der robots.txt können dazu führen, dass wichtige Seiten nicht indexiert werden.
zurück zum Glossar
Robots.txt
Autor
David Keiser
David Keiser bringt über 10 Jahre Erfahrung im Webdesign und der Suchmaschinenoptimierung mit und gilt als ausgewiesener Experte aus Recklinghausen.
Sie haben ein spannendes Projekt? Lassen Sie uns darüber sprechen.
Schicken Sie uns einfach eine unverbindliche Anfrage und wir melden uns innerhalb von 24 Stunden zurück.
100% unverbindlich & persönlich.