# robots.txt davidkeiser.de
# Stand 02.10.2026 (Relaunch). Gepflegt in Rank Math: Allgemeine Einstellungen, robots.txt bearbeiten.
#
# Grundsatz
# 1. Offen ist alles, was bei Google, Bing und in KI-Antworten erscheinen soll:
#    Seiten, Leistungen, Wissen, Stadtseiten, Bilder, CSS und JavaScript.
# 2. Gesperrt ist nur, was keinen Wert hat: Verwaltung, Login, interne Suche,
#    JSON-Kopien der Seiten, Kommentar-Feeds und interne Pruefparameter.
# 3. Seiten mit noindex oder Status 410 bleiben crawlbar (Danke-Seite, Rechtstexte,
#    Glossar, Kategorien, alte Stadtseiten). Nur so sehen Suchmaschinen den Hinweis.
# 4. Kein Such- oder KI-Crawler wird ausgeschlossen.
#
# Kurzprofil fuer KI-Systeme: https://davidkeiser.de/llms.txt

# Gruppe 1: Suchmaschinen, KI-Suche, KI-Assistenten und KI-Training, ausdruecklich erlaubt.
User-agent: Googlebot
User-agent: Bingbot
User-agent: DuckDuckBot
User-agent: Applebot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: Meta-ExternalFetcher
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
User-agent: CCBot
User-agent: cohere-ai
User-agent: YouBot
User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /wp-json/wp/v2/
Disallow: /wp-json/oembed/
Disallow: /?s=
Disallow: /*?s=
Disallow: /*&s=
Disallow: /search/
Disallow: /*?kbcheck=
Disallow: /*&kbcheck=
Disallow: /*?replytocom=
Disallow: /comments/feed/
Disallow: /*/feed/
Allow: /wissen/feed/

# Gruppe 2: SEO-Werkzeuge und Vielcrawler, erlaubt, aber gebremst.
User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: MJ12bot
User-agent: DataForSeoBot
User-agent: PetalBot
User-agent: Bytespider
Crawl-delay: 10
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /wp-json/wp/v2/
Disallow: /wp-json/oembed/
Disallow: /?s=
Disallow: /*?s=
Disallow: /*&s=
Disallow: /search/
Disallow: /*?kbcheck=
Disallow: /*&kbcheck=
Disallow: /*?replytocom=
Disallow: /comments/feed/
Disallow: /*/feed/
Allow: /wissen/feed/

Sitemap: https://davidkeiser.de/sitemap_index.xml