# robots.txt fuer meteozentrale.de
# Stand: 2026-06-17
# Ziel: wichtige Wetter-/News-Inhalte crawlbar halten, Systembereiche schuetzen,
#       neue News-/Meteo-Sitemaps sauber ausweisen und Spezial-Feeds gezielt erlauben.

# ==========================================================
# Allgemeine Regeln fuer Suchmaschinen-Crawler
# ==========================================================
User-agent: *

# WordPress-Admin schuetzen, AJAX aber erlauben
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# WordPress-Schnittstellen / Systembereiche
Disallow: /xmlrpc.php

# ==========================================================
# Wichtige Feeds gezielt erlauben
# Hinweis: /feed/ wird grundsaetzlich blockiert, deshalb muessen
# die redaktionell genutzten Spezial-Feeds vorher explizit erlaubt werden.
# ==========================================================
Allow: /feed/mz-google-news/
Allow: /feed/mz-flipboard/
Allow: /feed/mz-yandex-turbo/
Allow: /feed/podcast/

# Normale WordPress-Feeds und Kommentarfeeds nicht crawlen
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /*/feed/

# ==========================================================
# Meteo-Portale: Sitemap-Dateien erlauben, grosse Datenordner blockieren
# ==========================================================
Allow: /meteo/Orte_Sturm/sitemap_sturm.xml
Allow: /meteo/Orte_Unwetter/sitemap_unwetter.xml
Allow: /meteo/Orte_Niederschlag/sitemap_niederschlag.xml

Disallow: /meteo/Orte_Sturm/
Disallow: /meteo/Orte_Unwetter/
Disallow: /meteo/Orte_Niederschlag/

# ==========================================================
# Wichtig: alte entfernte Bereiche NICHT pauschal blockieren
# Falls .htaccess fuer alte URLs 410 Gone ausliefert, muss Google
# diese URLs crawlen duerfen, damit der 410-Status erkannt wird.
# Deshalb hier bewusst KEIN Disallow fuer alte Bereiche wie:
# /wetternews/ oder /suche/
# ==========================================================

# ==========================================================
# KI-Training / aggressive Scraper blockieren
# Googlebot bleibt davon unberuehrt. Google-Extended betrifft nur
# die erweiterte Nutzung fuer KI-Produkte, nicht die normale Suche.
# ==========================================================
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

# ==========================================================
# Sitemaps fuer Suchmaschinen
# Nur echte Sitemap-Endpunkte eintragen, keine normalen RSS-Feeds
# ==========================================================
Sitemap: https://meteozentrale.de/sitemap.xml
Sitemap: https://meteozentrale.de/google-news-sitemap.xml
Sitemap: https://meteozentrale.de/mz-news-sitemap.xml
Sitemap: https://meteozentrale.de/podcast-sitemap.xml
Sitemap: https://meteozentrale.de/meteo/Orte_Sturm/sitemap_sturm.xml
Sitemap: https://meteozentrale.de/meteo/Orte_Unwetter/sitemap_unwetter.xml
Sitemap: https://meteozentrale.de/meteo/Orte_Niederschlag/sitemap_niederschlag.xml