robots.txt ist leer

[stomfohrde]

Hallo zusammen,

ich hoffe hier in der richtigen Kategorie zu sein.
Bei einer neuen Installation von Contao 5.2.7 stelle ich fest, dass Google angeblich wegen einer "noindex"-Regel 150 Seiten nicht indexiert, wenn ich alle Seiten, News und Events prüfe sind diese jedoch alle auf "index/follow" gestellt. Ein Blick in die robots.txt zeigt mir ein leeres Dokument (Ausnahme: Pfad zur Sitemap und "/contao" + "/_contao" sind disallowed). Zumindest Impressum und Datenschutz sollten hier ja auftauchen, da ich hierfür "noindex/follow" definiert habe.

Systemwartung und Crawler wurden schon bemüht.

Hat jemand eine Idee woran das liegen kann?

[Spooky]

Zumindest Impressum und Datenschutz sollten hier ja auftauchen, da ich hierfür "noindex/follow" definiert habe.

Das wird als HTML Meta-Tag ausgegeben, nicht in der robots.txt. Davon abgesehen willst du vermutlich noindex,nofollow verwenden, wenn die Seite auch nicht in der Sitemap aufscheinen soll.