Verständnisfrage bzw. Hilfestellung
Contao 4.9.21
Diese Einstellungen sind leer ... bei Aufruf der robots.txt wird wohl automatisch dies eingetragen:
Code:
user-agent:*
disallow:/contao/
Nun habe ich Folgendes eingetragen:
Code:
sitemap:https://meinedomain.tld/share/sitemap.xml
Damit meckert, warum auch immer, Lighthouse, dass meine robots.txt invalide sei. OK, nun hab ich's wieder rausgelöscht. Doch beim Aufruf der robots.txt verbleibt der Eintrag.
Code:
user-agent:*
disallow:/contao/
sitemap:https://meinedomain.tld/share/sitemap.xml
- ist der sitemap-Eintrag (auch) ein Standardeintrag?
- ist die robots.txt tatsächlich mit Einträgen "voreingestellt"?
- falls der sitemap-Eintrag kein Standardeintrag ist, wie bekomme ich den wieder raus?
- was könnte an der aktuellen robots.txt nicht valide sein?