Individuelle robots.txt-Anweisungen

Verständnisfrage bzw. Hilfestellung

Contao 4.9.21

Diese Einstellungen sind leer ... bei Aufruf der robots.txt wird wohl automatisch dies eingetragen:

Code:

---

user-agent:*
disallow:/contao/

---

Nun habe ich Folgendes eingetragen:

Code:

---

sitemap:https://meinedomain.tld/share/sitemap.xml

---

Damit meckert, warum auch immer, Lighthouse, dass meine robots.txt invalide sei. OK, nun hab ich's wieder rausgelöscht. Doch beim Aufruf der robots.txt verbleibt der Eintrag.

Code:

---

user-agent:*
disallow:/contao/

sitemap:https://meinedomain.tld/share/sitemap.xml

---

- ist der sitemap-Eintrag (auch) ein Standardeintrag?
- ist die robots.txt tatsächlich mit Einträgen "voreingestellt"?
- falls der sitemap-Eintrag kein Standardeintrag ist, wie bekomme ich den wieder raus?
- was könnte an der aktuellen robots.txt nicht valide sein?

Ich habe da selbst gerade mal bei einer Kundenseite rumgespielt und ein Problem festgestellt, das allerdings wohl von mir verursacht war. Da war noch eine "echte" robots.txt vorhanden, in der nur das drinstand:

Code:

---

user-agent:*
disallow:

---

Wie die Datei mit dem Inhalt erstellt worden ist kann ich nicht mehr nachvollziehen. Von mir so jedenfalls nicht, also wohl automatisch zu irgendeinem Zeitpunkt in 2019. Ursprünglich war da der sitemap-Eintrag drin und noch einiges mehr. Ich habe die Datei also jetzt gelöscht, weil sie sonst automatisch ausgegeben wird, da sie ja existiert. Somit kam die von Contao dynamisch erzeugte robots.txt niemals zur Anwendung. Jetzt wo sie gelöscht ist, taucht dann der Eintrag mit der Sitemap auf, wenn man die dynamisch erzeugte robots.txt aufruft.

Sieht eigentlich aus wie deine auch. Allerdings habe ich die Sitemap nicht manuell ergänzt sondern einfach ein paar Einstellungen weiter unten war seit eh und je "eine XML-Sitemap erstellen" aktiviert und der gewünschte Name eingegeben. Dadurch wird das wohl in der robots.txt automatisch ergänzt, dein manueller Eintrag mag dann eventuell Probleme verursachen. In der Google Search Console habe ich die Sitemap dann einfach nochmal eingereicht und Google hat sie wohl gefressen so wie es aussieht, jedenfalls eingelesen zum ersten Mal nach 2019 und 3 Seiten mehr als zuvor angezeigt. Kann also wohl nicht völlig invalide sein. Ich werde das beobachten und bei anderen Kundenwebsites in den nächsten Tagen auch kontrollieren müssen.:rolleyes:

Zitat:

---

Zitat von derRenner

, nun hab ich's wieder rausgelöscht. Doch beim Aufruf der robots.txt verbleibt der Eintrag.

---

Lösche mal den Seiten- und Browser Cache.

Zitat:

---

Zitat von Spooky

Lösche mal den Seiten- und Browser Cache.

---

hatte/habe ich getan
hatte auch auf anderer workstation und jeweils andere browser getestet - überall das gleiche Ergebnis.

Wie @tab schreibt: in meiner Seitenstruktur ist XML-Sitemap erstellen angehakt und 'sitemap' eingetragen. Wird dadurch der Eintrag automatisch erstellt?

Bei mir wurde der Eintrag automatisch erzeugt. Aber nochmal zur Sicherheit: Es darf keine robots.txt im document root existieren! Nur dann wird die robots.txt dynamisch erzeugt und enthält dann auch den Sitemap-Eintrag, wenn die Einstellung zur Erzeugung einer XML-Sitemap wie bei dir und auch bei mir aktiv ist. Ich glaube ich habe noch in der Systemwartung die Datei (Sitemap und weitere Dateien) neu schreiben lassen, weiss aber nicht ob das entscheidend war.

Zitat:

---

Zitat von tab

Aber nochmal zur Sicherheit: Es darf keine robots.txt im document root existieren!

---

nein, eigene robots.txt exsistiert nicht

Zitat:

---

Zitat von derRenner

- ist der sitemap-Eintrag (auch) ein Standardeintrag?

---

Wenn du die Sitemap in Contao 4.9 aktiviert hast, ja. In Contao 4.12+ existiert die Sitemap (und damit auch dieser Eintrag) immer.

Zitat:

---

Zitat von derRenner

- ist die robots.txt tatsächlich mit Einträgen "voreingestellt"?

---

Yep :)

Zitat:

---

Zitat von derRenner

- was könnte an der aktuellen robots.txt nicht valide sein?

---

Poste einen Link zur Seite.