robots.txt gibt ungewollt "Disallow: /" aus!

**mandrael** · 25.08.2021, 18:44

Hallo,
seit dem Update auf v4.12 blockiert Contao alle Suchmaschinen mit
User-agent: *
Disallow: /
(zumindest ist es mir heute aufgefallen und ich vermute zumindest, dass das Update damit zu tun hat)

Es ist nichts im Seitenbaum bei robots eingetragen, ich habe den prod-cache gelöscht und auch die entsprechenden Einträge in der Systemwartung. Auch den Cloudflare-Cache.
Ebenfalls habe ich manuell eine korrigierte robots.txt in /web zu kopiert.

Es ist also ein SEO Worst-Case-Szenario.
Woran könnte das liegen und wie kann ich die robots.txt beeinflussen? Habe ich da etwas übersehen?

Vielen Dank und liebe Grüße, Michael

**Spooky** · 25.08.2021, 18:56

Kann ich nicht bestätigen. By default gibt die /robots.txt Route folgendes aus:

Code:

user-agent:*
disallow:/contao/

sitemap:https://example.com/sitemap.xml

Sicher dass du keine eigene robots.txt im web/ bzw. public/ Ordner liegen hast?

**mandrael** · 25.08.2021, 19:08

Liebe Spooky,
danke für die rasche Antwort! Wenn ich
https://www.domain.tld/preview.php/robots.txt
aufrufe, bekomme ich genau deine Ausgabe, also wie es sein sollte.

Rufe ich allerdings https://www.domain.tld/robots.txt auf, kommt eine custom robots.txt mit dem problematischen Eintrag.
Alle mir bekannten Caches habe ich gelöscht...

In /web ist keine robots.txt

Es ist mir also ein Rätsel, wo die modifizierte robots.txt herkommt. Ich habe auch mit browserling.com ausgeschlossen, dass es an meinem Rechner liegt :-/

Liebe Grüße, Michael

**mandrael** · 25.08.2021, 19:59

Nach einem Klick auf "Debug Mode: Activate" ging die ganze Seite nicht mehr. Nach dem Klick auf Deactivate im Contao Manager ist der auch nicht mehr erreichbar.

Letztes Lebenszeichen:
"ERROR 524
HTTP-Anfrage für "DELETE api/contao/jwt-cookie" fehlgeschlagen.
Der Server hat eine Antwort mit Status-Code 524 gesendet.
<!DOCTYPE html>"

Heute ist wohl nicht mein Tag :-/

**mandrael** · 25.08.2021, 20:26

Okay, für den Fall, dass noch jemand dieses seltene Problem hat:

Es sieht aus, das ganze Problem hatte mit Cloudflare zu tun, nicht mit Contao an sich. Die Subdomains (nicht in Cloudflare) zeigten stets die richtige robots-Datei und nachdem Contao auf der Hauptdomain in die Knie ging, konnte ich sowohl das Backend als auch den Manager auf den Subdomains aufrufen. Nur www.domain.tld wurde von Cloudflare gecached. Ich habe Cloudflare für diese Domain deaktiviert.
Danach gab es ein "DNS_PROBE_FINISHED_NXDOMAIN"-Problem, das mit dem NGINX-Server zusammenhing (cpnginx). Nach "rebuild vhosts" und "restart" war auch dieses Problem behoben. Contao läuft nun wieder normal auf der Hauptdomain und es wird die korrekte robots.txt ausgegeben.

Vielen Dank nochmal für die rasche Reaktion und einen schönen Abend :-D
LG Michael