4.4 Sitemap in Share wird immer wieder gelöscht - Woran liegt das?

Druckbare Version

20.11.2018, 17:12
rvs

4.4 Sitemap in Share wird immer wieder gelöscht - Woran liegt das?

Hallo,
meine Website https://www.kommposition.de läuft mit Contao 4.4. Die sitemap.xml habe ich im Ordner web/share abgelegt. Das klappt zunächst insofern ganz gut, als dass Googles Search Console die sitemap in dem Ordner auch findet - nun ja, eben solange, bis die sitemap auf einmal nicht mehr da ist. Irgend etwas löscht die sitemap.xml immer wieder aus dem Ordner web/share, nur weiß ich nicht, was?

Ich habe versucht, die wunderliche Eleminierung dieser Datei durch verschiedene Aktionen im Backend zu provozieren. Aber damit hatte ich zumindest heute keinen Erfolg. Trotzdem bin ich mir nach einigen Katz-und-Maus-Spielchen mit der stiemap sicher, dass sie in ein paar Tagen wieder verschwunden ist, wenn ich nachschaue.

Wer hat eine Idee, woran diese mysteriöse Auslöschung der sitemap.xml bei Contao 4.4 liegen kann?

Für hilfreiche Tipps dankbar:
Rüdiger
20.11.2018, 17:19
Spooky

Contao erzeugt automatisch eine Sitemap. Das stellst du im jeweiligen Webseiten Startpunkt ein. Die Sitemap wird dann periodisch neu erzeugt. Daher ist auch deine manuell dort abgelegte Sitemap dann weg (vermutlich).
20.11.2018, 19:22
webstar

Contao löscht alle XMLl-Dateien aus dem share-Ordner, die es nicht kennt:
https://github.com/contao/core-bundl....php#L250-L272

Du müsstest deine sitemap.xml daher in einen anderen Ordner legen.
20.11.2018, 20:11
rvs

Zitat:

Zitat von Spooky

Contao erzeugt automatisch eine Sitemap. Das stellst du im jeweiligen Webseiten Startpunkt ein. Die Sitemap wird dann periodisch neu erzeugt. Daher ist auch deine manuell dort abgelegte Sitemap dann weg (vermutlich).

Ja, das stimmt. Aber ich hatte vor längerer Zeit schon festgestellt, dass die von Contao automatisch erstellte Sitemap für meinen Geschmack etwas zu mager ausfällt und nicht alle Unterseiten meiner Website auflistet. Deshalb habe ich im Startpunkt den Haken aus dem Feld "Eine XML-Sitemap erstellen" wieder entfernt - natürlich in der Hoffnung, dass die sitemap, die ich dann mit FTP hochlade nicht mehr überschrieben wird. Dass diese von Contao einfach gelöscht wird, finde ich nun doch etwas überraschend.

Herzlichen Dank für Deine Antwort!
Rüdiger
20.11.2018, 20:15
rvs

Zitat:

Zitat von webstar

Contao löscht alle XMLl-Dateien aus dem share-Ordner, die es nicht kennt:
https://github.com/contao/core-bundl....php#L250-L272

Du müsstest deine sitemap.xml daher in einen anderen Ordner legen.

Danke auch für Deine Antwort. Diesen Trick habe ich heute auch probiert und der Search Console die sitemap mit einem anderen Pfad angeboten. Putzigerweise meldete mir die Search Console daraufhin trotzdem die Fehlermeldung, sie könne die sitemap nicht finden. Gesucht hat die Search Console diese sitemap übrigens wieder im Ordner share. Dabei hatte ich die alten Angaben zur sitemap in der Search Console zuvor extra gelöscht und die sitemap erst danach unter dem neuen Pfad angegeben. Etwas seltsam ist auch das, finde ich.

Beste Grüße,
Rüdiger
20.11.2018, 20:20
planepix

Möglicherweise muss da noch ein Hinweis in die robots.txt?
20.11.2018, 21:40
xchs

Zitat:

Zitat von rvs

und der Search Console die sitemap mit einem anderen Pfad angeboten

Wo genau hast Du denn Deine sitemap.xml abgelegt? Der Pfad müsste jedenfalls über den DocumentRoot erreichbar sein, also entweder direkt im Ordner web/ (oder in einem Unterordner davon) oder erreichbar über einen Symlink.
21.11.2018, 08:50
Spooky

Zitat:

Zitat von rvs

JAber ich hatte vor längerer Zeit schon festgestellt, dass die von Contao automatisch erstellte Sitemap für meinen Geschmack etwas zu mager ausfällt und nicht alle Unterseiten meiner Website auflistet.

Dann würde ich dem aber zuerst mal nach gehen. Was genau fehlt?
21.11.2018, 11:21
PaddySD

Die Sitemap von Contao ist das absolute Minimum, mehr leider nicht. Da gehören eigentlich deutlich mehr Angaben rein, von Update-Datum über die einzelnen Elemente bei Artikeln bis hin zu den Bildangaben.

Ich hatte für die 3.5.x mal eine Erweiterung geschrieben, die genau das macht. Bin aber leider hängen geblieben, und hab das aus Zeitgründen nicht mehr weiter entwickelt... Aber da muss ich bald ran, die wird also irgendwann sicher mal auf 4.x geupdated. Nur wann, dass kann ich nicht sagen, ich hab leider noch keinen Kunden, der das zahlt...

Aber zurück zur Frage:
Nein, Du kannst dieses Verhalten nicht umgehen, denn Contao löscht Dir alle *.xml Dateien im Ordner share. Egal, woher die kommen. Was Du hingegen machen könntest, schlicht einen anderen Ordner wählen. Gib bei Google einen anderen Ordner als share an, und leg die Datei dort rein. Eigentlich sollte das gehen.
28.11.2018, 13:14
merlincom

Version 4.4.29 - Contao erstellt keine Sitemap

Zitat:

Zitat von Spooky

Dann würde ich dem aber zuerst mal nach gehen. Was genau fehlt?

Hallo Spooky
Ich habe eine Datei angelegt
[1] /share/sitemap.xml

und im Backend aktiviert unter
[2] Seitenstruktur > [X] Eine XML-Sitemap erstellen (Eine Google XML-Sitemap im Ordner share/ erstellen.)
im Backend eingetragen
[3] Seitenstruktur > Sitemap-Dateiname > sitemap (Bitte geben Sie den Namen der Sitemap-Datei ohne Dateiendung ein)

Problem: Die sitemap.xml bleibt - was ich auch immer mache (Systemwartung etc) - leer.
28.11.2018, 13:22
Spooky

Ich glaube du hast meine Frage falsch verstanden ;)
28.11.2018, 13:57
merlincom

Zitat:

Zitat von Spooky

Ich glaube du hast meine Frage falsch verstanden ;)

Ich glaube nicht. Deine Frage war doch: Was fehlt an Einträgen in der sitemap? Meine Antwort: Einfach alles. :(
Gruss aus Basel
28.11.2018, 14:11
Spooky

Ah, du bist ja gar nicht der Thread Ersteller. Meine Frage war an rvs gerichtet. Warum hast du auf meine Frage geantwortet?
28.11.2018, 15:30
merlincom

Zitat:

Zitat von Spooky

Ah, du bist ja gar nicht der Thread Ersteller. Meine Frage war an rvs gerichtet. Warum hast du auf meine Frage geantwortet?

Weil ich mir erhoffte, dass du als wandelndes Contao-Lexikon möglicherweise einen Hinweis hast, wie in der Frage weiter vorzugehen ist. Danke deshalb schon mal im voraus für hilfreiche Tipps :)
28.11.2018, 15:39
Spooky

Dein Problem hat evt. nichts mit dem des Thread Erstellers zu tun. Daher öffne lieber einen eigenen Thread und beschreibe dein Problem genau ;)
18.12.2018, 06:42
rvs

Zitat:

Zitat von xchs

Wo genau hast Du denn Deine sitemap.xml abgelegt? Der Pfad müsste jedenfalls über den DocumentRoot erreichbar sein, also entweder direkt im Ordner web/ (oder in einem Unterordner davon) oder erreichbar über einen Symlink.

Grundsätzlich ist es ja eine schöne Idee, dass Contao einem den Service anbietet, eine sitemap automatisch zu erstellen. Das Ergebnis fällt für meinen Geschmack aber sehr reduziert aus. Mir fehlen z.B. Hinweise mit Links zu den PDF. Die halte ich für relevante Inhalte. Deshalb bin ich so vorgegangen:

1. Ich habe im Backend eingestellt, dass Contao keine sitemap.xml erstellen soll. Statt dessen habe ich eine sitemap über einen Sitemap-Generator im Internet erstellt un im Ordner SHARE abgelegt. Dass Contao daraufhin meine händisch erstellte sitemap immer wieder aus dem Ordner SHARE löscht, finde ich nicht sinnvoll oder zumindest erschließt sich mir der tiefere Sinn dieses ungehemmten Willens zur Auslöschung nicht auf Anhieb.

2. Im nächsten Schritt habe ich meine sitemap.xml direkt im Ordner WEB angelegt.

3. Nun habe ich in der robots.txt den Hinweis auf den Pfad zur sitemap.xml wie folgt geändert:
" User-agent: *
Sitemap: https://www.meinedomain.de/sitemap.xml "

4. Als nächstes habe ich die Google Search Console angewiesen, die robots.txt neu zu prüfen. Das war erfolgreich.

5. Dann habe ich in der Search Console den alten Link zur sitemap.xml gelöscht (das war der Link zur sitemap im Ordner SHARE) und die neue sitemap hochgeladen. Und siehe da: Google meldet einen: Fehler. Was tun?

Es hat ein Weilchen gedauert, bis ich dem hinterlistigen Trick auf die Spur gekommen bin. Ich selbst hatte beim Relaunch meiner Website mit Contao (was schon eine etwas längere Weile zurückliegt) eine hartnäckige Spur zum Ordner SHARE gelegt. Denn ich hatte damals in die htaccess eine redirect301 zur sitemap in SHARE geschrieben. Vor dem Relaunch war die sitemap meiner Website schließlich im Root-Verzeichnis zu finden.

Diese redirect301-Umleitung von /sitemap.xml zu https://www.meinedomein.de/share/sitemap.xml hat jetzt natürlich gestört, nachdem ich beschlossen hatte, nicht mehr an Contaos lustigen Streichorgien im Ordner SHARE teilhaben zu wollen. Kurzum: diese redirect301 habe ich jetzt so geändert, dass sie genau in die andere Richtung funktioniert, also von /share/sitemap.xml zu https://www.meinedomain.de/sitemap.xml umleitet. Und siehe da: Jetzt funktioniert es auch wieder mit der umfangreicheren sitemap.xml, die im Root-Verzeichnis klassisch verpackt auf Besuche von fröhlichen Suchmaschinenbots wartet.

Allen, die sich an der Diskussion beteiligt haben, herzlichen Dank für die nützlichen Hinweise.

Mit besten Grüßen,
Rüdiger
18.12.2018, 06:47
Spooky

Streichorgien?