Sitemap wird in der Google Search Engine nicht gefunden

[snarosy]

Hi!
Ich stehe vor dem Rätsel, dass nach einem aus meiner Sicht erfolgreichen Update von 3.5 auf 4.13 die sitemap.xml, obwohl im Browser über https://www.domain.com/sitemap.xml aufrufbar, nach Eintrag in der Google Search Engine nicht gefunden wird.
Der Hinweis lautet: Sitemap konnte nicht gelesen werden, Allgemeiner HTTP-Fehler

Ein Blockierung durch eine robots.txt (die es nicht gibt /geben sollte) konnte ich nicht finden.
Der Vorschlag von Google mit dem URL-Prüfungstool zu arbeiten bringt nach einiger Suche den Hinweis, dass die verweisende Seite der Startseite ganz woanders hin zeigt (auf eine andere Domain)

Es wird also offenbar immer weniger ein Contao-Problem, je mehr ich nach der Ursache suche, aber vielleicht kennt jemand das Problem und hat eine Lösung dafür.
Noch ein Hinweis: die Seite war vorhin bei mir inder Search Console eingetragen, möglicherweise also bestand das problem schon früher, das kann ich aber nicht mehr nachvollziehen.

[Spooky]

Poste einen Link zur Seite.

[snarosy]

https://www.hausaerztinnen.at/

und die dazugehörige sitemap:
https://www.hausaerztinnen.at/sitemap.xml

[Spooky]

Und welche Sitemap hast du in der Search Console aktuell eingetragen? Unter Contao 3.5 ist die URL der Sitemap ja anders als in Contao 4.13. Nach der Aktualisierung musst du also die alte Sitemap URL aus der Search Console löschen und (optional) die neue Sitemap URL eintragen.

[snarosy]

diese:
https://www.hausaerztinnen.at/sitemap.xml

Die Sache ist aber komplexer. Die zuvor unter der Domain laufende Website war eine Wordpress-Seite, die nicht ich gemacht habe.
Aus Synergiegründen habe ich meine Seite ausgehend von einer anderen 3.5er-Version aufgebaut, da ich hier viele Synergien nutzen konnte.

Möglich, dass sich hier verschiedene Einträge in die Google Search Engine spießen (meine und jene meines Vorgängers, den ich aber nicht kenne).
Es wundert mich halt nur, dass eine Seite (Sitemap), die im Browser korrekt angezeigt wird in der Console nicht gefunden wird.

Vermutlich hat die Sache wirklich nichts mit Contao zu tun...

[Spooky]

Poste mal einen Screenshot von dem, was die Google Search Console überhaupt beanstandet.

[snarosy]

also:
Screenshot 2023-01-24 110107.png
zeigt die eingereichte Sitemap
klickt man darauf wird dies angezeigt:
Screenshot 2023-01-24 110139.png
und jetzt wirds spannend:
Suche ich bei Google nach "Allgemeiner HTTP-Fehler" wird mir die Verwendung der Live-URL-Prüfung empfohlen:
Mach ich dies für die Startseite https://www.hausaerztinnen.at/ kommt dieses Ergebnis:
Screenshot 2023-01-24 110229.png
alle anderen Seite bringen kein Ergebnis:
Screenshot 2023-01-24 111144.png

Es gab in den letzen Jahren aber keinen Verweis auf eine andere Seite, die Website war immer abrufbar und wird ja auch bei Google gefunden.
https://www.google.com/search?client...saerztinnen.at

[Spooky]

Suche ich bei Google nach "Allgemeiner HTTP-Fehler" wird mir die Verwendung der Live-URL-Prüfung empfohlen:
Mach ich dies für die Startseite https://www.hausaerztinnen.at/ kommt dieses Ergebnis:

Du musst die URL https://www.hausaerztinnen.at/sitemap.xml prüfen, nicht https://www.hausaerztinnen.at/

[snarosy]

Auch hier kein Erfolg:
Screenshot 2023-01-24 112137.png
Beantrage ich die Indexierung kommt dies:
Screenshot 2023-01-24 112242.png
Der angebotene Live-test hat dieses Ergebnis:
Screenshot 2023-01-24 112401.png
Warum hier angezeigt wird, das robots.txt-Dateien den Aufruf blockieren, kann ich nicht nachvollziehen.
Mir war gar nicht bewusst, dass es die robots-Datei überhaupt gibt: https://www.hausaerztinnen.at/robots.txt, ich dachte, die wurde von Contao inzwischen enfernt.
Im Web-Verzeichnis finde ich diese auch nicht (FTP), aber egal, das angezeigte Ergebnis zeigt nichts Verdächtiges aus meiner Sicht.

[Kahmoon]

Du musst die Sitemap nicht indexieren sondern im eigenen Bereich dafür "anmelden/einreichen" (Siehe Anhang). Eine Sitemap gehört nicht in den Index.

[snarosy]

Das habe ich natürlich gemacht, ist ja nicht meine erste Installation:
Screenshot 2023-01-24 114329.png
(ok, einmal habe ich mich vertippt ...)
Bis jetzt hat es ja auch immer geklappt und die Sitemap wird ja im Browser korrekt aufgerufen.
Die Frage ist, warum Google dies nicht so sieht.

[Kahmoon]

Hast du im Startpunkt Anweisungen zur robots.txt?

Edit:
Also mit einem externen robots.txt Prüfer sehe ich weder in der Domain noch direkt auf die XML eine Einschränkung...hmmmm

[snarosy]

nein, die ist leer
der einzige Unterschied zu anderen 4er-Seiten, wo es beim Eintragen nie Probleme gegeben hat, ist die Tatsache, dass es sich in diesem Fall um ein Update von 3.5 auf 4.13 handelt.
Deswegen dachte ich, dass es vielleicht damit zusammenhängt.
Relevante Unterschiede im Code hätte ich aber nicht festgestellt.

[Kahmoon]

Hmm das ist strange..... sowohl der Zugriff ist ok als auch die Sitemap selbst.

[Kahmoon]

Ich sehe jedoch einen leichten Unterschied zu einer unserer funktionierenden Sitemaps unter 4.13 gegenüber deiner.

Bei deiner steht noch folgender Code in der ersten Zeile

<?xml version="1.0" encoding="UTF-8"?>

Woher das kommt kann ich nicht sagen.

Edit:
Du könntest testhalber mal eine manuelle Sitemap ohne diese Zeile an einer Stelle ablegen und diese einreichen. Dann sieht man zumindest ob das die Ursache wäre.

[snarosy]

allerdings, es bleibt spannend:
Habe jetzt einen Link gefunden, die robots.txt zu testen:
https://support.google.com/webmaster.../6062598?hl=de

Hier kommt für meine Seite folgendes Ergebnis!
Screenshot 2023-01-24 120843.png
Offensichtlich wird hier ein alte Datei von gestern gefunden, die Seite habe ich gestern Nachmittag umgestellt.
Die aktuelle passt ja inzwischen.
Ich habe jetzt mal Google um Aktualisierung gebeten, mal schauen.

An dieser Stelle aber aus Interesse die Frage, wie Contao diese robots.txt erstellt, die am Server an dieser Stelle (im Seitenroot) ja gar nicht angezeit wird?

[Spooky]

die Seite habe ich gestern Nachmittag umgestellt.

Achsoo. Sag das doch gleich .

Du musst dich einfach gedulden.

[Kahmoon]

Disallow / is aber schlecht :-D

Mach mal in der Systemwartung sauber und im Manager Cache löschen. Dann neu einreichen. Er sollte eigentlich schon direkt anzeigen das er sie erfolgreich aufrufen konnte (unabhängig von der Idnexierung)

[snarosy]

Yes, das wars :-)
Die Sitemap wird endlich gefunden.
Contao war unschuldig, wie gesagt im Browser wurde die robots.txt bereits korrekt angezeigt, nur Google hatte eine alte Version gespeichert.

Danke für eure Inputs!

[Spooky]

Mach mal in der Systemwartung sauber und im Manager Cache löschen.

Das bringt nichts, die robots.txt ist schon korrekt. Wie gesagt wurde die Seite erst gestern umgestellt und Google weiß noch nichts von den neuen Inhalten.

[snarosy]

Das mit dem Neu-einreichen der robots.txt wird schnell umgesetzt.
https://www.google.com/webmasters/to...s-testing-tool
Ich hatte nur bis jetzt nie dieses Problem, weil die Sitemap immer gleich gefunden wurde.

[snarosy]

Achsoo. Sag das doch gleich .

Du musst dich einfach gedulden.

Ich weiß: Geduld du haben musst - Junger Padawan

[tab]

Oder ist vielleicht der Zugriff durch Bots im Webserver blockiert? Oder auch die IP des/der Google-Bots durch die Firewall blockiert? Das kann z.B. durch Software wie fail2ban auch automatisch passieren, wenn entsprechend eingestellt.

Edit: Eher unwahrscheinlich, wenn es bisher funktioniert hat.

[snarosy]

nein, es war definitiv seitens google eine alte robots.txt-Datei irgendwo gespeichert
Da schaut Google dann offensichtlich erst nach einer gewissen Zeit nach, ob sich da inhaltlich etwas geändert hat.

[tab]

Das sollte man ja fast bei Google als Bug einreichen .
"Sitemap konnte nicht gelesen werden" ist ja wohl definitiv falsch bzw irreführend. Ebenso der allgemeine HTTP-Fehler. Das kanns ja wohl nicht sein! Was hat eine gespeicherte, nicht mehr aktuelle robots.txt mit HTTP-Fehler zu tun?

[tblumrich]

Hallo, ich hoffe es ist okay, das ich mich hier mal ranhänge, da ich das Problem auch habe.
Die Seite ist nebst sitemap.xml schon lange in der Searchconsole eingetragen.

Irgendwie läuft da was falsch... Google meldet einen http fehler (nicht näher beziffert) und die ausgabe der XML Datei sieht auch seltsam aus... woran kann das liegen?

Seite: https://www.happy-away.de/

Hat irgendjemand eine Idee? Hoster ist Strato.

[Spooky]

https://www.happy-away.de/sitemap.xml sieht korrekt aus.

Beschreibe genauer was Google beanstandet.

[tblumrich]

Manchmal ist das echt seltsam... das einzige was ich gemacht hatte, die sitemap nochmal neu eingereicht. Danach stand da immer http Fehler. Jetzt knapp 2h später wurde sie verarbeitet.
Davor dieselbe sitemap seit Wochen nicht.

Sorry und Danke!