HTML-Sitemap, XML-Sitemap, noindex und Google

Hallöchen,

es hat sich ja einiges geändert: Keine Robots.txt mehr, Sitemap on demand und kein Feld Robots-Tags mehr zur Auswahl. Stattdessen hab ich die Wahl, etwas nicht in die HTML-Sitemap aufzunehmen und direkt darunter eine Seite "nicht in den Suchindex" aufzunehmen. Da muss mal erst mal wissen, dass es bei dieser Option nicht um den Contao Suchindex, sondern die Google-Indizierung geht. Das Häkchen setzt also ein einen noindex-Metatag in den Header. Google bemängelt jedoch "Gesendete URL als 'noindex' gekennzeichnet".

Wie verfahrt ihr damit?

Viele Grüße,
Anke

Welche Version? ich kann nicht ganz nachvollziehen was Du meinst zumindest das

Zitat:

---

kein Feld Robots-Tags mehr zur Auswahl.

---

nicht

Ja, sorry, ich war, glaub ich, etwas verwirrt.

Also, die robots.txt gibt es nicht mehr, den Robots-Tag schon noch.

Mein eigentliches Problem:
Ich habe einige Seiten auf noindex,follow gesetzt. Da bekomme ich von der Google Search Console Mitteilungen "Abdeckungsprobleme - Hauptfehler - Gesendete URL als 'noindex' gekennzeichnet - Problem beheben".

Was ist da ratsam? Wie macht ihr das? Google zuliebe grundsätzlich alle Seiten auf index,follow lassen? Irgendwo im Forum hatte ich gelesen, dass Google höchstens noindex,nofollow ohne Murren akzeptiert. Das macht ja keinen Sinn oder machen Suchmaschinen eh, was sie wollen, also ist es eigentlich egal, was man setzt??

Damit eine Seite nicht in der Sitemap aufscheint, musst du den Robots-Tag auf noindex,nofollow setzen.

Zitat:

---

Zitat von Spooky

Damit eine Seite nicht in der Sitemap aufscheint, musst du den Robots-Tag auf noindex,nofollow setzen.

---

ist im Handbuch inzwischen so mit eingepflegt

Zitat:

---

Zitat von Spooky

Damit eine Seite nicht in der Sitemap aufscheint, musst du den Robots-Tag auf noindex,nofollow setzen.

---

Danke für eure Antworten. Ich geh mal davon aus, dass ihr von der XML-Sitemap sprecht. Mir geht es hier um Seiten, die Google nicht in den Index aufnehmen (noindex), aber dennoch evtl. enthaltenen Links folgen soll (follow). Google betrachtet ein "noindex,follow" heutzutage aber als widersprüchlich und reklamiert das. In den Contao-Seiteneinstellungen habe ich aber nur die vorgegebenen Möglichkeiten, und z.B. kein reines "noindex" , was Google akzeptieren würde.

Ihr meint also, wenn ich eure kurzen Kommentare richtig interpretiere: Nur entweder index,follow oder noindex,nofollow benutzen, um den Inhalt der XML-Sitemap als alleinige Crawleranweisung zu nuten - und die Robots-Tags als solche zu vernachlässigen?

Hi, ich sehe das auch so und habe immer index,follow bzw. noindex,nofollow gewählt.
Das HTML-Sitemap Dropdown bezieht sich m.W. nur auf das Frontend-Modul Sitemap.

Allerdings habe ich ein Problem mit der XML-Sitemap in meinem Contao 4.12: Auch wenn ich eine Seite auf noindex,nofollow stelle, wird sie trotzdem in der XML-Sitemap (www.domain.tld/sitemap.xml) aufgeführt. Erst wenn ich den Haken bei "Seite veröffentlichen" herausnehme, verschwindet der url-Eintrag in der XML-Sitemap.
Kann das jemand bei seiner Installation nachvollziehen?

Liebe Grüße, Michael

Hallo Michael,

ich sitze gerade an einer Contao 4.11.8-Installation. Eine Seite auf noindex,nofollow gesetzt, Sitemap über die Systemwartung neu generieren lassen - und die Seite erscheint nicht in der Sitemap. Du hast auch die Systemwartung bemüht?

Gruß,
Anke

Hallo Anke,
ja hab ich, aber es macht keinen Unterschied. Alle relevanten Caches geleert.
Deaktiviere ich aber die Veröffentlichung, verschwindet die entsprechende Seite sofort aus der XML-Sitemap.

Im Quelltext der Seite steht auch

HTML-Code:

---

<meta name="robots" content="noindex,nofollow">

---

Liebe Grüße, Michael

Dann solltest du das Problem mal auf Github posten. (Ich hab noch kein 4.12.)