Hallo,
ich werde nicht ganz schlau aus diesen beiden Einstellungen. So wie es in der Contao Doku beschrieben ist funktioniert es bei mir nicht genau.
Ich verstehe es so: Die Robots-Tag einstellungen bestimmt wie Suchmaschinen wie z.B. Google die Seiten indizieren oder eben auch nicht. Die "Nicht durchsuchen" bestimmt ob die interne Contao Suchmaschine die Seiten indizieren soll oder eben auch nicht. Wenn ich aber alle Seiten auf "noindex, nofollow" stelle dann indiziert mir aber auch der interne Contao Crawler nicht die Seiten. Das steht dann sogar auch so im debug.log drin:
Do not request because the URI was disallowed to be followed by either rel="nofollow" or robots.txt hints.
oder auch bei manchen Seiten:
Forwarded to the search indexer. Did not index because of the following reason: No JSON-LD found.
das verstehe ich auch nicht was genau damit gemeint ist.
Auch wenn ich die robots.txt auf Disallow: / stelle wird nichts mehr vom Crawler indiziert.
Ich verstehe das Zusammenspiel dieser beiden Einstellungen nicht, und ob ich vielleicht anderswo einen Fehler gemacht habe und es deswegen nicht funktioniert.
danke!
Lesezeichen