Indexierung von Geschützen Inhalten

[Acta]

Hallo,

ich habe eine Website die zu 98 % nur mit Login erreichbar ist.

Ist aktuell https://extensions.contao.org/?q=Cra...-authenticator wirklich die einzige Möglichkeit den Suchindex neu aufzubauen?

Oder gibt es auch andere Optionen um den Crawler wieder zu nutzen?

[zoglo]

Hallo,

ich habe eine Website die zu 98 % nur mit Login erreichbar ist.

Ist aktuell https://extensions.contao.org/?q=Cra...-authenticator wirklich die einzige Möglichkeit den Suchindex neu aufzubauen?

Oder gibt es auch andere Optionen um den Crawler wieder zu nutzen?

Ich denke ja. Was stört dich am Einsatz der Erweiterung?

[Spooky]

Über das Backend geht es auch, oder nicht?

[zoglo]

Über das Backend geht es auch, oder nicht?

Über das Backend würde es mit einer config-Einstellung gehen, ja. Dann aber auch nur über das Backend und manuell angestoßen.

[Spooky]

Die Config bräuchte man sowieso. Und ja das meinte ich - über das Backend manuell angestoßen geht es auch.

Die Extension braucht man nur, wenn man das Crawling über die Kommandozeile ausführen lassen möchte.

Und so oder so würden die Inhalte beim Zugriff indexiert werden.

[Acta]

Über das Backend geht es nicht. Zumindest nicht in Version 5.3.43

2026-01-19 11:55:55.936320,Terminal42\Escargot\Subscriber\RobotsSubscriber,https://domain.de/info.html,https://domain.de/sitemap.xml,3,disallowed-robots-txt,"Added the ""disallowed-robots-txt"" tag because of the robots.txt content."

Die Seiten sollen tatsächlich nicht indiziert werden bei Google etc. Ich wüsste gerade auch nicht wo ich das noch einstellen soll.

[Spooky]

Die Seiten sollen tatsächlich nicht indiziert werden bei Google etc. Ich wüsste gerade auch nicht wo ich das noch einstellen soll.

Von anderen Suchmaschinen können geschützte Seiten ohnehin nicht indexiert werden - die bräuchten ja die Zugangsdaten dafür (welche sie hoffentlich nicht haben). In Contao 5.3 musst du die geschützen Seiten daher auf index,follow stellen.

In Contao 5.6+ kannst du es separat einstellen.

Und was genau hast du in deiner robots.txt definiert?

[Acta]

Ich habe keine robots.txt im public ordner.... komisch

[Acta]

Ah in den Einstellungen des Hauptpunktes stand noch was!

[Spooky]

Ich habe keine robots.txt im public ordner.... komisch

Das stellst du in den Einstellungen deines Website Roots ein. Eine physische robots.txt darfst du ohnehin nicht haben.

[Acta]

Genau daran lag es. Jetzt passt es und der Index ist vollständig aufgebaut!. MERCI