Druckbare Version
Hallo,
ich habe eine Website die zu 98 % nur mit Login erreichbar ist.
Ist aktuell https://extensions.contao.org/?q=Cra...-authenticator wirklich die einzige Möglichkeit den Suchindex neu aufzubauen?
Oder gibt es auch andere Optionen um den Crawler wieder zu nutzen?
Ich denke ja. Was stört dich am Einsatz der Erweiterung?Zitat:
Zitat von Acta
Über das Backend geht es auch, oder nicht?
Über das Backend würde es mit einer config-Einstellung gehen, ja. Dann aber auch nur über das Backend und manuell angestoßen.Zitat:
Zitat von Spooky
Die Config bräuchte man sowieso. Und ja das meinte ich - über das Backend manuell angestoßen geht es auch.
Die Extension braucht man nur, wenn man das Crawling über die Kommandozeile ausführen lassen möchte.
Und so oder so würden die Inhalte beim Zugriff indexiert werden.
Über das Backend geht es nicht. Zumindest nicht in Version 5.3.43
Die Seiten sollen tatsächlich nicht indiziert werden bei Google etc. Ich wüsste gerade auch nicht wo ich das noch einstellen soll.Code:2026-01-19 11:55:55.936320,Terminal42\Escargot\Subscriber\RobotsSubscriber,https://domain.de/info.html,https://domain.de/sitemap.xml,3,disallowed-robots-txt,"Added the ""disallowed-robots-txt"" tag because of the robots.txt content."
Von anderen Suchmaschinen können geschützte Seiten ohnehin nicht indexiert werden - die bräuchten ja die Zugangsdaten dafür (welche sie hoffentlich nicht haben). In Contao 5.3 musst du die geschützen Seiten daher auf index,follow stellen.Zitat:
Zitat von Acta
In Contao 5.6+ kannst du es separat einstellen.
Und was genau hast du in deiner robots.txt definiert?
Ich habe keine robots.txt im public ordner.... komisch
Ah in den Einstellungen des Hauptpunktes stand noch was!
Das stellst du in den Einstellungen deines Website Roots ein. Eine physische robots.txt darfst du ohnehin nicht haben.Zitat:
Zitat von Acta
Genau daran lag es. Jetzt passt es und der Index ist vollständig aufgebaut!. MERCI