Geschützte Seiten werden nicht indiziert.

Hallo,
auf meiner Intranetseite habe ich viele geschützte Seiten (fast alle). Diese werden aber leider nicht vom crawler indiziert. ungeschützte Seiten werden problemlos indiziert und auch in der Fronted-Suche gefunden.

"nicht durchsuchen" ist bei allen Seiten abgewählt.

Ich kann mich erinnern das man früher beim crawlen angeben konnte welcher Frontend-Nutzer für die Suche "simuliert" werden soll. Das war eine sehr praktische Funktion die es nun aber leider nicht mehr gibt.
Auch die Einstellung "Geschützte Seiten indizieren" kann ich nicht mehr in den Einstellungen finden.

Nun habe ich es über die yaml Dateien versucht:

/config/config.yaml
(frontendnutzer hat alle rechte die Seiten aufzurufen)

Code:

---

# config/config.yaml
contao:
    crawl:
        default_http_client_options:
            auth_basic: 'frontendnutzer:passwort'
    search:
        default_indexer:
            enable: true
        # Enable indexing of protected pages.
        index_protected: true

---

/config/parameters.yaml

Code:

---

# config/parameters.yaml
parameters:
    router.request_context.host: 'meinedomain.de'
    router.request_context.scheme: 'https'

---

Kann mir jemand auf die Sprünge helfen was ich noch machen könnte?
Danke schonmal!

Wenn du den Crawler über das Backend startest, kannst du dort das Mitglied auswählen.

Zitat:

---

Zitat von Spooky

Wenn du den Crawler über das Backend startest, kannst du dort das Mitglied auswählen.

---

danke. Das würde mir schon helfen, nur leider finde ich diese option nicht im backend (siehe screenshot).
Anhang 27427

Hast du nach der Änderung der Config auch den Symfony Application Cache neu aufgebaut?

Die auth_basic Konfiguration kannst du entfernen, die hat keine Auswirkung (es sei denn du hast dir einen Authenticator umgesetzt).

die config.yaml habe ich geändert:

Code:

---

# config/config.yaml
contao:
    search:
        default_indexer:
            enable: true
        # Enable indexing of protected pages.
        index_protected: true

---

und die Symfony Caches gelöscht. Leider ist das Ergebnis wie vorher.
In den alten Contao Versionen war es zumindest möglich gewesen (nur allein über das Backend). In der neuen Version sehe ich gar nicht erst die Option. Ist diese Funktion nicht mehr erwünscht das man geschützte Seiten indizieren lassen kann?

Doch, wenn du index_protected aktiviert hast, solltest du die Auswahl haben.

ok. dann habe ich hoffnung das es noch funktionieren könnte.
in meiner installation gab es den /config Ordner gar nicht auf der Hauptebene (und entsprechend auch nicht das config.yaml). Diesen Ordner und die Dateien musste ich nachträglich von hand anlegen (was mich schon stutzig gemacht hat).

Kann es daran liegen das diese Intranetseite schon seit Typolight 2.xx geführt wird und immer wieder aktualisiert wurde bis Contao 5.4?

Vielleicht liegt es auch daran das meine config.yaml gar nicht berücksichtigt wird.

So sieht meine Ordnerstruktur aus. config und alles was darin liegt habe ich selbst angelegt.:

Code:

---

assets
bin
config
 - config.yaml
 - parameters.yaml
contao-manager
files
templates
var

---

Zitat:

---

Zitat von atomfried

oDiesen Ordner und die Dateien musste ich nachträglich von hand anlegen (was mich schon stutzig gemacht hat).

---

Das musst dich nicht stutzig machen, das ist normal.

ok. eine weitere sache die ich demnach ausschliessen kann.

ich habe eben in google nach bildern gesucht die mir zeigen wie man bei dem Crawler das Frontend-Mitglied auswählen kann. ich konnte keinen einzigen screenshot finden. was mich aber wirklich stutzig macht ist das diese Funktion nur in Erscheinung tritt wenn man anscheinend vorher Änderungen an der config.yaml (die man auch selbst erstmal anlegen muss) gemacht hat. In den alten Contao versionen war diese Funktion immer vorhanden (was auch sehr sinnvoll war). die verkomplizierung lässt mich annehmen das es eben nicht mehr erwünscht ist (warum auch immer).

wenn alles scheitern sollte muss ich kurzfristig alle seiten "unschützen" damit der crawler durchlaufen kann. aber das kann keine nachhaltige Lösung sein.

Zitat:

---

Zitat von atomfried

die verkomplizierung lässt mich annehmen das es eben nicht mehr erwünscht ist (warum auch immer).

---

Deine Annahme ist nicht richtig.

Zitat:

---

Zitat von Spooky

Deine Annahme ist nicht richtig.

---

das kann sein. dennoch stellt sich die frage warum aktuell etwas nicht mehr (problemlos/überhaupt) möglich ist, was jahrelang problemlos möglich war.

Zitat:

---

Zitat von atomfried

die verkomplizierung lässt mich annehmen das es eben nicht mehr erwünscht ist (warum auch immer).

---

Das ist eigentlich keine Verkomplizierung, sondern ein Aufräumen. Managementaufgaben sollen im Manager stattfinden, nicht im Backend. Die Auslagerung hat dann noch den Nebeneffekt, dass die Prozesse separat erfolgen können und es zusätzlich die Möglichkeiten erweitert, Dinge auf der Kommandozeile (und damit grundsätzlich auch per Script steuer- und automatisierbar) zu machen. Insgesamt trägt das zu Stabilität bei.

Das Backend ist für Redakteur:innen. Management ist für Leute, die wissen was sie tun, und auch mal eine dokumentierte Konfigurationsdatei anlegen können.

Zitat:

---

Zitat von lucina

Das ist eigentlich keine Verkomplizierung, sondern ein Aufräumen. Managementaufgaben sollen im Manager stattfinden, nicht im Backend. Die Auslagerung hat dann noch den Nebeneffekt, dass die Prozesse separat erfolgen können und es zusätzlich die Möglichkeiten erweitert, Dinge auf der Kommandozeile (und damit grundsätzlich auch per Script steuer- und automatisierbar) zu machen. Insgesamt trägt das zu Stabilität bei.

Das Backend ist für Redakteur:innen. Management ist für Leute, die wissen was sie tun, und auch mal eine dokumentierte Konfigurationsdatei anlegen können.

---

Hallo Lucina,

vielen Dank für deine Antwort. Mein vorrangiges Ziel ist es, das Problem zu lösen, und nicht, über politische Entscheidungen zu diskutieren. Falls du eine Lösung – sei es über die Kommandozeile, das Backend oder auf anderem Wege – hast, wäre ich dir sehr dankbar, wenn du mir diese mitteilen könntest.

Wie bereits erwähnt, habe ich einen provisorischen Workaround eingerichtet. Da dies jedoch keine dauerhafte Lösung ist, werde ich den betroffenen Kunden möglicherweise wieder zu TYPO3 migrieren müssen, was natürlich nicht in meinem Interesse ist. Ich bin seit Jahren ein überzeugter Fan von Contao, aber am Ende zählt nur das Ergebnis. Wenn du also eine Lösung oder einen Workaround parat hast, wäre ich dir sehr verbunden, wenn du mir diesen aufzeigen könntest.

Die (politische?) Diskussion hast Du ja selbst angefangen.
Ommmmmmmmmmmmmmmmmmmmmmmmmm :)

Sollte das, was Spooky geschrieben hat, wirklich nicht funktionieren, obwohl du alles richtig eingetragen und den Application Cache neu aufgebaut hast, dann wäre das ein Bug und wird sicher gefixt werden, sofern er denn auf Github gemeldet wird.

Zitat:

---

Zitat von tab

Die (politische?) Diskussion hast Du ja selbst angefangen.
Ommmmmmmmmmmmmmmmmmmmmmmmmm :)

Sollte das, was Spooky geschrieben hat, wirklich nicht funktionieren, obwohl du alles richtig eingetragen und den Application Cache neu aufgebaut hast, dann wäre das ein Bug und wird sicher gefixt werden, sofern er denn auf Github gemeldet wird.

---

Mein letzter Korrekturvorschlag hat eine absurde Diskussion auf GitHub ausgelöst, obwohl der Fehler von mehreren Personen anerkannt wurde. Das lasse ich daher lieber bleiben.
Das Problem hier ist allerdings kein Bug, sondern lediglich die Tatsache, dass eine Funktion gestrichen wurde.
Fakt ist: In der aktuellen Contao-Version ist es nicht möglich, geschützte Seiten indizieren zu lassen. Sollte jemand Zugang zu „geheimen“ Informationen haben, die das Gegenteil belegen, wäre ich sehr dankbar, wenn diese hier geteilt würden.

Bevor jetzt hier die absurde Diskussion weitergeht, ich bin gerade dabei eine entsprechende Testinstallation einzurichten. Dann werden wir ja sehen ...
Aber, wenn @Spooky davon ausgeht, dass das möglich ist und sogar weiss, wie es einzustellen wäre, dann gehe ich davon aus, dass es möglich sein wird.

Das finde ich gut. Ich bin gespannt auf das Ergebnis und wäre dir dankbar, wenn du es danach hier teilen könntest. Besonders interessieren würde mich ein Screenshot der Systemwartung mit dem „ominösen“ Auswahlfeld für das Frontend-Mitglied, also ähnlich wie der Screenshot, den ich zuvor gepostet habe.

Die Diskussion scheint an Schärfe gewonnen zu haben, was jedoch nie meine Absicht war. Mir geht es einzig und allein um die Frage:

"Kann man in der aktuellen Contao-Version geschützte Seiten indizieren" – ja oder nein?

Der Aufwand spielt dabei keine Rolle. Ich möchte lediglich wissen, ob es grundsätzlich möglich ist. Dass es in der Vergangenheit problemlos funktioniert hat, ist dabei nicht relevant.

Zitat:

---

Zitat von atomfried

Mein letzter Korrekturvorschlag hat eine absurde Diskussion auf GitHub ausgelöst, obwohl der Fehler von mehreren Personen anerkannt wurde.

---

Welcher Korrekturvorschlag?

Zitat:

---

Zitat von atomfried

Das lasse ich daher lieber bleiben.

---

Das ist die falsche Einstellung.

Zitat:

---

Zitat von atomfried

Das Problem hier ist allerdings kein Bug, sondern lediglich die Tatsache, dass eine Funktion gestrichen wurde.

---

Welche Funktion wurde gestrichen?

Zitat:

---

Zitat von atomfried

Fakt ist: In der aktuellen Contao-Version ist es nicht möglich, geschützte Seiten indizieren zu lassen.

---

Doch, das ist wie oben beschrieben möglich. Wenn dem nicht so ist liegt evt. ein Bug vor und das muss auf GitHub reported werden. Musst du aber vorher unabhängig verifizieren oder verifizieren lassen.

Ich kann jedenfalls kein Problem feststellen. Die Funktion ist nach wie vor in Contao 5.4 vorhanden, wenn contao.search.index_protected aktiviert ist.

https://community.contao.org/de/atta...1&d=1726834866

Zitat:

---

Zitat von Spooky

Welcher Korrekturvorschlag?

---

Es ging um einen Fehler im Handbuch.

Zitat:

---

Zitat von Spooky

Welche Funktion wurde gestrichen?

---

Die Funktion das Frontend-Mitglied auswählen zu können bevor den Crwaler aktiviert.

Zitat:

---

Zitat von Spooky

Doch, das ist wie oben beschrieben möglich. Wenn dem nicht so ist liegt evt. ein Bug vor und das muss auf GitHub reported werden. Musst du aber vorher unabhängig verifizieren oder verifizieren lassen.

---

Kannst du mir von der Systemwartung mit diesem Auswahlfeld ein Screenshot schicken? wie gesagt, in google konnte ich nichts finden.
Probleme auf Github zu reporten hat, meiner Erfahrung nach, nichts gebracht und daher sehe ich davon ab.

Zitat:

---

Zitat von atomfried

Es ging um einen Fehler im Handbuch.

---

Und welcher Fehler? Poste einen Link zum Issue oder PR.

Zitat:

---

Zitat von atomfried

Die Funktion das Frontend-Mitglied auswählen zu können bevor den Crwaler aktiviert.

---

Das wurde nicht entfernt.

Zitat:

---

Zitat von atomfried

Kannst du mir von der Systemwartung mit diesem Auswahlfeld ein Screenshot schicken?

---

Siehe vorheriger Post.

Zitat:

---

Zitat von atomfried

Probleme auf Github zu reporten hat, meiner Erfahrung nach, nichts gebracht und daher sehe ich davon ab.

---

Das ist wie gesagt die falsche Einstellung, davon musst du wieder abrücken.

Zitat:

---

Zitat von Spooky

Ich kann jedenfalls kein Problem feststellen. Die Funktion ist nach wie vor in Contao 5.4 vorhanden, wenn contao.search.index_protected aktiviert ist.

https://community.contao.org/de/atta...1&d=1726834866

---

Wow! genau das hätte ich auch gerne. Ich wäre froh wenn ich wüsste wo ich das einstellen kann. Erwartet hätte ich natürlich das es standardmäßig so ist, aber ich bin schon froh zu sehen das man es so hinbekommen kann.

Ich habe das jetzt mal ganz minimalistisch installiert und getestet.

• 1 Mitgliedergruppe
• 1 Mitglied
• erst einmal kein Login-Modul
• 5 Seiten, davon 2 geschützte

Dann die von dir hier gepostete config.yaml im Verzeichnis config erstellt.
Dann im Contao-Manager unter Systemwartung den Anwendungs-Cache erneuert.


Das erste Ergebnis ist schon mal:
Ja, ich kann das Mitglied auswählen in den Einstellungen für den Crawler
Er findet auch alle 5 URLs, aber nur, wenn das Mitglied angemeldet ist! (steht ja auch da)
Da ich noch keine Login-Möglichkeit eingerichtet habe, habe ich das in der Vorschau erledigt. Benutzernamen des Mitglied eingetragen, "Anwenden" geklickt. Danach in die Systemwartung, das Mitglied in den Einstellungen ausgewählt und den Suchindex aktualisiert.

Zitat:

---

5 URL(s) erfolgreich indexiert. 0 fehlgeschlagen.

---

Ohne das Mitglied einzutragen:

Zitat:

---

3 URL(s) erfolgreich indexiert. 0 fehlgeschlagen.

---

In die entsprechenden Tabellen sehe ich noch rein, ob da auch wirklich entsprechende Einträge der geschützen Seiten drin sind.
Edit: Sollte passen, 5 Einträge in tl_search mit den entsprechenden URLs und auch die Tabellen tl_search_index und tl_search_term sehen vernünftig aus.
Eine Suche habe ich freilich auf die Schnelle nicht in die Testsite eingebaut.

Zitat:

---

Zitat von tab

Da ich noch keine Login-Möglichkeit eingerichtet habe, habe ich das in der Vorschau erledigt. Benutzernamen des Mitglied eingetragen, "Anwenden" geklickt. Danach in die Systemwartung, das Mitglied in den Einstellungen ausgewählt und den Suchindex aktualisiert.

---

Das sollte nicht notwendig sein. Die Auswahl im Backend reicht.

Vielen Dank für die Mühen!
Jetzt weiß ich zumindest, dass es an dem Auswahlfeld liegt, das zwar existiert, bei mir aber nicht angezeigt wird. Immerhin habe ich jetzt einen Ansatzpunkt. Das Ziel ist es, dieses Auswahlfeld sichtbar zu machen. Ob es nur unter bestimmten Umständen erscheint, weiß ich leider nicht.
So sieht es bei mir aus:
Anhang 27429

Zitat:

---

Zitat von atomfried

So sieht meine Ordnerstruktur aus.

Code:

---

assets
bin
config
 - config.yaml
 - parameters.yaml
contao-manager
files
templates
var

---

---

Da hast du aber nicht alles gelistet, oder? Weil da fehlen zumindest noch die Ordner vendor/ und public/. Zeige zur Verifikation einen Screenshot der Ordnerstruktur des Instalationsverzeichnisses der Contao Installation über dein (S)FTP Programm.

Zitat:

---

Zitat von Spooky

Das sollte nicht notwendig sein. Die Auswahl im Backend reicht.

---

Stimmt! Da habe ich mich selbst hereingelegt. Mitglied ausgewählt und Crawler gestartet, ohne oben einzutragen, was er eigentlich machen soll. Das hat er mir dann auch in roter Schrift mitgeteilt und auch gleich die Auswahl des Mitglieds gelöscht. Das hatte ich nicht bemerkt, nur oben dann den Suchindex ausgewählt und den Crawler gestartet. Somit hat der natürlich nur 3 Seiten indexieren können.

Zitat:

---

Zitat von atomfried

Vielen Dank für die Mühen!
Jetzt weiß ich zumindest, dass es an dem Auswahlfeld liegt, das zwar existiert, bei mir aber nicht angezeigt wird. Immerhin habe ich jetzt einen Ansatzpunkt. Das Ziel ist es, dieses Auswahlfeld sichtbar zu machen. Ob es nur unter bestimmten Umständen erscheint, weiß ich leider nicht.
So sieht es bei mir aus:
Anhang 27429

---

Bist du sicher, dass du den Anwendungscache im Contao-Manager erneuert hast? Also nicht nur irgendwelche Caches im Contao-Backend? Sollte ja ansonsten bei dir nichts falsch sein. Immerhin benutze ich die config.yaml, die du hier gepostet hast. Einfach Copy&Paste in die entsprechende leere Datei im Editor-Fenster bei mir und gespeichert. Die Datei habe ich auch neu angelegt, da steht sonst nichts drin.

Zunächst muss ich mich entschuldigen.
Der letzte Beitrag hier hat mich dazu veranlasst, die FTP-Einstellungen zu überprüfen, und tatsächlich stellte sich heraus, dass mein Kollege diese auf eine mir bis eben unbekannte Testinstallation gesetzt hatte. Nun sehe ich glücklicherweise das Auswahlfeld.

Aber mal ganz ehrlich: Warum ist dieses Feld nicht von vornherein vorhanden, ohne dass man etwas an der Konfiguration ändern muss? In den letzten zehn Jahren war das doch auch so.
In der Anleitung wird es zwar erwähnt, allerdings mit zwei Fehlern, die ich noch committen werde (wohlwissend, dass die Chance auf Übernahme gering ist).

Ich danke euch für eure Mühe und Unterstützung!

Zitat:

---

Zitat von atomfried

(wohlwissend, dass die Chance auf Übernahme gering ist)

---

Was genau meinst du damit?

Zitat:

---

Zitat von Spooky

Was genau meinst du damit?

---

war etwas augenzwinkernd gemeint. mein letzter änderungsvorschlag wurde auch nicht übernommen, obwohl es offensichtlich ein fehler in der anleitung ist. ich hatte es auf deutsch kommentiert, ein anderer benutzer hatte es bestätigt und am ende wurde es von einer dritten person mit einem standard englischen satz abgewiegelt. zumindest hatte ich das so verstanden.

Seit dem halte mich zurück mit commits. zumindest im contao projekt

Zitat:

---

Zitat von atomfried

mein letzter änderungsvorschlag wurde auch nicht übernommen, obwohl es offensichtlich ein fehler in der anleitung ist.

---

Was für eine Änderung war das? Poste einen Link zum PR.

Zitat:

---

Zitat von Spooky

Was für eine Änderung war das? Poste einen Link zum PR.

---

https://github.com/contao/docs/commi...5a9d8a755b0bb9

Zitat:

---

Zitat von atomfried

https://github.com/contao/docs/commi...5a9d8a755b0bb9

---

Da hast du etwas falsch verstanden. Deine Änderung war korrekt und wurde auch übernommen. Durch deine Änderung ist aber aufgefallen, dass diese Übersetzung in Contao (unabhängig vom Handbuch) nicht passend ist. Daher wurde die Übersetzung in Contao wieder geändert (also auf Transifex, wo die Übersetzungen verwaltet werden) - und deswegen auch im Handbuch wieder zurück geändert. Die neue (alte) Bezeichnung wirst du in der aktuellsten (oder der nächsten) Contao Version wieder so vorfinden. Das habe ich in deinem PR auch so kommentiert: https://github.com/contao/docs/pull/...ent-2288271437

Okay, dann habe ich es tatsächlich falsch verstanden. "Will contain the original translation again" klang für mich wie eine Rücknahme meiner Änderungen.

Die beiden Fehler zur Indizierung der geschützten Seiten, die aktuell noch im Handbuch stehen, werde ich korrigieren.

Könntest du meinen Feature-Wunsch committen, dass die Auswahl der Frontend-Mitglieder beim Crawlen standardmäßig verfügbar ist, also ohne Anpassung der config.yaml?

Zitat:

---

Zitat von atomfried

Okay, dann habe ich es tatsächlich falsch verstanden. "Will contain the original translation again" klang für mich wie eine Rücknahme meiner Änderungen.

Die beiden Fehler zur Indizierung der geschützten Seiten, die aktuell noch im Handbuch stehen, werde ich korrigieren.

Könntest du meinen Feature-Wunsch committen, dass die Auswahl der Frontend-Mitglieder beim Crawlen standardmäßig verfügbar ist, also ohne Anpassung der config.yaml?

---

Siehe: https://community.contao.org/de/show...l=1#post588512

Zitat:

---

Zitat von atomfried

"Will contain the original translation again" klang für mich wie eine Rücknahme meiner Änderungen.

---

Deine Änderung wurde ja auch wieder rückgängig gemacht - eben weil auch in Contao diese Übersetzung wieder auf den Stand von vor Contao 5 zurück geändert wurde.

Zitat:

---

Zitat von atomfried

Könntest du meinen Feature-Wunsch committen, dass die Auswahl der Frontend-Mitglieder beim Crawlen standardmäßig verfügbar ist, also ohne Anpassung der config.yaml?

---

Du meinst index_protected by default auf true setzen? Ich denke nicht, dass das angenommen wird. Geschützte Seiten sollten von Haus aus nicht indexiert werden - einfach aus Sicherheitsgründen. Denn unabhängig vom Crawler würden dann durch reguläre Besuche die geschützten Seiten by default im Index landen.

Zitat:

---

Zitat von atomfried

Okay, dann habe ich es tatsächlich falsch verstanden.

---

Btw. anstatt aufgrund eines Missverständnisses die beleidigte Leberwurst zu sein, deswegen sich der kompletten Open Source Beteiligung bei Contao zu entsagen und im Forum anmaßend zu reagieren frage doch nächstes mal lieber erst nochmal nach … ;)

Übrigens, wenn du auch über die Kommandozeile die geschützten Seiten indexieren lassen will, gibt es hier eine kleine Extension zur Hilfestellung (bis es auch nativ in Contao möglich sein wird): https://extensions.contao.org/?p=ins...-authenticator

Zitat:

---

Zitat von Spooky

Übrigens, wenn du auch über die Kommandozeile die geschützten Seiten indexieren lassen will, gibt es hier eine kleine Extension zur Hilfestellung (bis es auch nativ in Contao möglich sein wird): https://extensions.contao.org/?p=ins...-authenticator

---

Sagt er, nachdem er die Erweiterung während dieser langen Diskussion sogar für Contao 5 aktualisiert hat :D
<3 @Spooky