Suchindex neu aufbauen - gelöschte Seiten werden nicht entfernt

[Balduin]

Hallo ich habe eine Frage zum Crawler bzw. Neuaufbau des Suchindex:
Wenn ich den Prozess anstosse werden zwar neue Seiten gefunden&indexiert, aber alte/gelöschte Seiten werden dabei leider nicht entfernt und befinden sich weiterhin in den Suchergebnissen, egal ob ich den Crawler über das Contao-Backend oder die Kommandozeile starte. Die gelöschten Seiten verschwinden auch erst, wenn ich über die Systemwartung den Suchindex zuerst komplett lösche und ihn anschließend wieder neu aufbauen lasse.

Sollten gelöschte Seiten nicht eigentlich vom Crawler beim Neuaufbau des Suchindex automatisch auch gelöscht werden? Oder muß das erst irgendwo als Einstellung aktiviert werden?

Aktuell lasse ich per Cronjob (über Crontab) den Suchindex jeden Morgen um 6:05Uhr über diesen Befehl neu aufbauen:

0 6 * * * php /contao-verzeichnis/vendor/bin/contao-console contao:crawl

Kann mir jemand sagen ob es auch einen Kommandozeilen-Befehl gibt mit dem ich erstmal den Suchindex komplett löschen kann?

Und wie müsste der Cronjob aussehen damit diese beiden Prozesse direkt hintereinander ablaufen?

[Balduin]

Kann mir niemand damit weiterhelfen?
Ich habe noch einen alten Thread mit der selben Thematik gefunden.
Der behandelt das Thema allerdings mit einer älteren Contao-Version in der man den Suchindex noch nicht über die Kommandozeile und crontab neu aufbauen konnte. Allerdings scheint es auch damals schon das Problem gegeben zu haben, daß beim Neuaufbau nicht immer automatisch alte/gelösche Seiten entfernt werden, obwohl das eigentlich passieren sollte, Zitat aus dem Thread:

Contao löscht übrigens doch Seiten aus dem Index, wenn für die aufgerufene URL keine Seite gefunden wurde - also jedesmal wenn die 404 Seite von Contao generiert wird, wird die entsprechende URL auch aus dem Suchindex gelöscht. Ansonsten werden nur Einträge aus tl_search_index gelöscht, wenn ein neuer Eintrag für die selbe URL hinzukommt.

Kann mir jemand sagen ob/wie ich meinen Kommandozeilen-Befehl anpassen kann damit auch alte/gelöschte Seiten aus dem Suchindex entfernt werden? In der Dokumentation finde ich dazu keine Einstellungsoptionen. Kann man das vielleicht irgendwie mit "/contao-console contao:cron" bewerkstelligen? Und falls nicht, noch einmal die Fage: Gibt es eine Möglichkeit den Suchindex per Kommandozeile komplett löschen?

[Dean]

Ich konnte die von dir beschriebene Problematik erstmal nachvollziehen. Daher bin ich hier auf dein Thema gestoßen. Allerdings hatte ich eine sehr alte 4.13er als Ausgangsbasis. Nach einem Update auf die neueste Version der Reihe war das Problem behoben, die gelöschten/deaktivierten Seiten sind aus dem Index verschwunden, ohne dass ich die Reindizierung per Cron oder im Backend angestossen hätte.
Ich will natürlich nicht ausschließen, dass es Caching-Effekte mit dem Update waren, die es ausgelöst haben. Leider hatte ich keine Zeit, der Sache systematisch auf den Grund zu gehen.

Vielleicht kann jemand anders kurz die zugrundeliegende Programatik erläutern, die für die Indizierung ausschlagebend ist. Was genau löst eine Aufnahme/Entfernung in/aus dem Index aus?

Einen Konsolenbefehl zum Löschen des Suchindex sehe ich auf Anhieb nicht.

[Balduin]

Ich konnte die von dir beschriebene Problematik erstmal nachvollziehen. Daher bin ich hier auf dein Thema gestoßen. Allerdings hatte ich eine sehr alte 4.13er als Ausgangsbasis. Nach einem Update auf die neueste Version der Reihe war das Problem behoben, die gelöschten/deaktivierten Seiten sind aus dem Index verschwunden, ohne dass ich die Reindizierung per Cron oder im Backend angestossen hätte.
Ich will natürlich nicht ausschließen, dass es Caching-Effekte mit dem Update waren, die es ausgelöst haben. Leider hatte ich keine Zeit, der Sache systematisch auf den Grund zu gehen.

Vielleicht kann jemand anders kurz die zugrundeliegende Programatik erläutern, die für die Indizierung ausschlagebend ist. Was genau löst eine Aufnahme/Entfernung in/aus dem Index aus?

Einen Konsolenbefehl zum Löschen des Suchindex sehe ich auf Anhieb nicht.

Das freut mich ja zu hören, daß ich mit dem Problem nicht alleine dastehe, danke für das Feedback!

Ich habe mal nachgeschaut und das Contao mit dem ich diese Problematik habe läuft auf Version 4.13.2
Kannst du mir sagen auf welche Version du geupdatet und damit das Problem behoben hast?

Ich habe auch mal die Changelogs für Version 4.13 überflogen und tatsächlich ein paar Fixes gefunden die ein bischen so klingen als könnten sie VIELLEICHT etwas mit dem Problem zu tun haben:

- Remove all "Unable to generate URL for page" log entries #4669
- Fix missing PurgePreviewLinksCron registration #4641
- Fix the empty URL check in the getCandidates() method #4631

Ich werde mal schauen ob ein Update das Problem auch bei mir behebt.

[mlweb]

Spätestens bei Problemen solltest Du immer erst auf eine aktuelle Version von Contao updaten.

[Dean]

Kannst du mir sagen auf welche Version du geupdatet und damit das Problem behoben hast?

4.13.15, also die letzte verfügbare Version.

Ich habe auch mal die Changelogs für Version 4.13 überflogen und tatsächlich ein paar Fixes gefunden die ein bischen so klingen als könnten sie VIELLEICHT etwas mit dem Problem zu tun haben:

Das war auch genau mein Gedankengang.