Suchindex Erstellung hängt

[hpt]

Hallo Forum,

ich habe eine neue Installation 5.2.6 mit PHP 8.1.25 und dem Theme 01. Theme Ver. 2.2.2 ohne Fehlermeldung installiert. Sonst keine weiteren Erweiterungen.
https://neu.ub-march.de/ bei Ionos Provider.
Bei Neuaufbau der Links und dem Suchindex mittels Systemwartung bleibt Crawler hängen. D.h. Anzahl der Seiten steigt immer mehr, Tabelle tl_crawl_queue wir immer größer.
Auch nch Stunden kein Ende in Sicht.

Crawler_1.jpg
Crawler_2.jpg

[Spooky]

Vermutlich hast du Filter- oder Pagination-Links via Query Parameter auf deiner Seite. Das erhöht die Anzahl der URL-Kandidaten exponentiell.

Wenn du weißt, dass du jegliche URL mit Query Parameter nicht unbedingt im Suchindex brauchst (auch nicht bei anderen Suchmaschinen), kannst du folgendes zu den robots.txt Einstellungen im Startpunkt der Website hinzufügen:

user-agent: *
disallow: /*?*

Das wird dann die Anzahl der URLs dramatisch reduzieren.

Stelle außerdem sicher, dass du den Canonical Tag im Startpunkt der Website aktiviert hast.

[hpt]

Vielen Dank für die schnelle Antwort.
Canonical Tag habe ich auf der Startseite aktiviert,
in den robots.txt Einstellungen die Code Einträge eingefügt.

Leider noch keine Veränderung!

Die Aussage Filter- oder Pagination-Links via Query Parameter sagt mir gar nichts. Kann es sein, das das Theme solche Filter verwendet?
Was sind Query Parameter, wo sind sie in Contao zu finden?

[Spooky]

Hattest du auch "Nach defekten Links suchen" aktiviert? Falls ja: bewusst? Denn auch das kann die Anzahl der URLs dramatisch erhöhen.

[Spooky]

Mit der aktualisierten robots.txt und ohne Broken Link Checker sieht es bei deiner Domain jetzt jedenfalls so aus:

[Spooky]

Was sind Query Parameter, wo sind sie in Contao zu finden?

Hier hast du z.B. sehr viele Query Parameter Kombinationen: https://neu.ub-march.de/events.html

[hpt]

Hat sich gearde mit der vorgehenden Antwort überschnitten! Nun ist es mir klar! Die Events sind das Problem im Theme!

Bisher habe ich bei allen anderen meiner Contao Installation immer auch defekte Links aktiviert gehabt und dabei keine Probleme damit erlebt.
Wenn ich nur "Den Suchindex aktualisieren" aktiviere, funktioniert Contao nun wie gewünscht!
Crawler_3.jpg

werde nun Kontakt zu https://pdir.de/ aufnehmen. Villeicht kann da das Problem mit den Links erläutert werden.
Danke!

[Spooky]

Werde nun Kontakt zu https://pdir.de/ aufnehmen. Villeicht kann da das Problem mit den Links erläutert werden.
Danke!

Das ist nicht wirklich ein Problem des Themes. Die erwähnte Seite ist nur eine Beispiel-Seite des Themes. Durch die dort eingesetzten Module kommt es quasi zu unendlich vielen URL-Kombinationen, die der Broken-Link-Checker dann alle prüfen würde. Der Broken-Link-Checker scheint hier die robots.txt Anweisungen zu ignorieren (verwirft aber aufgrund der robots.txt Anweisungen später dann die eigentliche Prüfung). Das ist also eher etwas, dass du als Issue in Contao melden solltest.