Crawler aktualisiert den Suchindex nicht

[Achim H.]

Einmal irrtümlich bei der Datenbereinigung im Backend den Haken bei "Suchindex löschen" nicht herausgenommen, und schon ist alles weg ... und kommt auch nicht wieder, wenn ich den Crawler durchlaufen lasse. Der meint nur, er müsse zahllose URLS überspringen und findet sich dann recht erfolgreich.
Screenshot 2021-09-07 202406.png
Betrifft diese Seite(n): https://www.hohlfeld.eu/suchen
Ach ja - alle Seiten sind beim Robots-Tag auf "index, follow" eingestellt.
Screenshot 2021-09-07 203057.png

Time,Source,URI,"Found on URI","Found on level",Tags,Message
"2021-09-07 20:27:34.293162","Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",https://a-klarinette.de/startpunkt-a-klarinette,,0,,"Broken link! HTTP Status Code: 500."
"2021-09-07 20:27:35.177276","Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",https://a-klarinette.de/nopermission,https://a-klarinette.de/sitemap.xml,3,,"Broken link! HTTP Status Code: 401."
"2021-09-07 20:27:35.291457","Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",https://a-klarinette.de/404,https://a-klarinette.de/sitemap.xml,3,,"Broken link! HTTP Status Code: 404."
"2021-09-07 20:28:08.103775","Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",https://www.hohlfeld.eu/nopermission,https://www.hohlfeld.eu/sitemap.xml,3,,"Broken link! HTTP Status Code: 401."
"2021-09-07 20:28:08.152255","Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",http://udoj.hohlfeld.eu/zugriff-verweigert-403,http://udoj.hohlfeld.eu/sitemap.xml,3,,"Broken link! HTTP Status Code: 401."
"2021-09-07 20:28:08.191841","Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",https://www.hohlfeld.eu/notfound,https://www.hohlfeld.eu/sitemap.xml,3,,"Broken link! HTTP Status Code: 404."
"2021-09-07 20:29:24.819758","Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",http://udoj.hohlfeld.eu/seite-nicht-gefunden-404,http://udoj.hohlfeld.eu/sitemap.xml,3,,"Broken link! HTTP Status Code: 404."

[Birden]

Um welche Contaoversion handelt es sich?

[Achim H.]

4.12.1

[designpilot]

Ich denke das könnte mit dem zusammenhängen
https://github.com/contao/contao/issues/3415

Und wenn es so ist, dann wird das bestimmt bald gefixt (bin ich mir sicher).

Gesendet von iPhone mit Tapatalk Pro

[Achim H.]

Dann muss ich warten.

Könnte ich für die Übergangszeit nicht einfach die Tabelleninhalte aus einer vorhandenen Datenbank-Sicherung einspielen?

[designpilot]

Dann muss ich warten.

Könnte ich für die Übergangszeit nicht einfach die Tabelleninhalte aus einer vorhandenen Datenbank-Sicherung einspielen?

Das kann ich Dir nicht sagen, ich kenn mich mit dem nicht ganz so aus, aber es wäre naheliegend das dieses Problem mit dem von mir verlinktem zu tun hat und ich würde eher warten, nicht das Du dir die DB zerschiesst.


Gesendet von iPhone mit Tapatalk Pro

[Samson1964]

Ich habe das Problem (oder ein ähnliches) in der 4.12.1 auch. Nach 3-4 Minuten ist der Indexer fertig und meldet 0 gefundene URLs und sonst nichts. Auch keine Fehler im Log. Der Index bleibt leer.
Die Indizierung über Seitenaufrufe funktioniert.

[designpilot]

Deaktiviere mal die 404,403,401 damit Du siehst ob es an denen liegt.


Gesendet von iPhone mit Tapatalk Pro

[Achim H.]

Daran liegt es nicht.

[Samson1964]

Bei mir auch nicht.

Crawler gestartet mit deaktivierten 401 usw.:

Den Suchindex aktualisieren
0 URL(s) erfolgreich indexiert. 1 fehlgeschlagen.

Kompletter Inhalt crawl_search-index_log.csv:

Time,Source,URI,"Found on URI","Found on level",Tags,Message
"2021-09-08 20:02:07.970448","Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",http://xxx.de/xxx.html,,0,,"Broken link! Could not request properly: Idle timeout reached for ""http://xxx.de/xxx.html"".."

xxx.html ist der Startpunkt.

[designpilot]

Hast Du dort beim Startpunkt ein Layout definiert, was hat es sonst noch für Seiten in deiner Installation drinn (Home usw.)


Gesendet von iPhone mit Tapatalk Pro

[Samson1964]

Bis 4.12.0 hat noch alles funktioniert. Aber meiner Erinnerung nach auch schon in der 4.12.1. Ich bin danach aber zu einem anderen Hoster umgezogen (Strato PowerWeb Basic zu Natek Servertarif). Beim Umzug konnte ich erstmal die tl_search-Tabellen nicht mitnehmen, weil auf dem alten Natek-Server Schlüssel nicht länger als 767 Byte sein dürfen. Ich mußte dann einiges an der Datenbank "reparieren", wobei ich an den tl_search-Tabellen nicht dran war. Die funktionierten plötzlich. Nur der Crawler will jetzt nicht mehr und wirft als einzigen Fehler den in der Logdatei aus.
Im Startpunkt ist natürlich ein Layout definiert.

[mlweb]

Habe gerade eine meiner Seiten upgedatet und kann das so nicht bestätigen. Der bekannte Fehler mit der 401-Seite taucht auf, aber ansonsten läuft das Crawling korrekt durch.

2021-09-09_crawler.png

@Samson
Bei Dir scheint das insgesamt mit einem Timout zu enden.

[lucina]

Wenn ich deine Fehlermeldung anschaue, dann steht da 'http:// ...' drin. Sicher, dass das korrekt eingestellt ist?

[designpilot]

Was die 404, 403, 401 betrifft dort ist es so das es ein Bug ist was in einer der nächsten Versionen sicher gefixt wird (so hat es mir Spooky gesagt)

https://github.com/contao/contao/issues/3415

Gesendet von iPhone mit Tapatalk Pro

[Anke]

Hallo Leute,

hatte das Problem unter 4.12.4: 0 Fehler, aber 0 Seiten indexiert.

Bei mir lag es an angepassten fe_page-templates. Kaum dass ich die geupdated hatte, war der Suchindex schon automatisch gefüllt.

Gruß,
Anke

[Achim H.]

Hallo Anke,
das ist die Lösung! Tausend Dank.

[Shania]

Ich bekommen diese Meldung in 4.9.24 beim versuchten Aufbau des Suchindexes.

2021-12-20 23:02:57.747700,"Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",https://www.xxx.de/startseite.html,,0,,"Broken link! HTTP Status Code: 401." 

Der 401 Seite habe ich ein nofollow/noindex gegeben, keine Änderung.

Eigene Templates habe ich mit Ausnahme der MM Templates auch mal umbenannt. Eine eigene fe_page nutze ich nicht.

Die Einträge in die config.yml habe ich auch gemacht.

Gibt es noch Ideen?

Die Suche nach defekten Links endet genauso, aber das wäre jetzt nicht ganz so wichtig.

[Spooky]

Laut der Meldung ist deine Startseite geschützt.

[Shania]

Ja, da liegt ein Passwortschutz per .htaccess drauf, weil das eine Testumgebung ist. Kann ich das irgendwo mitgeben oder muss ich den dann raus nehmen?

[Shania]

Ich habe das Passwort nun testweise entfernt und es läuft . Danke Spooky!

Allerdings dauert das ganz schön lange. Ich werde es beim nächsten mal per CLI versuchen.

[Spooky]

Kann ich das irgendwo mitgeben

Ja, in der config/config.yaml:

contao:
    crawl:
        default_http_client_options:
            auth_basic: 'username:password'

[Shania]

Ah super, danke dir, dann trage ich das da mal so ein, wenn er fertig ist. Aber noch läuft der Crawler und steht bei 27 % . Ich gehe dann mal einkaufen .

[Shania]

Nur mal zur Info: Es läuft immer noch und steht nun bei 30 % .

Bild_2021-12-21_140924.png

Meine Seite ist zwar groß, aber ich hatte jetzt nicht gedacht, dass es derart lange dauert. Ich nehme mal an, das liegt an den Linkprüfungen, denn die Seiten müssten längst neu indiziert sein. Links haben wir tatsächlich auch sehr viele. Aber immerhin geht es voran ... langsam ernährt sich das Eichhörnchen und zukünftig nur noch per CLI .

[Spooky]

Ja, die Broken Link Überprüfung solltest du deaktivieren, wenn du das nicht brauchst. Dadurch wird jeder Link auf der Seite geprüft.

[Shania]

Ja, das wird wohl noch mindestens bis heute Abend laufen. Es zählt immer noch hoch, aber ich bin doch erstaunt, dass das nicht abbricht. Das ist ja schonmal gut .

[Spooky]

Steht nun auch in der Dokumentation drin: https://docs.contao.org/manual/de/sy...authentication

[Shania]

Super, danke! Ich hatte dort tatsächlich auch vorher gelesen .

[Jens_]

Hallo @anke,

ich habe das gleiche Problem, aber meine fe_page ist so tief angepasst, dass ich nicht genau weiß, was ich reparieren muss, damit es wieder indiziert wird. Hast Du eine Stelle identifizieren können, die ursächlich war? Ich nutze ein Rocksolid-Theme (Swissy).

Eventuell hast Du da eine Erkenntnis.

Danke
Jens_

[Spooky]

Stelle sicher, dass folgende Zeile vorhanden ist: https://github.com/contao/contao/blo...page.html5#L96

[mlweb]

Ich nutze ein Rocksolid-Theme (Swissy).

Die Themes von Rocksolid werden sehr gut gepflegt. Lade Dir einfach die aktuellen Template-Versionen für dieses Theme herunter.
Wenn Du selbst nichts angepasst hast bei den Templates, kannst Du diese nach meiner Erfahrung einfach austauschen.

[Jens_]

Hallo Mlweb, Hallo Spooky

Danke Euch! Bides hat super geholfen. Die Zeile half, aber dann habe ich mich doch für die extra Meile entschieden und die fe_page aktualisiert und alle meine Anpassungen aus den letzten 10 Jahren nachgezogen. Nun sieht es wieder gut aus. :-)
Danke Euch und ein tolles 2022!

Jens_