Crawler kommt nicht voran

Hallo zusammen,

der Crawler startet zwar, aber es passiert nichts (Der Crawler arbeitet gerade. Bitte warten Sie bis er fertig ist, um die Ergebnisse zu sehen, die Anzeige bleibt bei 0%). Nach ca. 3 Minuten bricht er dann ab. Anzeige: 100%, 1/1 - 0 Links erfolgreich geprüft. 1 war kaputt.

Im Crawler-Log steht folgendes:

Code:

---

"2021-02-27 02:52:31.942130","Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",https://richtigeURL/datei.html,,0,,"Broken link! Could not request properly: Idle timeout reached for ""https://richtigeURL/datei.html"".."

---

https ist aktiviert. Der angegebene html-Dateiname ist der Alias, der automatisch im Startpunkt der Website vergeben wird.

Das alles passiert sowohl beim Aufbau des Index als auch bei der Suche nach defekten Links.

Hat jemand eine Idee, wie ich weiterkomme (Version 4.9.9)?

LG Fryd

Passiert das in deiner lokalen Entwicklungsumgebung oder in einer Produktivumgebung?

Außerdem solltest du deine Applikation immer zuerst aktualisieren, bevor du dich um Probleme kümmerst.

Das befindet sich schon alles auf meinem WebServer, ist aber noch nicht freigegeben. Ich werde mich um die Aktualisierung kümmern.

Es gibt übrigens folgende Auffälligkeiten:
Der RAM-Speicher des Servers wurde mit Aufruf des Crawlers von 10 GB auf über 29 GB gefüllt, das sind 90%. Die Festplatte wurde von 10% auf 50% gefüllt.

Besonderheiten der Installation sind: Rocksolid Luxe-Theme und CatalogManager.
Wenn ich die einzelnen WebSeiten manuell aufrufe, werden sie normal indiziert und auch die Suche funktioniert dann.

Ich lasse mal einen Techniker auf den Server schauen, damit er wieder in den "Normalzustand" kommt. Dann kümmere ich mich um die Aktualisierung.

Vielen Dank,
Fryd

Hier einige Hinweise für andere mit ähnlichen Problemen:

Ursache war, dass der php-Befehlt "curl_multi_exec" nicht erlaubt war. Ich konnte ihn aus der Liste der gesperrten Befehle entfernen (Provider: KeyWeb) und dann lief der Crawler durch und hat alle Links geprüft.

Die Festplatte wurde durch die error.log im Ordner /home/users/UserName/logs vollgeschrieben. Die Datei ist durch die Crawler-Aufrufe auf 87 GB (Giga!) angewachsen. Das ist schon sehr ungewöhnlich. Ich habe die Datei jetzt gelöscht.

Wegen des RAM-Speichers werde ich heute nacht mal einen Server-Neustart machen.

Grüße
Fryd