Contao-Camp 2024
Ergebnis 1 bis 4 von 4

Thema: Crawler kommt nicht voran

  1. #1
    Contao-Nutzer
    Registriert seit
    22.06.2009.
    Ort
    Bremen
    Beiträge
    229

    Standard Crawler kommt nicht voran

    Hallo zusammen,

    der Crawler startet zwar, aber es passiert nichts (Der Crawler arbeitet gerade. Bitte warten Sie bis er fertig ist, um die Ergebnisse zu sehen, die Anzeige bleibt bei 0%). Nach ca. 3 Minuten bricht er dann ab. Anzeige: 100%, 1/1 - 0 Links erfolgreich geprüft. 1 war kaputt.

    Im Crawler-Log steht folgendes:

    Code:
    "2021-02-27 02:52:31.942130","Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",https://richtigeURL/datei.html,,0,,"Broken link! Could not request properly: Idle timeout reached for ""https://richtigeURL/datei.html"".."
    https ist aktiviert. Der angegebene html-Dateiname ist der Alias, der automatisch im Startpunkt der Website vergeben wird.

    Das alles passiert sowohl beim Aufbau des Index als auch bei der Suche nach defekten Links.

    Hat jemand eine Idee, wie ich weiterkomme (Version 4.9.9)?

    LG Fryd

  2. #2
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    33.897
    Partner-ID
    10107

    Standard

    Passiert das in deiner lokalen Entwicklungsumgebung oder in einer Produktivumgebung?

    Außerdem solltest du deine Applikation immer zuerst aktualisieren, bevor du dich um Probleme kümmerst.
    » sponsor me via GitHub or PayPal or Revolut

  3. #3
    Contao-Nutzer
    Registriert seit
    22.06.2009.
    Ort
    Bremen
    Beiträge
    229

    Standard

    Das befindet sich schon alles auf meinem WebServer, ist aber noch nicht freigegeben. Ich werde mich um die Aktualisierung kümmern.

    Es gibt übrigens folgende Auffälligkeiten:
    Der RAM-Speicher des Servers wurde mit Aufruf des Crawlers von 10 GB auf über 29 GB gefüllt, das sind 90%. Die Festplatte wurde von 10% auf 50% gefüllt.

    Besonderheiten der Installation sind: Rocksolid Luxe-Theme und CatalogManager.
    Wenn ich die einzelnen WebSeiten manuell aufrufe, werden sie normal indiziert und auch die Suche funktioniert dann.

    Ich lasse mal einen Techniker auf den Server schauen, damit er wieder in den "Normalzustand" kommt. Dann kümmere ich mich um die Aktualisierung.

    Vielen Dank,
    Fryd

  4. #4
    Contao-Nutzer
    Registriert seit
    22.06.2009.
    Ort
    Bremen
    Beiträge
    229

    Standard

    Hier einige Hinweise für andere mit ähnlichen Problemen:

    Ursache war, dass der php-Befehlt "curl_multi_exec" nicht erlaubt war. Ich konnte ihn aus der Liste der gesperrten Befehle entfernen (Provider: KeyWeb) und dann lief der Crawler durch und hat alle Links geprüft.

    Die Festplatte wurde durch die error.log im Ordner /home/users/UserName/logs vollgeschrieben. Die Datei ist durch die Crawler-Aufrufe auf 87 GB (Giga!) angewachsen. Das ist schon sehr ungewöhnlich. Ich habe die Datei jetzt gelöscht.

    Wegen des RAM-Speichers werde ich heute nacht mal einen Server-Neustart machen.

    Grüße
    Fryd

Aktive Benutzer

Aktive Benutzer

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)

Lesezeichen

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •