Contao-Camp 2024
Ergebnis 1 bis 7 von 7

Thema: Crawler funktioniert nicht richtig.

  1. #1
    Contao-Fan
    Registriert seit
    08.03.2010.
    Beiträge
    451

    Frage Crawler funktioniert nicht richtig.

    Hallo,

    Bei meiner Intranetseite funktioniert der Crawler nicht richtig. nach dem Starten bekomme ich immer dieses Bild zu sehen:

    Nach defekten Links suchen
    0 Link(s) erfolgreich geprüft. 1 war(en) kaputt.

    Den Suchindex aktualisieren
    0 URL(s) erfolgreich indexiert. 1 fehlgeschlagen.

    Source URI Message
    Terminal42\Escargot\Escargot https://manual.localhost:8890/manual.html Exception of type "Symfony\Component\HttpClient\Exception\TransportE xception" occurred: SSL peer certificate or SSH remote key was not OK for "https://manual.localhost:8890/manual.html".
    Contao\CoreBundle\Crawl\Escargot\Subscriber\Broken LinkCheckerSubscriber https://manual.localhost:8890/manual.html Broken link! Could not request properly: SSL peer certificate or SSH remote key was not OK for "https://manual.localhost:8890/manual.html"..
    Terminal42\Escargot\Escargot --- Finished crawling! Sent 1 request(s).

    Bildschirmfoto 2021-08-21 um 11.10.47.png


    Im Ordner "app/config/" habe ich die Datei config.yml wie folgt angepasst damit auch die geschützten Seiten indiziert werden:
    Code:
    contao:
      search:
        default_indexer:
          enable: true
        index_protected: true
    doctrine:
      dbal:
        connections:
          default:
            default_table_options:
              charset: utf8
              collate: utf8_unicode_ci
    Vielen Dank schonmal!
    Geändert von atomfried (21.08.2021 um 11:52 Uhr)

  2. #2
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    33.896
    Partner-ID
    10107

    Standard

    Laut der Fehlermeldung hat der Server kein gültiges SSL Zertifikat.
    » sponsor me via GitHub or PayPal or Revolut

  3. #3
    Contao-Fan
    Registriert seit
    08.03.2010.
    Beiträge
    451

    Frage

    Das Zertifikat hat mir MAMP selber automatisch erstellt. Ich habe es auch schon mit einem komplett eigen Erstelltem versucht. Nun habe ich die Webseite auf http:// umgestellt und dann läuft der Crawler ohne Probleme.

    Ist das ein bekanntes Phänomen das Contao Probleme mit selbsterstellen Zertfifikaten hat?

    Edit: Anscheinend schon... ich hätte das vorher mal richtig googlen müssen.
    https://github.com/contao/contao/issues/2504

    ich habe auch die config.yml angepasst, aber gebracht hat es leider auch nichts.

    Code:
    contao:
      search:
        default_indexer:
          enable: true
        index_protected: true
        crawl:
          default_http_client_options:
            verify_peer: false
    doctrine:
      dbal:
        connections:
          default:
            default_table_options:
              charset: utf8
              collate: utf8_unicode_ci
    Geändert von atomfried (21.08.2021 um 12:40 Uhr)

  4. #4
    Contao-Fan
    Registriert seit
    08.03.2010.
    Beiträge
    451

    HTML

    ok... den Prod. Cache nicht geleert. Jetzt funktioniert alles!

    Damit die Änderungen aktiv werden, muss am Ende der Anwendungs-Cache über den Contao Manager (»Systemwartung« > »Prod.-Cache erneuern«)

  5. #5
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    33.896
    Partner-ID
    10107

    Standard

    Zitat Zitat von atomfried Beitrag anzeigen
    Das Zertifikat hat mir MAMP selber automatisch erstellt. Ich habe es auch schon mit einem komplett eigen Erstelltem versucht. Nun habe ich die Webseite auf http:// umgestellt und dann läuft der Crawler ohne Probleme.

    Ist das ein bekanntes Phänomen das Contao Probleme mit selbsterstellen Zertfifikaten hat?
    Nicht Contao selbst hat ein Problem damit, sondern alle Tools haben ein Problem damit . Dein Browser erlaubt dir ja auch nicht einfach so ein nicht verifiziertes Zertifikat zu benutzen.

    Nachdem es sich um eine Intranet-Installation handelt könntest du für den HTTP Client des Crawlers die SSL Verifikation deaktivieren, empfohlen ist das jedoch nicht.
    » sponsor me via GitHub or PayPal or Revolut

  6. #6
    Contao-Fan
    Registriert seit
    08.03.2010.
    Beiträge
    451

    Standard

    Zitat Zitat von Spooky Beitrag anzeigen
    Nicht Contao selbst hat ein Problem damit, sondern alle Tools haben ein Problem damit . Dein Browser erlaubt dir ja auch nicht einfach so ein nicht verifiziertes Zertifikat zu benutzen.
    Die Ausnahmegenemigung hatte ich natürlich vorher im Firefox bestätigt.

    Zitat Zitat von Spooky Beitrag anzeigen
    Nachdem es sich um eine Intranet-Installation handelt könntest du für den HTTP Client des Crawlers die SSL Verifikation deaktivieren, empfohlen ist das jedoch nicht.
    Ja. genau so habe ich es auch gemacht. Oben habe ich die config.yml gepostet falls auch jemand anderes dieses Problem haben sollte. Danke für die Hilfe.

  7. #7
    Contao-Fan Avatar von Fehrmann
    Registriert seit
    04.07.2009.
    Ort
    Wismar
    Beiträge
    580
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Hi,

    danke für die config.yml. Ich brauchte das tatsächlich. Allerdings scheint die Einrückung nicht ganz zu passen. Daher hier meine aktuellen Einstellungen:

    Code:
    contao:
        search:
            default_indexer:
                enable: true
            index_protected: true
        crawl:
            default_http_client_options:
                verify_peer: false
    Viele Grüße
    René
    Software-Entwickler Backend/Frontend

Aktive Benutzer

Aktive Benutzer

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)

Lesezeichen

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •