Crawler funktioniert nicht richtig.

Hallo,

Bei meiner Intranetseite funktioniert der Crawler nicht richtig. nach dem Starten bekomme ich immer dieses Bild zu sehen:

Nach defekten Links suchen
0 Link(s) erfolgreich geprüft. 1 war(en) kaputt.

Den Suchindex aktualisieren
0 URL(s) erfolgreich indexiert. 1 fehlgeschlagen.

Source	URI	Message
Terminal42\Escargot\Escargot	https://manual.localhost:8890/manual.html	Exception of type "Symfony\Component\HttpClient\Exception\TransportE xception" occurred: SSL peer certificate or SSH remote key was not OK for "https://manual.localhost:8890/manual.html".
Contao\CoreBundle\Crawl\Escargot\Subscriber\Broken LinkCheckerSubscriber	https://manual.localhost:8890/manual.html	Broken link! Could not request properly: SSL peer certificate or SSH remote key was not OK for "https://manual.localhost:8890/manual.html"..
Terminal42\Escargot\Escargot	---	Finished crawling! Sent 1 request(s).

Anhang 24851


Im Ordner "app/config/" habe ich die Datei config.yml wie folgt angepasst damit auch die geschützten Seiten indiziert werden:

Code:

---

contao:
  search:
    default_indexer:
      enable: true
    index_protected: true
doctrine:
  dbal:
    connections:
      default:
        default_table_options:
          charset: utf8
          collate: utf8_unicode_ci

---

Vielen Dank schonmal!

Laut der Fehlermeldung hat der Server kein gültiges SSL Zertifikat.

Das Zertifikat hat mir MAMP selber automatisch erstellt. Ich habe es auch schon mit einem komplett eigen Erstelltem versucht. Nun habe ich die Webseite auf http:// umgestellt und dann läuft der Crawler ohne Probleme.

Ist das ein bekanntes Phänomen das Contao Probleme mit selbsterstellen Zertfifikaten hat?

Edit: Anscheinend schon... ich hätte das vorher mal richtig googlen müssen.
https://github.com/contao/contao/issues/2504

ich habe auch die config.yml angepasst, aber gebracht hat es leider auch nichts.

Code:

---

contao:
  search:
    default_indexer:
      enable: true
    index_protected: true
    crawl:
      default_http_client_options:
        verify_peer: false
doctrine:
  dbal:
    connections:
      default:
        default_table_options:
          charset: utf8
          collate: utf8_unicode_ci

---

ok... den Prod. Cache nicht geleert. Jetzt funktioniert alles! :D

Damit die Änderungen aktiv werden, muss am Ende der Anwendungs-Cache über den Contao Manager (»Systemwartung« > »Prod.-Cache erneuern«)

Zitat:

---

Zitat von atomfried

Das Zertifikat hat mir MAMP selber automatisch erstellt. Ich habe es auch schon mit einem komplett eigen Erstelltem versucht. Nun habe ich die Webseite auf http:// umgestellt und dann läuft der Crawler ohne Probleme.

Ist das ein bekanntes Phänomen das Contao Probleme mit selbsterstellen Zertfifikaten hat?

---

Nicht Contao selbst hat ein Problem damit, sondern alle Tools haben ein Problem damit ;). Dein Browser erlaubt dir ja auch nicht einfach so ein nicht verifiziertes Zertifikat zu benutzen.

Nachdem es sich um eine Intranet-Installation handelt könntest du für den HTTP Client des Crawlers die SSL Verifikation deaktivieren, empfohlen ist das jedoch nicht.

Zitat:

---

Zitat von Spooky

Nicht Contao selbst hat ein Problem damit, sondern alle Tools haben ein Problem damit ;). Dein Browser erlaubt dir ja auch nicht einfach so ein nicht verifiziertes Zertifikat zu benutzen.

---

Die Ausnahmegenemigung hatte ich natürlich vorher im Firefox bestätigt.

Zitat:

---

Zitat von Spooky

Nachdem es sich um eine Intranet-Installation handelt könntest du für den HTTP Client des Crawlers die SSL Verifikation deaktivieren, empfohlen ist das jedoch nicht.

---

Ja. genau so habe ich es auch gemacht. Oben habe ich die config.yml gepostet falls auch jemand anderes dieses Problem haben sollte. Danke für die Hilfe.

Hi,

danke für die config.yml. Ich brauchte das tatsächlich. Allerdings scheint die Einrückung nicht ganz zu passen. Daher hier meine aktuellen Einstellungen:

Code:

---

contao:
    search:
        default_indexer:
            enable: true
        index_protected: true
    crawl:
        default_http_client_options:
            verify_peer: false

---

Viele Grüße
René