Probleme bei der Suche nach defekten Links

**snarosy** · 18.04.2024, 09:34

Bei der Suche nach defekten Links erhalte ich folgendes Ergebnis:

Code:

2024-04-18 10:21:01.346061,"Contao\CoreBundle\Crawl\Escargot\Subscriber\BrokenLinkCheckerSubscriber",https://www.xxx.at/sitemap.xml,https://www.xxx.at/robots.txt,2,is-sitemap,"Broken link! Could not request properly: Transfer closed with 2594 bytes remaining to read for ""https://www.xxx.at/sitemap.xml"".."
2024-04-18 10:21:03.614666,"Contao\CoreBundle\Crawl\Escargot\Subscriber\BrokenLinkCheckerSubscriber",https://www.xxx.at/zimmerei-schoell.html,,0,,"Broken link! Could not request properly: Transfer closed with 54231 bytes remaining to read for ""https://www.xxx.at/"".."

Die Seite wird nicht richtig durchsucht.
Spannend vermutlich die Transfer closed Meldung, ich kann nur nicht wirklich etwas damit anfangen.
Die Seite https://www.xxx.at/zimmerei-schoell.html gibt es eigentlich gar nicht, "zimmerei-schoell" ist der Seitenalias des Startpunkts der Website.

Ich habe die Seite neulich von 4.9 auf 4.13 angehoben (Aktuell 4.13.42), entwickelt wurde sie mit COntao 4.4., evtl. sind da noch irgendwelche Altlasten?

Auch beim Suchindexaufbau passt das Ergebnis nicht.
0 URL(s) erfolgreich indexiert. 0 fehlgeschlagen.
1 URL(s) wurde(n) übersprungen.

Folgendes Debug-Log:

Code:

2024-04-18 10:37:07.972185,"Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",https://www.xxx.at/sitemap.xml,https://www.xxx.at/robots.txt,2,is-sitemap,"Did not index because the response did not contain a ""text/html"" Content-Type header."
2024-04-18 10:37:07.972950,"Terminal42\Escargot\Escargot",https://www.xxx.at/sitemap.xml,https://www.xxx.at/robots.txt,2,is-sitemap,"Exception of type ""Symfony\Component\HttpClient\Exception\TransportException"" occurred: Transfer closed with 2594 bytes remaining to read for ""https://www.xxx.at/sitemap.xml""."
2024-04-18 10:37:10.251532,"Terminal42\Escargot\Escargot",https://www.xxx.at/xxx.html,,0,,"Exception of type ""Symfony\Component\HttpClient\Exception\TransportException"" occurred: Transfer closed with 54231 bytes remaining to read for ""https://www.xxx.at/""."
2024-04-18 10:37:10.251649,"Contao\CoreBundle\Crawl\Escargot\Subscriber\SearchIndexSubscriber",https://www.xxx.at/xxx.html,,0,,"Broken link! Could not request properly: Transfer closed with 54231 bytes remaining to read for ""https://www.xxx.at/"".."
2024-04-18 10:37:10.252109,"Terminal42\Escargot\Escargot",---,---,---,---,"Finished crawling! Sent 2 request(s)."

möglicherweise ist die Ursache des Problems dasselbe?

**snarosy** · 18.04.2024, 14:52

Weil ich mit meiner Recherche nicht weitergekommen bin, habe ich die Seite auf einen anderen Server bei einem anderen Provider überspielt.
Und siehe da, nun funktioniert die Suche.
Jetzt die Frage, welche Servereinstellungen können die Problematik verursachen, damit ich dem Provider die richtigen Hinweise geben kann?
php 8.2 auf beiden Servern gleich

**zoglo** · 18.04.2024, 17:24

Es gibt noch weitere Extensions und Einstellungen, die für Contao getroffen werden müssen:
https://docs.contao.org/manual/de/in...raussetzungen/

Die Fehlermeldung:

PHP-Code:


Symfony\Component\HttpClient\Exception\TransportException"" occurred: Transfer closed with 54231 bytes remaining

Spricht dafür, dass hier kein HTML zurück kam. Die Seite konnte also nicht (komplett) eingelesen werden.

**snarosy** · 19.04.2024, 07:46

Das Problem ist ja nicht, dass die Seite nicht läuft, sondern es nur im Fall des Safari Browsers Probleme gibt.
Der Provider hat das SSL-Zertifikat neu gesetzt, das hat aber nichts geholfen.
Sobald die Seite korrekt im Safari geladen wurde (auf meinem Testserver), waren auch alle anderen Probleme (Suche nach defekten Links und Aufbau des Suchindex) gelöst.
Ich werde den provider nochmals bitten die Systemanforderungen zu untersuchen, die sind ja auf der von dir verlinkten Seite gut aufgelistet.

**snarosy** · 26.04.2024, 08:19

Problem gelöst:
Nach der Deaktivierung der Laufzeit-Konfiguration zlib.output_compression geht jetzt die Suche nach defekten Links und die Aktualisierung des Suchindex.
Damit zusammenhängend funktioniert jetzt auch die Anzeige im Safari-Browser.