Crawler bricht nach kurzer Zeit (auch) in der Konsole ab
Habe gerade Contao von 4.8.7 auf 4.9.1 aktualisiert und wollte anschließend den Crawler im Backend laufen lassen. Der Job läuft 2 Tage durch, ohne dass was passiert...
Dann habe ich mir das Crawler-Video von der Contao-Academy angesehen, den korrekten Domainnamen eingegeben und das Ganze über die Konsole versucht. Ebenfalls vergeblich. Nach kurzer Zeit bricht der Crawl-Vorgang ab. Mit dem Zusatz -vvv bekam ich dann u.a. folgende Fehlermeldung:
Code:
Crawling…
402/3098 [===>------------------------] 12%
19:12:20 ERROR [console] Error thrown while running command "contao:crawl -vvv". Message: "The URL of the element is relative, so you must define its base URI passing an absolute URL to the constructor of the Symfony\Component\DomCrawler\AbstractUriElement class ("" was passed)."
[
"exception" => InvalidArgumentException {
#message: "The URL of the element is relative, so you must define its base URI passing an absolute URL to the constructor of the Symfony\Component\DomCrawler\AbstractUriElement class ("" was passed)."
#code: 0
#file: "/www/htdocs/w007154e/contao/vendor/symfony/dom-crawler/AbstractUriElement.php"
#line: 52
trace: {
/www/htdocs/w007154e/contao/vendor/symfony/dom-crawler/AbstractUriElement.php:52 { …}
/www/htdocs/w007154e/contao/vendor/symfony/dom-crawler/Crawler.php:873 { …}
/www/htdocs/w007154e/contao/vendor/terminal42/escargot/src/Subscriber/HtmlCrawlerSubscriber.php:58 { …}
/www/htdocs/w007154e/contao/vendor/terminal42/escargot/src/Escargot.php:466 { …}
/www/htdocs/w007154e/contao/vendor/terminal42/escargot/src/Escargot.php:408 { …}
/www/htdocs/w007154e/contao/vendor/terminal42/escargot/src/Escargot.php:316 { …}
/www/htdocs/w007154e/contao/vendor/contao/core-bundle/src/Command/CrawlCommand.php:127 { …}
/www/htdocs/w007154e/contao/vendor/symfony/console/Command/Command.php:255 { …}
/www/htdocs/w007154e/contao/vendor/symfony/console/Application.php:1019 { …}
/www/htdocs/w007154e/contao/vendor/symfony/framework-bundle/Console/Application.php:97 { …}
/www/htdocs/w007154e/contao/vendor/symfony/console/Application.php:271 { …}
/www/htdocs/w007154e/contao/vendor/symfony/framework-bundle/Console/Application.php:83 { …}
/www/htdocs/w007154e/contao/vendor/symfony/console/Application.php:147 { …}
/www/htdocs/w007154e/contao/vendor/contao/manager-bundle/bin/contao-console:38 { …}
}
},
"command" => "contao:crawl -vvv",
"message" => "The URL of the element is relative, so you must define its base URI passing an absolute URL to the constructor of the Symfony\Component\DomCrawler\AbstractUriElement class ("" was passed)."
]
19:12:20 DEBUG [console] Command "contao:crawl -vvv" exited with code "1"
[
"command" => "contao:crawl -vvv",
"code" => 1
]
In AbstractUriElement.php line 52:
[InvalidArgumentException]
The URL of the element is relative, so you must define its base URI passing an absolute URL to
the constructor of the Symfony\Component\DomCrawler\AbstractUriElement class ("" was passed).
Exception trace:
at /www/htdocs/w007154e/contao/vendor/symfony/dom-crawler/AbstractUriElement.php:52
Symfony\Component\DomCrawler\AbstractUriElement->__construct() at /www/htdocs/w007154e/contao/vendor/symfony/dom-crawler/Crawler.php:873
Symfony\Component\DomCrawler\Crawler->links() at /www/htdocs/w007154e/contao/vendor/terminal42/escargot/src/Subscriber/HtmlCrawlerSubscriber.php:58
Terminal42\Escargot\Subscriber\HtmlCrawlerSubscriber->onLastChunk() at /www/htdocs/w007154e/contao/vendor/terminal42/escargot/src/Escargot.php:466
Terminal42\Escargot\Escargot->processResponseChunk() at /www/htdocs/w007154e/contao/vendor/terminal42/escargot/src/Escargot.php:408
Terminal42\Escargot\Escargot->processResponses() at /www/htdocs/w007154e/contao/vendor/terminal42/escargot/src/Escargot.php:316
Terminal42\Escargot\Escargot->crawl() at /www/htdocs/w007154e/contao/vendor/contao/core-bundle/src/Command/CrawlCommand.php:127
Contao\CoreBundle\Command\CrawlCommand->execute() at /www/htdocs/w007154e/contao/vendor/symfony/console/Command/Command.php:255
Symfony\Component\Console\Command\Command->run() at /www/htdocs/w007154e/contao/vendor/symfony/console/Application.php:1019
Symfony\Component\Console\Application->doRunCommand() at /www/htdocs/w007154e/contao/vendor/symfony/framework-bundle/Console/Application.php:97
Symfony\Bundle\FrameworkBundle\Console\Application->doRunCommand() at /www/htdocs/w007154e/contao/vendor/symfony/console/Application.php:271
Symfony\Component\Console\Application->doRun() at /www/htdocs/w007154e/contao/vendor/symfony/framework-bundle/Console/Application.php:83
Symfony\Bundle\FrameworkBundle\Console\Application->doRun() at /www/htdocs/w007154e/contao/vendor/symfony/console/Application.php:147
Symfony\Component\Console\Application->run() at /www/htdocs/w007154e/contao/vendor/contao/manager-bundle/bin/contao-console:38
contao:crawl [-s|--subscribers SUBSCRIBERS] [-c|--concurrency CONCURRENCY] [--delay DELAY] [--max-requests MAX-REQUESTS] [--max-depth MAX-DEPTH] [--no-progress] [--enable-debug-csv] [--debug-csv-path DEBUG-CSV-PATH] [-h|--help] [-q|--quiet] [-v|vv|vvv|--verbose] [-V|--version] [--ansi] [--no-ansi] [-n|--no-interaction] [-e|--env ENV] [--] <command> [<job>]
Christian Feneberg von der Contao-Academy, der sich das auch schon mal kurz angeschaut hat, meinte (Zitat aus seiner E-Mail):
...leider hab ich im Moment keine Idee wo das Problem liegt.
Aus der Logfile sehe ich nur, dass es wohl ein Problem mit einem Link gibt, der relativ ist.
Allerdings sehe ich nicht, welcher Link das sein soll und auf welcher Seite…
Das Ganze passiert auf meiner Seite unter der URL: https://die-schreibmaus.de
Vielleicht kann mir hier im Forum jemand helfen, oder mich anleiten, mir selbst zu helfen...
Vielen Dank für eure Unterstützung!
grashalm
Liste der Anhänge anzeigen (Anzahl: 1)
@ ainschy: ja, das habe ich gemacht nach der anleitung von christian feneberg's video.
@arno: danke, habe den pfad gefunden, in dem die datei gespeichert wurde.
mir sagt sie leider nicht allzu viel... aber ich hänge sie mal an. vielleicht findest du was...
danke im voraus,
lothar
Anhang 23259
Liste der Anhänge anzeigen (Anzahl: 2)
hallo arno,
ich musste die csv-datei in eine txt wandeln, weil ich weder das csv-format, noch das xlsx-format hier hochladen konnte und pdf noch besch... aussah. ja, ich bin auf einem windows-system. könnte die csv-datei höchstens noch mal zippen... wenn ich dir die originale csv-datei mailen soll, dann maile mir doch mal ne private mailadresse an foren@die-schreibmaus.de. dann schicke ich sie dir mal so rüber...
ich habe zwar eine referenz / einen link auf die seite https://talkingcrow.eu, aber nicht auf der seite: https://die-schreibmaus.de/ueber-meine-homepage.html, sondern eigentlich nur über diese seite: https://die-schreibmaus.de/meine-link-tipps.html
wegen des vermuteten fehlerhaften links irgendwo: soll ich den crawler nur mal mit dem link-checker durchlaufen lassen inklusive --help-befehl? vielleicht bringt die entsprechende log-datei was zutage...
ergänzung: wenn ich den link-checker laufen lasse, prüft der genau 1 einzigen link (als fehlerfrei) und hört dann auf. wie kann ich denn die ganze seite nach links checken??? hier mal die gezippte csv-datei des berichtes davon:
Anhang 23260
Anhang 23261
die zweite gezippte datei ist die csv-datei vom search-index-vorgang heute vormittag. ich habe sie hier nochmal hinzugefügt. vielleicht hilft das weiter.
Crawler bricht nach kurzer Zeit (auch) in der Konsole ab
Hallo bei mir geht das auch eeeehwig lange wenn ich bei beiden das häckchen in der Checkbox aktiviere (und auch einzeln). Hoster ist www.metanet.ch hab da auch eine frische Contao 4.9.3 installation, also ohne daten nur das Layout konfiguriert. Verzeichnisstruktur erstellt und die Templates die ich benötige.
Weiss jemand da was genäueres wie ich den zum laufen kriege ????
Hab auch die änderungen an der Crawl.php gemacht (von Spooky so vorgeschlagen) aber das hat nichts gebracht. Die Datei .csv wird auf dem ganzen Server nicht gefunden.
Kann das sein das ich in Plesk noch etwas anpassen muss für das „temp“ Verzeichnis ?
Gesendet von iPhone mit Tapatalk Pro