Contao 4.13 Systemwartung Suchindex aktualisieren

[Schnippel]

Hallo,

in Contao 4.13.0 lässt sich bei der Systemwartung der Suchindex nicht aktualisieren.
Er beginnt und hängt dann bei 40% fest.

Woran kann das liegen?

Hier ein Screen vom Putty:

Unbenannt-1.jpg

und in der log > prod steht dies hier:

[2022-03-08T15:44:38.885123+01:00] request.INFO: Matched route "contao_backend". {"route":"contao_backend","route_parameters":{"_route":"contao_backend","_scope":"backend","_token_check":true,"_controller":"Contao\\CoreBundle\\Controller\\BackendController::mainAction"},"request_uri":"https://xxxxxx.de/contao?act=crawl&crawl_subscriber_names%5B0%5D=search-index&do=maintenance&jobId=1daf9fa9-354f-4872-b361-1332aaf011e0&ref=F5Yz8Mtd","method":"POST"} []
[2022-03-08T15:44:39.626717+01:00] request.CRITICAL: Uncaught PHP Exception Doctrine\DBAL\Exception\DriverException: "An exception occurred while executing a query: SQLSTATE[HY000]: General error: 1100 Table 'tl_crawl_queue' was not locked with LOCK TABLES" at /html/cto/cto_413_0/vendor/doctrine/dbal/src/Driver/API/MySQL/ExceptionConverter.php line 119 {"exception":"[object] (Doctrine\\DBAL\\Exception\\DriverException(code: 1100): An exception occurred while executing a query: SQLSTATE[HY000]: General error: 1100 Table 'tl_crawl_queue' was not locked with LOCK TABLES at /html/cto/cto_413_0/vendor/doctrine/dbal/src/Driver/API/MySQL/ExceptionConverter.php:119)\n[previous exception] [object] (Doctrine\\DBAL\\Driver\\PDO\\Exception(code: 1100): SQLSTATE[HY000]: General error: 1100 Table 'tl_crawl_queue' was not locked with LOCK TABLES at /html/cto/cto_413_0/vendor/doctrine/dbal/src/Driver/PDO/Exception.php:30)\n[previous exception] [object] (PDOException(code: HY000): SQLSTATE[HY000]: General error: 1100 Table 'tl_crawl_queue' was not locked with LOCK TABLES at /html/cto/cto_413_0/vendor/doctrine/dbal/src/Driver/PDO/Statement.php:101)"} [] 

[mlweb]

Haben die übersprungenen Seiten "index, follow" eingetragen beim Robots-Tag? Sind die Seiten öffentlich?

[Schnippel]

Es gibt Seiten, die öffentlich sind und den Eintrag index / follow haben.
Seiten, die nicht öffentlich sind haben den Eintrag noindex / nofollow..

[Contao-Academy]

Hatte Kontakt mit Schnippel, das Problem scheint nun behoben. Es war ein zu langer Titel bei einem Seitentitel hinterlegt.

[Spooky]

In wie fern zu lang? Sollte eigentlich egal sein.

[Contao-Academy]

In wie fern zu lang? Sollte eigentlich egal sein.

Ich hab nur das in der Log gefunden:

Did not index because of the following reason: Could not add a search index entry: An exception occurred while executing a query: SQLSTATE[22001]: String data, right truncated: 1406 Data too long for column 'title' at row 1

[Spooky]

Das wäre dann aber ein Bug und sollte auf GitHub reported werden.

[Contao-Academy]

https://github.com/contao/contao/issues/4260

[elwega]

Hallo, ich hänge mich hier mal dran, hoffe das passt.
Contao 4.13.1
Systemwartung Suchindex aktualisieren ergibt folgendes:
kvsucher.png
Das

  <?= $this->mootools ?>
  <?= $this->jsonLdScripts ?>
</body>

ist in der originalen fe_page drin
Der Versuch mit dealtivierten Error Files ändert nichts.
Im log gefunden:

[2022-03-18T09:49:49.938620+01:00] console.CRITICAL: Error thrown while running command "list --format=json". Message: "Argument 5 passed to Contao\CoreBundle\Framework\ContaoFramework::__con struct() must implement interface Symfony\Component\Routing\Generator\UrlGeneratorIn terface, string given, called in /var/www/vhosts/domain.de/httpdocs/var/cache/prod/ContainerG9Wd9Kg/Contao_ManagerBundle_HttpKernel_ContaoKernelProdCo ntainer.php on line 958" {"exception":"[object] (TypeError(code: 0): Argument 5 passed to Contao\\CoreBundle\\Framework\\ContaoFramework::__ construct() must implement interface Symfony\\Component\\Routing\\Generator\\UrlGenerat orInterface, string given, called in /var/www/vhosts/domain.de/httpdocs/var/cache/prod/ContainerG9Wd9Kg/Contao_ManagerBundle_HttpKernel_ContaoKernelProdCo ntainer.php on line 958 at /var/www/vhosts/domain.de/httpdocs/vendor/contao/core-bundle/src/Framework/ContaoFramework.php:65)","command":"list --format=json","message":"Argument 5 passed to Contao\\CoreBundle\\Framework\\ContaoFramework::__ construct() must implement interface Symfony\\Component\\Routing\\Generator\\UrlGenerat orInterface, string given, called in /var/www/vhosts/domain.de/httpdocs/var/cache/prod/ContainerG9Wd9Kg/Contao_ManagerBundle_HttpKernel_ContaoKernelProdCo ntainer.php on line 958"} []

Was soll ich tun?

[Spooky]

Was genau ist dein Anliegen? Laut deinem Screenshot hat ja alles funktioniert.

[elwega]

Hallo,
ooh vielleicht interpretiere ich das falsch,

0 indexiert?

Sollte da nicht stehen z.B. 122 indexiert usw.

[Spooky]

Was steht im Debug Log?

[elwega]

das log ist 504 kb groß und hat viele Einträge derart:

2022-03-18 11:24:14.307731,"Contao\CoreBundle\Crawl\Escargot\ Subscriber\SearchIndexSubscriber",https://domain.de/d-lehrgaenge.html,https://domain.de/sitemap.xml,3,,"Forwarded to the search indexer. Did not index because of the following reason: No JSON-LD found."

Das sind die letzten von 1362 Einträgen

2022-03-18 11:26:00.398708,"Contao\CoreBundle\Crawl\Escargot\ Subscriber\SearchIndexSubscriber",https://domain.de/files/downloads/2016/Vereinssteuerrecht_-_Pachtverhaeltnisse_mit_Foerderverein_oder_GbR_-_2016-10-04.pdf,https://domain.de/downloads.html,4,,"Did not index because the response did not contain a ""text/html"" Content-Type header."
2022-03-18 11:26:00.399013,"Terminal42\Escargot\Escargot",---,---,---,---,"Finished crawling! Sent 2 request(s)."

[elwega]

Nach vielem Lesen zum Thema hab ich einfach mal in der fe_page (ansonsten keine Änderungen) die favico Einträge von vor dem </head> Tag
ganz an den Anfang direkt unter <head> gesetzt.
Das Ergebnis ist umwerfend:
kvsuchindex.png
Im Debug-log steht gegenüber vorher von 1362 Einträgen nur noch 2

Time,Source,URI,"Found on URI","Found on level",Tags,Message
2022-03-18 12:22:34.652509,"Contao\CoreBundle\Crawl\Escargot\ Subscriber\SearchIndexSubscriber",https://domain.de/,https://domain.de/sitemap.xml,3,,"Forwarded to the search indexer. Was indexed successfully."

Immerhin wurde ja 1 URI indexiert mmm die Seite hat aber viele.

[elwega]

Nach anderen Aufgaben erneut den Crawler laufen lassen und TaaaTaaaa
kvsuchindex-b.png
Dann bin ich fürs erste mal beruhigt, was war aber vorher?
Jetz sieht das Log auch gut aus

Forwarded to the search indexer. Was indexed successfully