Vorsicht mit Contao CMS UPDATE auf 3.5.16 ...

[niccaballero]

Hallo liebe Contao-Community,

soeben habe ich mal einige Webseiten von Contao CMS 3.5.15 auf 3.5.16 mittels der dem LIVE UPDATE aktualisiert
und konnte danach auf einigen Seiten folgende Fehlermeldung sehen:

Fatal error: Uncaught exception Exception with message Query error: Duplicate entry '2fd4ca6f5d3c3bc54fe9ffe76ff43262-2' for key 'checksum_pid'
(INSERT INTO tl_search (tstamp, url, title, protected, filesize, groups, pid, language, text, checksum) VALUES (1473164677,

)) thrown in system/modules/core/library/Contao/Database/Statement.php on line 295

#0 system/modules/core/library/Contao/Database/Statement.php(264): Contao\Database\Statement->query()
#1 system/modules/core/library/Contao/Search.php(214): Contao\Database\Statement->execute()
#2 system/modules/core/classes/FrontendTemplate.php(330): Contao\Search::indexPage(Array)
#3 system/modules/core/classes/FrontendTemplate.php(124): Contao\FrontendTemplate->addToSearchIndex()
#4 system/modules/core/pages/PageRegular.php(190): Contao\FrontendTemplate->output(true)
#5 system/modules/core/controllers/FrontendIndex.php(285): Contao\PageRegular->generate(Object(Contao\PageModel), true)
#6 index.php(20): Contao\FrontendIndex->run()
#7 {main}

Nachdem ich dann in der SYSTEMWARTUNG alle Daten bereinigt hatte, ging dann alles wieder.

Allerdings wenn man dann den "Suchindex neu aufbaut" erscheint dieser Fehler erneut.

Weiss da jemand was da zu tun wäre? (ach, ja die Datenbank ist korrekt aktualisiert worden)

Bildschirmfoto 2016-09-06 um 08.21.21.png

Viele Grüße

- Nico -

[Kahmoon]

Bei mir kam kein Fehler beim Update von 2 Installationen. Hab den Suchindex aber auch nicht angefasst . Mache ich dann wohl auch erst mal nicht.

[BugBuster]

Beim Update auf 3.5.16 wurde der "url" Index auf Unique gesetzt. Daher gilt dasselbe wie damals auf 3.5.10:
Suchindex löschen vor Update, Systemwartung oder per MySQL Admin Tool deiner Wahl:
https://community.contao.org/de/show...-oder-kleiner)

Nachtrag: wobei die "checksum_pid" Geschichte in 3.5.10 kam, in 3.5.16 wurde der "url" Index angefasst. Daher seltsam, dass es bei dir jetzt erst knallt.

[rost]

Suchindex löschen vor Update...

Was macht man, wenn man das vorher nicht gemacht hat? Wie kann man das fixen?
Toll wäre, wenn easyupdate3 sowas anzeigen würden...

[BugBuster]

Betrifft ja nur da DB Update. Du kannst das auch nachträglich machen. Also "truncate tl_search", dann DB Update falls noch was offen und dann Suchindex neu aufbauen.
Wenn ich sowas vorher wüsste, könnte ich versuchen das per runonce.php Datei automatisch machen zu lassen.
Muss ich mal bei Gelegeheit austesten.
Ein Hinweis wäre auch ne Variante, das muss ich dann aber auch irgendwie steuern.

[rost]

Vielen Dank für die schnelle Antwort!
Ich hatte über das Backend den Suchindex gelöscht und danach wieder aufgebaut.
DB-Update scheint durch zu sein.
Der Fehler kommt aber trotzdem sporadisch... - nicht immer, nicht bei jeder Seite - sehr seltsam.

Hier der Fehler:

[06-Sep-2016 16:26:23 Europe/Berlin] PHP Fatal error: Uncaught exception 'Exception' with message 'Query error: Duplicate entry 'e02781ff84e03d58ed78d4d1512c72d1-10' for key 2 (INSERT INTO tl_search (tstamp, url, title, protected, filesize, groups, pid, language, text, checksum) VALUES (...)
thrown in /var/www/virtual/user/www.domain.de/system/modules/core/library/Contao/Database/Statement.php on line 295
#0 /var/www/virtual/user/www.domain.de/system/modules/core/library/Contao/Database/Statement.php(264): Contao\Database\Statement->query()
#1 /var/www/virtual/user/www.domain.de/system/modules/core/library/Contao/Search.php(214): Contao\Database\Statement->execute()
#2 /var/www/virtual/user/www.domain.de/system/modules/core/classes/FrontendTemplate.php(330): Contao\Search::indexPage(Array)
#3 /var/www/virtual/user/www.domain.de/system/modules/core/classes/FrontendTemplate.php(124): Contao\FrontendTemplate->addToSearchIndex()
#4 /var/www/virtual/user/www.domain.de/system/modules/core/pages/PageRegular.php(190): Contao\FrontendTemplate->output(true)
#5 /var/www/virtual/user/www.domain.de/system/modules/core/controllers/FrontendIndex.php(285): Contao\PageRegular->generate(Object(Contao\PageModel), true)
#6 /var/www/virtual/user/www.domain.de/index.php(20): Contao\FrontendIndex->run()
#7 {main}
[06-Sep-2016 16:26:23 Europe/Berlin] 
PHP Warning: Cannot modify header information - headers already sent by (output started at /var/www/virtual/user/www.domain.de/system/modules/core/library/Contao/Template.php:303) in /var/www/virtual/user/www.domain.de/system/helper/functions.php on line 130
#0 [internal function]: __error(2, 'Cannot modify h...', '/var/www/virtua...', 130, Array)
#1 /var/www/virtual/user/www.domain.de/system/helper/functions.php(130): header('HTTP/1.1 500 In...')
#2 /var/www/virtual/user/www.domain.de/system/helper/functions.php(115): show_help_message()
#3 [internal function]: __exception(Object(Exception))
#4 {main}

[06-Sep-2016 16:26:23 Europe/Berlin] 
PHP Warning: Cannot modify header information - headers already sent by (output started at /var/www/virtual/user/www.domain.de/system/modules/core/library/Contao/Template.php:303) in /var/www/virtual/user/www.domain.de/system/helper/functions.php on line 143
#0 [internal function]: __error(2, 'Cannot modify h...', '/var/www/virtua...', 143, Array)
#1 /var/www/virtual/user/www.domain.de/system/helper/functions.php(143): header('Content-type: t...')
#2 /var/www/virtual/user/www.domain.de/system/helper/functions.php(131): die_nicely('be_error', 'An error occurr...')
#3 /var/www/virtual/user/www.domain.de/system/helper/functions.php(115): show_help_message()
#4 [internal function]: __exception(Object(Exception))
#5 {main}

[BugBuster]

Seltsam, ja, da vor dem Insert geprüft wird, ob es für die URL nicht bereits einen Eintrag gibt, dann würde ein Update erfolgen.

[rost]

Gerade noch mal geschaut, es tritt reproduzierbar immer auf, wenn ich auf Frontend-Vorschau klicke - hier min. bei der ersten Seite...

[BugBuster]

Hmm, er meckert die Checksummen-Pid Kombination an, würde bedeuten, da der Indexer nur auf url-pid Kombi prüft, dass du zwei Seiten hast mit identischem Inhalt wodurch eine identische Checksumme erzeugt wird. Kann das hinkommen?

[Physiklehrer]

Der Fehler tritt immer dann auf, wenn sich eine Seite auf zwei verschiedene Arten aufrufen lässt. Beispiel an der Online-Demo:
http://demo.contao.org/en/ vs. http://demo.contao.org/en/index.html ==> Fehlermeldung.

Es ist also vermutlich bei den meisten Installationen vor allem die Startseite betroffen. Ein einfacher Workaround ist es, die Startseite auf "Nicht durchsuchen" zu setzen (und danach den Suchindex neu aufzubauen), da der Fehler ja beim Schreiben des Suchindex auftritt (lässt sich an der Online-Demo verifizieren). Ansonsten helfen vermutlich alle Maßnahmen, die Seitenaufrufe zu vereinheitlichen, z.B. den Alias der Startseite "index" und nicht "home" oder "startseite" nennen, damit auf allen Seiten immer auf die leere Domain verlinkt wird und nicht die Unterseite "home".

[BugBuster]

Dann werde ich das mal genau so melden in GitHub.

[BugBuster]

Gemeldet: https://github.com/contao/core/issues/8460

Wer mutig ist, mal ein Workaround Fix:
In der Datei system/modules/core/library/Contao/Search.ph Zeile 212
das

$objInsertStmt = $objDatabase->prepare("INSERT INTO tl_search %s") 

durch das ersetzen

$objInsertStmt = $objDatabase->prepare("INSERT IGNORE INTO tl_search %s") 

Vorher Backup machen von der Datei zur Sicherheit.

[rost]

Ich habe als Workaround einfach die Indices in der Tabelle tl_search gelöscht.
Funktioniert auch und lässt sich über das Install-Tool einfach wieder rückgängig machen

[BugBuster]

Naja schon, aber die haben auch ihren Sinn gehabt, müsste man in den Tickets nachlesen.
Aber hilft natürlich auch erst mal. Es reicht dabei nur den Key "checksum_pid" zu löschen.

[BugBuster]

Mit der 3.5.17 kommt der Fix, anders gelöst, aber wenns hilft ...
https://github.com/contao/core/commi...40ade3a7d05310

[ms.schulze]

Hallo,

leider bin ich vom gleichen Problem wie oben beschrieben betroffen. Nach dem Live-Update auf 3.5.16 wird meine Seite fehlerhaft dargestellt. Interessant dabei: beginne ich mit http://.... läuft sie zunächst normal. Rufe ich meine Seite dagegen mit www. ... auf, wird sie fehlerhaft dargestellt. Problematisch insofern, da diese Adresse bei google angezeigt wird und entsprechend beim Anklicken mit www. ... aufgerufen. Als Conto-Neueinsteiger sind die Antworten für mich sehr hilfreich. Meine Frage ist, wo ich die checksum_pid finde?

Naja schon, aber die haben auch ihren Sinn gehabt, müsste man in den Tickets nachlesen.
Aber hilft natürlich auch erst mal. Es reicht dabei nur den Key "checksum_pid" zu löschen.

Danke vorab!

[BugBuster]

Das ist ein Index in der Tabelle tl_search. Da müsstest du mit einen DB Admin Tool ran. (phpMyAdmin, HeidiSQL, ...)

[mooonrun]

Hallo Leute, Hallo Bugbuster,

hab wohl das gleiche Problem mit 3.5.16 wie beschrieben.

Dein Workaround in Search.php wurde nun von mir durchgeführt.
Kann die Homepage nun wieder auf den geschilderten zwei Arten
aufrufen, aber die Suche verabschiedet sich mit weißer Seite
und der Fehlermeldung:

Fatal error: Namespace declaration statement has to be the very first statement in the script in /kunden/490434_10627/webseiten/funbike/system/modules/core/library/Contao/Search.php on line 11

Was meinste?

Danke!

[BugBuster]

zeig mal die ersten 11 Zeilen deiner Search.php.
Stelle sicher, das die Datei in UTF-8 ohne BOM gespeichert wurde.
http://de.contaowiki.org/UTF-8_ohne_BOM

[mooonrun]

Hab sie mit Ultra Edit unter UTF-8 gepeichert, da steht aber nichts
von ohne BOM. Werde das morgen mal mit dem Hilfsprogramm checken.

Die ersten 11 Zeilen von Search.php sind:

<?php

/**
* Contao Open Source CMS
*
* Copyright (c) 2005-2016 Leo Feyer
*
* @license LGPL-3.0+
*/

namespace Contao;

[BugBuster]

Ultra Edit kann das auch, normalerweise "Datei -> speichern unter" dann UTF-8 ohne BOM auswählen.

[mooonrun]

Jetzt läuft es, Fehler weg :-)
Mein Ultra Edit ist wohl zu alt ...
Hab nun Notepad++ installiert und mit Kodierung>UTF-8 ohne BOM
Das wars.

[kachelblitz]

Gemeldet: https://github.com/contao/core/issues/8460

Wer mutig ist, mal ein Workaround Fix:
In der Datei system/modules/core/library/Contao/Search.ph Zeile 212
das

$objInsertStmt = $objDatabase->prepare("INSERT INTO tl_search %s") 

durch das ersetzen

$objInsertStmt = $objDatabase->prepare("INSERT IGNORE INTO tl_search %s") 

Vorher Backup machen von der Datei zur Sicherheit.

Hallo BugBuster,
den von Dir vorgeschlagenen Workaround habe ich eingebaut. Funktionierte zunächst, nach einigem Testen (unter durch Weiterleitungen und 404-Seiten) gab es dann wieder die Exception, hervorgerufen durch Duplicate Entry in tl_search

Query error: Duplicate entry '41ec1e87d078bfde694784f2f8819d76-2' for key 'checksum_pid' (UPDATE tl_search SET tstamp=1473368104, url='http://gc3.mai-internet.de/home.html', title='Home', protected='', filesize='120.96', groups=0, pid='2', language='de', text='', checksum='41ec1e87d078bfde694784f2f8819d76' WHERE id='1')'

Beim Update kann es also ebenso schiefgehen. Daher sollte man in der Search.php ebenso in Zeile 204 ein IGNORE einsetzen:

$objDatabase->prepare("UPDATE IGNORE tl_search %s WHERE id=?")
                        ->set($arrSet)
                        ->execute($objIndex->id); 

(ungetestet!)

[BugBuster]

oder eben die Lösung die mit 3.5.17 kommt vorziehen.
https://github.com/contao/core/commi...40ade3a7d05310
In der Search.php die Zeile rot durch Zeile grün ersetzen.

[pyretta]

Hallo,
hatte auch den Fehler mit 3.5.16.
Die Codezeile 191 die in 3.5.17 erneuert wird, hat leider nicht gereicht bei mir. Erst die beiden Ignore Anweisungen von BugBuster und Kachelblitz halfen.
Also Danke an euch beide!

[mlweb]

Das würde aber dann bedeuten, dass auch in der kommenden 3.5.17 das Problem nicht gelöst ist.

[Pinnochio]

Hallo,
hatte auch den Fehler mit 3.5.16.
Die Codezeile 191 die in 3.5.17 erneuert wird, hat leider nicht gereicht bei mir. Erst die beiden Ignore Anweisungen von BugBuster und Kachelblitz halfen.
Also Danke an euch beide!

Kann ich bestätigen: Erst die 3 Änderungen in Search.php konnten den Fehler in V3.5.16 beseitigen. Dank' euch allen und an @ pyretta!

Gruß Pinnochio

[radobo]

Mann, das ist aber ein heftiger Fehler. Hatte das gleiche Problem, aber da ich an meiner Seite noch rumbastel, hab ich den Fehler bei mir gesucht und war der Verzweiflung nahe. Mit den 3 Änderungen scheint es jetzt zu klappen. Gut, dass die Experten hier immer so schnell zur Stelle sind!

Allerdings: auf meiner Seite habe ich eine Suchfunktion eingebaut. Die funktioniert jetzt nicht mehr. Auch wenn man mit der contao-Funktionalität des Suchindex neu aufbaut, bleibt die Tabelle leer. Insofern bleiben noch Wünsche offen....

[Pinnochio]

Auf meiner Webseite funktioniert die Suche einwandfrei (www.chemfidence.com).

Funktionierte deine Suche schon vor dem Update einwandfrei? - oder hast du das Suchmodul erst nach dem Update aktiviert und die Seiten drum herum eingebaut?

Tipp: Systemcache mal komplett löschen ( /system/cache ) und dann den Suchindex neu aufbauen.

[pyretta]

Bei mir funktioniert die Suche ebenfalls einwandfrei - auch mit den kleinen "hacks".

[radobo]

Die Suche funktionierte vorher. Mit der geänderten search.php bringt Suchindex aufbauen nichts, die Tabelle bleibt leer. Habe versuchsweise die Original-search.php wieder aktiviert, den Suchindex aufgebaut und die geänderte search.php wieder aktiviert. Funktioniert nicht (weißes Browserfenster, nur der Suchbefehl in der Adressleiste sichtbar). Nochmal sicherheitshalber die alte search.php aktiviert - klappt. Also: Suche funktionierte vorher und jetzt auch mit der Original-search.php aus der Distribution, mit geänderter search.php (3 Zeilen geändert, wie hier im Thread genannt) nicht.

[BugBuster]

weißes Browserfenster, nur der Suchbefehl in der Adressleiste sichtbar)

Bitte drauf achten die Datei bei Veränderung als "UTF-8 ohne BOM" zu speichern. Das hatten wir hier doch grad, mit BOM (Byte Order Mark) kommt ne weiße Seite.

[radobo]

Habe mit Notepad++ gearbeitet, die Kodierung ist/war UTF-8 ohne BOM. Definitiv, habs grad nochmal wiederholt. Vielleicht liegts ja an irgendwas anderem. Die Suche ist bei mir nicht zwingend erforderlich, ich kann aufs nächste Update warten.

[marcohe]

Bei mir nach Update auf 3.5.16 selbiges Problem. Seite wird total verschoben dargestellt. Hoffe das wird bald mit 3.5.17 behoben

Fatal error: Uncaught exception Exception with message Query error: Duplicate entry '2216234e7a927cd01146de7b435b336c-145' for key 'checksum_pid' (UPDATE tl_search SET tstamp=1473529653,.... 

[BugBuster]

Hi,
anbei mal die aktuelle Version zum Test für Euch.
Darin sind die mittlerweile beiden Patche von Leo, nicht meine.
Soll damit laufen.

Entpacken und damit die Datei system/modules/core/library/Contao/Search.php ersetzen.
Vorher Backup vom Original nicht vergessen.

[radobo]

Jawohl, damit läuft jetzt alles wie gewünscht. Danke!

[eisenherz]

Hallo,
hatte auch den Fehler mit 3.5.16.
Die Codezeile 191 die in 3.5.17 erneuert wird, hat leider nicht gereicht bei mir. Erst die beiden Ignore Anweisungen von BugBuster und Kachelblitz halfen.
Also Danke an euch beide!

Bei mir genauso!
Dank an BugBuster ... mal wieder

[pyretta]

Hi,
anbei mal die aktuelle Version zum Test für Euch.
Darin sind die mittlerweile beiden Patche von Leo, nicht meine.
Soll damit laufen.

Entpacken und damit die Datei system/modules/core/library/Contao/Search.php ersetzen.
Vorher Backup vom Original nicht vergessen.

Funktioniert bei mir bis jetzt ohne Probleme. Vielen Dank!

[Der Astronaut]

Hallo,
hatte auch den Fehler mit 3.5.16.
Die Codezeile 191 die in 3.5.17 erneuert wird, hat leider nicht gereicht bei mir. Erst die beiden Ignore Anweisungen von BugBuster und Kachelblitz halfen.
Also Danke an euch beide!

Gleiches auch bei mir! Seit dem ich zusätzlich die Ignore-Anweisung mit drinnen habe, bekomme ich keine Fehlermeldung mehr.

Danke an alle Helferlein!

[BugBuster]

Mit der gepatchten Search.php von hier https://community.contao.org/de/show...l=1#post419464 sollte das auch ohne die IGNORE's gehen.