Datenbank überprüfen hängt bei "FileExtensionMigration"

**herr rilke** · 27.03.2024, 07:09

wie hier schon geschrieben:

ich erhalte mit dem contao manager bei der datenbank-migration stets

Code:

Contao\CoreBundle\Migration\Version413\FileExtensionMigration

Contao\CoreBundle\Migration\Version413\FileExtensionMigration executed successfully

aber die meldung verschwindet nicht.

parameters.yml aufgelöst und .env.local verwendet,
composer install ausgeführt.

keine veränderung.

zusätzlich kann ich scheinbar keine neuen erweiterungen mehr installieren, da tabellen nicht angelegt werden; bspw. nach installation von terminal42/contao-url-rewrite:

Code:

An exception occurred while executing a query: SQLSTATE[42S02]: Base table or view not found: 1146 Table 'tl_url_rewrite' doesn't exist

die erweiterung wird mir als installiert angezeigt aber die tabelle ist in der DB nicht angelegt.

wie werde ich diesen "FileExtensionMigration" fehler wieder los ?

viele grüße

karsten

**Fehrmann** · 27.03.2024, 07:46

Hi,

mein erster Gedanke wäre, eine 2. Installation mit dem installierten Modul (und der Tabelle in der Datenbank) zu nehmen (oder neue Installation mit Modul erstellen) und dort die Tabelle einmal händisch in der Problem-Installation anzulegen. Dann den Contao-Manager neu arbeiten lassen.

Gruss
René

**lbableck** · 27.03.2024, 08:49

Zitat von Fehrmann

mein erster Gedanke wäre, eine 2. Installation mit dem installierten Modul (und der Tabelle in der Datenbank) zu nehmen (oder neue Installation mit Modul erstellen) und dort die Tabelle einmal händisch in der Problem-Installation anzulegen. Dann den Contao-Manager neu arbeiten lassen.

Kann man machen, löst aber das Problem mit der Migration nicht.

Du musst prüfen warum der CM meint die Migration ausführen zu müssen. Das kann vermutlich auch an Einstellungen in deiner config.yml oder parameters.yml liegen.
Das ist die SQL Abfrage mit der festgestellt wird, ob die Migration ausgeführt werden muss:

Code:

SELECT * FROM tl_files WHERE extension REGEXP '[[:upper:]]' LIMIT 1

Führ diese doch mal in deiner Datenbank aus und schau ob du ein Ergebnis bekommst.

Das wäre das Statement das die Migration in der Datenbank ausführt, das könntest du zur Not auch manuell machen:

Code:

UPDATE tl_files SET extension = LOWER(extension) WHERE extension REGEXP '[[:upper:]]'

**herr rilke** · 27.03.2024, 09:15

hallo,

danke für die ansätze!

in der zwischenzeit habe ich versucht, das ganze von C 4.13 auf C 5.3 zu updaten.
mit ein wenig gemurkse gelang mir das auch ...

nun erhalte ich stattdessen aber bei der DB migration via contao manager

Code:

 
Contao\CoreBundle\Migration\Version503\FileExtensionMigration

also das gleiche problem in einer neuen version

sooo und dann
habe ich mich an

Code:

SELECT * FROM tl_files WHERE extension REGEXP '[[:upper:]]' LIMIT 1

gewagt und erhalte dieses denkwürdige ergebnis:

Code:

id;pid;tstamp;uuid;type;path;extension;hash;found;name;importantPartX;importantPartY;importantPartWidth;importantPartHeight;meta;lastModified
3;I§ô´p‚è‹"€Îb3;1711463235;I§ôªp‚è‹"€Îb3;file;files/site/bootstrap/bootstrap.css;css;82252d754417f95f7779be349acc6361;1;bootstrap.css;0;0;0;0;\N;1525036964

das erwähnte "iles/site/bootstrap/" existiert nicht im verzeichnis

**Spooky** · 27.03.2024, 09:23

Welche MySQL/MariaDB Version?

**herr rilke** · 27.03.2024, 09:30

für die erste C 4.13 online-variante:
MariaDB 10.3.22

für den versuch zu C5.3:
Maria 10.4.13

**Spooky** · 27.03.2024, 09:42

Zitat von herr rilke

nun erhalte ich stattdessen aber bei der DB migration via contao manager

Code:

 
Contao\CoreBundle\Migration\Version503\FileExtensionMigration

also das gleiche problem in einer neuen version

Was für ein Problem genau meinst du da überhaupt? Dass die FileExtensionMigration kommt ist normal. Was nicht normal wäre ist, wenn sie immer wieder kommt.

**herr rilke** · 27.03.2024, 09:44

genau: gleiches problem in neuer version.

was nicht normal ist, dass sie immer wieder kommt.

ich bestätige den durchlauf -> es wird brav gearbeitet -> als erledit angezeigt -> dann kommt die meldung aber sofort wieder.

**Spooky** · 27.03.2024, 09:47

Führe mal

Code:

UPDATE tl_files SET extension = LOWER(extension) WHERE extension REGEXP '[[:upper:]]'

manuell durch, danach die Ausgabe von

Code:

SELECT * FROM tl_files WHERE extension REGEXP '[[:upper:]]'

posten.

**herr rilke** · 27.03.2024, 10:04

Code:

UPDATE tl_files SET extension = LOWER(extension) WHERE extension REGEXP '[[:upper:]]'
;
/* Betroffene Zeilen: 0  Gefundene Zeilen: 0  Warnungen: 0  Dauer von 1 Abfrage: 0,016 Sek. */

Code:

SELECT * FROM tl_files WHERE extension REGEXP '[[:upper:]]' LIMIT 1;
/* Betroffene Zeilen: 0  Gefundene Zeilen: 1  Warnungen: 0  Dauer von 1 Abfrage: 0,000 Sek. */


id;pid;tstamp;uuid;type;path;extension;hash;found;name;importantPartX;importantPartY;importantPartWidth;importantPartHeight;meta;lastModified
3;I§ô´p‚è‹"€Îb3;1711463235;I§ôªp‚è‹"€Îb3;file;files/site/bootstrap/bootstrap.css;css;82252d754417f95f7779be349acc6361;1;bootstrap.css;0;0;0;0;\N;1525036964

**Spooky** · 27.03.2024, 10:08

Mach mal folgenden mysqldump:

Code:

mysqldump --hex-blob --host=<databasehost> --user=<databaseuser> --password <databasename> tl_files > tl_files.sql

Ersetze <database*> natürlich mti deinen jeweiligen Daten. Poste den Dump dann hier als .zip

**herr rilke** · 27.03.2024, 10:56

danke dir, spooky!
hier kommt der bursche:

tl_files.zip

**Spooky** · 27.03.2024, 12:08

Hm, kann es leider nicht reproduzieren damit.

Wenn du dir sicher bist, dass die Datei files/site/bootstrap/bootstrap.css ohnehin nicht mehr vorhanden ist, dann könntest du den Eintrag mit der ID 3 manuell aus der tl_files Tabelle löschen.

**k-webdesign** · 27.03.2024, 22:58

Ich kann das Problem reproduzieren. Habe soeben eine nagelneue, leere Contao 4.13 über den Manager aufgesetzt und hänge bei der DB Migration am Contao\CoreBundle\Migration\Version413\FileExtensi onMigration, das loopt permanent durch. Auch, wenn ich über die Konsole contao:migrate mache

Code:

 0 Datensätze betroffen. (Die Abfrage dauerte 0.0002 Sekunden.)
UPDATE tl_files SET extension = LOWER(extension) WHERE extension REGEXP '[[:upper:]]';

Code:

 Zeige Datensätze 0 - 24 (340 insgesamt, Die Abfrage dauerte 0.0007 Sekunden.)
SELECT * FROM tl_files WHERE extension REGEXP '[[:upper:]]';

**Spooky** · 28.03.2024, 07:01

Welche Datenbank Server Version bei dir?

**herr rilke** · 28.03.2024, 07:42

guten morgen!

wie geil, dass ihr euch da so reinhängt, herzlichen dank!

ich habe einmal suchen lassen nach den */bootstrap/* dateien, die es nicht mehr gibt und habe 21 gelöscht

Code:

`path` LIKE '%bootstrap%'

nun - kleiner fortschritt - hänge ich während der DB migration bei

Code:

Contao\CoreBundle\Migration\Version503\FileExtensionMigration

Contao\CoreBundle\Migration\Version503\FileExtensionMigration executed successfully

warum aber werden die denn nicht durch die syncronisation der dateiverwaltung gefunden und geklärt ??
warum legen die das gesamte system lahm, so dass keine weiteren tables von erweiterungen mehr installiert werden?

**Spooky** · 28.03.2024, 07:49

Zitat von herr rilke

nun - kleiner fortschritt - hänge ich während der DB migration bei

Code:

Contao\CoreBundle\Migration\Version503\FileExtensionMigration

Contao\CoreBundle\Migration\Version503\FileExtensionMigration executed successfully

Also hängt es immer noch, oder nicht? Das geht aus deinem Wording nicht hervor

Zitat von herr rilke

warum aber werden die denn nicht durch die syncronisation der dateiverwaltung gefunden und geklärt ??

Hast du das denn durchgeführt?

**lbableck** · 28.03.2024, 08:02

Konnte das Problem in einer alten, nicht mehr genutzten MySQL 5.5 Datenbank nachstellen. Auf MariaDB aber nicht, das kann ich mir immer noch nicht erklären.
Die Bedingung in der Migration auf folgende zu ändern würde das zumindest in meinem Fall beheben.
Bitte schaut doch mal ob ihr immer noch Results bekommt wenn ihr das in der DB ausführt, wenn nicht ists das.

Code:

SELECT * FROM tl_files WHERE extension REGEXP BINARY '[[:upper:]]'

**herr rilke** · 28.03.2024, 08:21

hallo,

um es nochmal klarzustellen: während der DB migration hängt contao bei

Code:

Contao\CoreBundle\Migration\Version503\FileExtensionMigration

Contao\CoreBundle\Migration\Version503\FileExtensionMigration executed successfully

es wird zwar die erfolgsmeldung ausgegeben, beim bestätigen wird aber das gleiche prozedere immer wieder in schleife ausgeführt und die migration NICHT aufgelöst.

eine syncronisation habe ich zuvor durchlaufen lassen.
aktuell komme ich nicht mehr in das contao 5 backend, weil gemeckert wird, dass tabellen aus nachträglich installierten erweiterungen bzw. updates nicht existieren.
d.h. ich kann die syncronisation dort nicht mehr anstoßen.

und dann habe ich durchlaufen lassen:

Code:

SELECT * FROM tl_files WHERE extension REGEXP BINARY '[[:upper:]]';
/* Betroffene Zeilen: 0  Gefundene Zeilen: 0  Warnungen: 0  Dauer von 1 Abfrage: 0,000 Sek. */

leider keine änderung

Code:

Pending migrations
------------------

 * Contao\CoreBundle\Migration\Version503\FileExtensionMigration

 Execute the listed migrations? (yes/no) [yes]:
 >

Execute migrations
------------------

 * Contao\CoreBundle\Migration\Version503\FileExtensionMigration executed successfully


 [OK] Executed 1 migrations.


Pending migrations
------------------

 * Contao\CoreBundle\Migration\Version503\FileExtensionMigration

 Execute the listed migrations? (yes/no) [yes]:

aber wie könnte eine alte mysql 5.5 damit zu tun haben?
ich habe die 4.13er version online getestet und und nach den fehlermeldungen einen mysqldump erstellt, den ich dann hier local eingelesen habe in eine relativ aktuelle mariaDB.

**lbableck** · 28.03.2024, 08:26

Zitat von herr rilke

aber wie könnte eine alte mysql 5.5 damit zu tun haben?

Nichts, es liegt an Windows. Dein MariaDB Server läuft ja laut DB Dump auf Windows, richtig?
https://github.com/contao/contao/pull/7069

**Spooky** · 28.03.2024, 08:26

Zitat von herr rilke

und dann habe ich durchlaufen lassen:

Code:

SELECT * FROM tl_files WHERE extension REGEXP BINARY '[[:upper:]]';
/* Betroffene Zeilen: 0  Gefundene Zeilen: 0  Warnungen: 0  Dauer von 1 Abfrage: 0,000 Sek. */

Das hast du misverstanden - du musst die entsprechende Code Zeile in der Migration ändern.

Zitat von lbableck

Nichts, es liegt an Windows. Dein MariaDB Server läuft ja laut DB Dump auf Windows, richtig?
https://github.com/contao/contao/pull/7069

Ich kann es allerdings unter Windows nicht reproduzieren.

**lbableck** · 28.03.2024, 08:29

Zitat von Spooky

Ich kann es allerdings unter Windows nicht reproduzieren.

Ok jetzt wirds spannend

Hab hier ne MariaDB 10.4.32 auf Win 11, da tritt das genau so auf. Mit dem BINARY funktionierts.
Bildschirmfoto 2024-03-28 um 09.28.39.png

**Spooky** · 28.03.2024, 08:30

Bei mir ist es allerdings MariaDB 11.2.2 - also evt. liegt es nur an bestimmten MariaDB Versionen.

@k-webdesign welches OS und welche SQL Version bei dir?

**herr rilke** · 28.03.2024, 09:22

Zitat von Spooky

Das hast du misverstanden - du musst die entsprechende Code Zeile in der Migration ändern.

huch!

wo mache ich das denn?

**herr rilke** · 28.03.2024, 09:39

ach hier:

/vendor/contao/core-bundle/src/Migration/Version503/FileExtensionMigration.php

**herr rilke** · 28.03.2024, 12:48

sooooo

und, was soll ich euch sagen: es läuft durch!
die fehlermeldung ist weg und
ausstehende aktualisierungen werden vorgenommen!

ein bißchen zum weinen und niederknieen - vielen dank an euch!
wäre ich in meinem leben ohne euch nicht drauf gekommen.

**MrSesame** · 30.03.2024, 17:12

Hatte eben das gleiche Problem – Endlosschleife bei FileExtensionMigration unter Contao 4.13 – und konnte es per Installtool lösen: Da lief es problemlos durch.

**k-webdesign** · 07.04.2024, 20:48

OS ist Mac, aber ich bin direkt auf dem Server (netcup -> Linux?)
MySQL v8.0.35, laut dem Plesk

Wenn ich die Zeile in der FileExtensionMigration.php ändere (bei mir erst mal Contao 4.13, weil ich ein Update von der 3.5 mache), bekomme ich:

Code:

21:44:17 CRITICAL  [console] Error thrown while running command "contao:migrate". Message: "An exception occurred while executing a query: SQLSTATE[HY000]: General error: 3995 Character set 'utf8mb3_general_ci' cannot be used in conjunction with 'binary' in call to regexp_like." ["exception" => Doctrine\DBAL\Exception\DriverException^ { …},"command" => "contao:migrate","message" => "An exception occurred while executing a query: SQLSTATE[HY000]: General error: 3995 Character set 'utf8mb3_general_ci' cannot be used in conjunction with 'binary' in call to regexp_like."]

In ExceptionConverter.php line 117:
                                                                               
  An exception occurred while executing a query: SQLSTATE[HY000]: General err  
  or: 3995 Character set 'utf8mb3_general_ci' cannot be used in conjunction w  
  ith 'binary' in call to regexp_like.                                         
                                                                               

In Exception.php line 28:
                                                                               
  SQLSTATE[HY000]: General error: 3995 Character set 'utf8mb3_general_ci' can  
  not be used in conjunction with 'binary' in call to regexp_like.             
                                                                               

In Connection.php line 71:
                                                                               
  SQLSTATE[HY000]: General error: 3995 Character set 'utf8mb3_general_ci' can  
  not be used in conjunction with 'binary' in call to regexp_like.             
                                                                               

contao:migrate [--with-deletes] [--schema-only] [--migrations-only] [--dry-run] [--format FORMAT] [--no-backup] [--hash HASH]

bash-5.1$

**lbableck** · 08.04.2024, 05:54

Zitat von k-webdesign

Wenn ich die Zeile in der FileExtensionMigration.php ändere (bei mir erst mal Contao 4.13, weil ich ein Update von der 3.5 mache), bekomme ich:

Hast du die Änderung aus dem Pull Request übernommen oder einfach nur das hier? https://community.contao.org/de/show...l=1#post582790
Im Pull Request ist nochmal eine aktualisierte Änderung, die auch mit MySQL 8.0 funktionieren sollte.