uuid nach Synchronisation geändert

[SimonS]

Ich habe dummerweise in der Dateiverwaltung "Synchronisieren" gedrückt. Beim Vorgang wurden dann anscheinend praktisch alle uuid's der Files geändert / neu generiert und ein grosser Datenbestand ist damit wertlos geworden. Gibt es einen Grund warum dies passieren kann? Bevor ich "Synchronisieren" gedrückt habe hat alles einwandfrei funktioniert und die Bilder (es sind hauptsächlich Bilder, welche nun nicht mehr angezeigt werden) wurden ebenfalls einwandfrei angezeigt?
Für mich ist dies äusserst ärgerlich weil damit ein ganzer Tag Arbeit verlorengegangen ist. Zudem möchte ich verhindern, dass so etwas in Zukunft nochmals passiert, weil es nicht ausgeschlossen ist, dass ein User in Zukunft den Button drücken wird.

Ich würde mich über eine Hilfestellung zum Thema sehr freuen. Besten Dank & Gruss

[xchs]

Das hört sich kurios an und dürfte so eigentlich nicht passieren. Da es vor der Synchronisation offenbar noch funktioniert hatte, nehme ich an, dass Du Deine Ordner mit den Bildern und sonstigen Ressourcen vorher auf "Öffentlich" gestellt hast oder?

[PaddySD]

Symlinks? Evtl. die Dateien in web/files abgelegt? Das würde erklären, dass sie jetzt weg sind...

[SimonS]

Hallo zusammen

Besten Dank für eure Antworten. Ich konnte beide Fehler aber so nicht nachvollziehen sprich die Files sind effektiv in [webroot]/files (nicht in [webroot]/web/files) und der Ordner ist weiterhin als öffentlich markiert. Habe aber gerade bemerkt, dass die Files, welche anschliessend nicht mehr auffindbar waren, aus der Migration von einer Contao 2.10 stammten. In der alten Contao 2.10 Installation waren die Files unter tl_files abgelegt. Diese habe ich gemäss einem Beitrag hier aus der Community mit dem folgenden Skript "umgebogen": https://gist.github.com/leofeyer/3304014
Vermutlich sind bei dieser Migration uuid's generiert worden, welche nicht mit der aktuellen Implementation übereinstimmen. Gibt es hier allenfalls eine Möglichkeit die uuid's global über die Datenbank auf das aktuelle Format zu bringen?

[xchs]

Mit welcher Contao-Version hast Du das angesprochene Skript ausgeführt?

[SimonS]

Mit Contao 3.5.36

[PaddySD]

Gibt es denn den entsprechenden Symlink von /web/files nach /files?

[SimonS]

Gibt es denn den entsprechenden Symlink von /web/files nach /files?

Ja, die entsprechenden Symlinks auf die Folder in files sind vorhanden.

[xchs]

Hat es denn in Contao 3.5.36 noch korrekt funktioniert? Gab es dort nur noch den Ordner files und nicht mehr tl_files?

[SimonS]

Hat es denn in Contao 3.5.36 noch korrekt funktioniert? Gab es dort nur noch den Ordner files und nicht mehr tl_files?

Kann ich leider weder bestätigen noch verneinen. Ich habe die 3.5.36 Installation lediglich verwendet um den direkten Upgrade nach 4.6 zu machen. Könnte allenfalls mal ein Synchronisieren unter 3.5.36 versuchen und schauen, ob sich die UUID's dabei ebenfalls verändern. Dies habe ich noch nicht gemacht. Hoffe, dass ich diesen Versuch morgen einmal durchführen kann.

[Spooky]

UUIDs sollten sich niemals ändern. Meine Vermutung wäre, dass die Migration von Contao 2 auf 3 nicht korrekt durch gelaufen ist. Du solltest nach der Migration von Contao 2 auf 3 auf jeden Fall überprüfen, dass alles korrekt funktioniert und im Backend nirgendwo die Meldung erscheint, dass "dieses Element noch das alte Format verwendet".

[SimonS]

UUIDs sollten sich niemals ändern. Meine Vermutung wäre, dass die Migration von Contao 2 auf 3 nicht korrekt durch gelaufen ist. Du solltest nach der Migration von Contao 2 auf 3 auf jeden Fall überprüfen, dass alles korrekt funktioniert und im Backend nirgendwo die Meldung erscheint, dass "dieses Element noch das alte Format verwendet".

Würde diese Meldung auch unter Contao 4.6 angezeigt? Diese habe ich nämlich dort nicht. Wie könnte sich ein "nicht korrekt durchgelaufen" deines Erachtens äussern? Das Skript hat jedenfalls "bestätigt", dass alle Dateien (habe die angezeigte Anzahl mit der Anzahl auf dem Server liegenden Dateien verglichen) verarbeitet wurden. Was mir übrigens noch aufgefallen ist, ist dass die bestehenden UUID's ein Format 0x9... hatten während die neu generierten alle mit 0x4... begannen. Kann dies evtl. noch einen Hinweis auf die Ursache geben?

Zur allgemeinen Info: Es war mir möglich nach dem Ereignis die Tabelle 'tl_files' aus einem Backup zurückzuspielen. Daher funktioniert die Website im Moment wieder (solange bis wieder jemand den Synchronisieren Button drückt ).

[Spooky]

Ich denke diese Meldung gibt es in Contao 4 nicht mehr. Aber falls das zutreffen wurde, würdest du die Datei im Frontend ohnehin nicht zu Gesicht bekommen.

Ohne eine genauere Analyse des Systems kann ich aber auch nicht mehr dazu sagen.

[webstar]

Würde diese Meldung auch unter Contao 4.6 angezeigt? Diese habe ich nämlich dort nicht. Wie könnte sich ein "nicht korrekt durchgelaufen" deines Erachtens äussern? Das Skript hat jedenfalls "bestätigt", dass alle Dateien (habe die angezeigte Anzahl mit der Anzahl auf dem Server liegenden Dateien verglichen) verarbeitet wurden. Was mir übrigens noch aufgefallen ist, ist dass die bestehenden UUID's ein Format 0x9... hatten während die neu generierten alle mit 0x4... begannen. Kann dies evtl. noch einen Hinweis auf die Ursache geben?

Zur allgemeinen Info: Es war mir möglich nach dem Ereignis die Tabelle 'tl_files' aus einem Backup zurückzuspielen. Daher funktioniert die Website im Moment wieder (solange bis wieder jemand den Synchronisieren Button drückt ).

Wenn möglich kannst du ja mal einen Auszug aus der DB mit Datensätzen, die betroffen sind, hier veröffentlichen. Da kann man ja mal schauen, ob es Auffälligkeiten gibt, die das Problem erklären können.

[SimonS]

Ohne eine genauere Analyse des Systems kann ich aber auch nicht mehr dazu sagen.

Kannst du mir hier kurz deine Gedanken mitgeben? Wie würdest du die Analyse des Systems angehen? Ich möchte irgendwie schon versuchen das Problem noch zu beheben, obwohl es im Moment funktioniert...

[Spooky]

Ich würde mir die Daten von tl_files genauer ansehen und überprüfen, was genau die Funktion zur Synchronisierung der Datenbank macht. Außerdem würde ich die Daten von tl_files vor und nach der Synchronisation vergleichen.

[SimonS]

Wenn möglich kannst du ja mal einen Auszug aus der DB mit Datensätzen, die betroffen sind, hier veröffentlichen. Da kann man ja mal schauen, ob es Auffälligkeiten gibt, die das Problem erklären können.

Hab leider im Moment keinen Zugriff auf die Daten, werde aber versuchen am Abend mal einen oder mehrere Beispieldatensätze zu posten.

[xchs]

Das Skript hat jedenfalls "bestätigt", dass alle Dateien (habe die angezeigte Anzahl mit der Anzahl auf dem Server liegenden Dateien verglichen) verarbeitet wurden.

Ich kann mich jetzt nicht mehr genau erinnern, aber wenn ich mich nicht täusche, dann gibt das Skript nach der Ausführung doch nur die Anzahl der betroffenen Datenbankeinträge aus. Das muss ja nicht zwingend mit der Anzahl der auf dem Server liegenden Dateien übereinstimmen. Es könnte ja auch sein, dass irgendeine Datei mehrmals verwendet wurde.

[SimonS]

Hier untenstehend findet ihr nun einen Vergleich von Datensätzen vor und nach dem Synchronisieren. Wie man unschwer erkennen kann, wird beim Vorgang der alte Datensatz gelöscht und ein neuer (mit einer neuen UUID) generiert obwohl es sich um ein und dasselbe File handelt:

Vor der Synchronisation:
(8961, 0x9394e720f57911e88a4fac1f6b1b99f6, 1543676344, 0x9394e719f57911e88a4fac1f6b1b99f6, 'file', 'files/web_old/Bildergallerie/Aktive/2001/Altjahrshoeck_2001/altjahrs01.jpg', 'jpg', '5db29f8927c0d458386f863925ad5787', '1', 'altjahrs01.jpg', 0, 0, 0, 0, NULL),

Nach der Synchronisation:
(21986, 0x45c4d1eaf61a11e88a4fac1f6b1b99f6, 1543745363, 0x45c4d1a2f61a11e88a4fac1f6b1b99f6, 'file', 'files/web_old/Bildergallerie/Aktive/2001/Altjahrshoeck_2001/altjahrs01.jpg', 'jpg', '5db29f8927c0d458386f863925ad5787', '1', 'altjahrs01.jpg', 0, 0, 0, 0, NULL),

Sagt uns dies irgendetwas?

[Spooky]

Jetzt müsste man im Contao Core nachsehen, unter welchen Bedingungen das so durchgeführt wird.

[SimonS]

Werde mir dies bei Gelegenheit einmal anschauen, ich hoffe, dass ich dabei fündig werde :-)

[SimonS]

So, hab mir das File contao/core-bundle/src/Resources/contao/library/Contao/dbafs.php mal angeschaut. Bin vermutlich bei der Analyse des Codes etwas überfordert, aber was ich hier noch gefunden habe ist, dass ein uploadPath für das Zusammenbauen des File Pfades verwendet wird. Weiss jemand wo dieser uploadPath gesetzt wird? Mir sagt diese Konfiguration irgendwie nichts.

		/** @var \SplFileInfo[] $objFiles */
		$objFiles = new \RecursiveIteratorIterator(
			new SyncExclude(
				new \RecursiveDirectoryIterator(
					TL_ROOT . '/' . \Config::get('uploadPath'),
					\FilesystemIterator::UNIX_PATHS|\FilesystemIterator::FOLLOW_SYMLINKS|\FilesystemIterator::SKIP_DOTS
				)
			), \RecursiveIteratorIterator::SELF_FIRST
		);

Im Allgemeinen habe ich nicht das Gefühl, dass es etwas damit zu tun hat, denn beim Ausführen von syncFiles wurden diese ja wieder am selben Ort gefunden. Aber der Code übersteigt meine PHP Kenntnisse etwas und ich habe leider auch keine Möglichkeit das Ding sinnvoll zu debuggen.

[Spooky]

Default Wert von "uploadPath" ist "files": https://github.com/contao/contao/blo...on.php#L79-L81

Der Wert kann theoretisch an folgenden Stellen gesetzt werden:

system/config/localconfig.php

$GLOBALS['TL_CONFIG']['uploadPath'] = '…'; 

app/config/config.yml

contao:
  upload_path: '…'

app/config/config.yml

contao:
  localconfig:
    uploadPath: '…'

[SimonS]

Hallo zusammen

Habe nun den Fehler gefunden, welcher eigentlich trivial ist. Ich habe alle File Einträge doppelt in der DB drin. Wie dies zustande gekommen ist, ist mir schleierhaft. Werde nun versuchen die Datenbank entsprechend zu bereinigen. Besten Dank für eure wertvolle Hilfe!

Gruss

[arthur_8200]

Hallo zusammen

Habe nun den Fehler gefunden, welcher eigentlich trivial ist. Ich habe alle File Einträge doppelt in der DB drin. Wie dies zustande gekommen ist, ist mir schleierhaft. Werde nun versuchen die Datenbank entsprechend zu bereinigen. Besten Dank für eure wertvolle Hilfe!

Gruss

Hi!

Ich habe auch UUID Probleme. Könntest du mir vielleicht ein paar Queries sagen wie ich analysieren kann?
Ich checks nicht wie ich hier z.B. nach einer UUID filtern kann.
Danke!

[SimonS]

Hi!

Ich habe auch UUID Probleme. Könntest du mir vielleicht ein paar Queries sagen wie ich analysieren kann?
Ich checks nicht wie ich hier z.B. nach einer UUID filtern kann.
Danke!

Hallo...

Hm, etwas schwierig Queries zu nennen, wenn ich nicht weiss nach was du suchst. Filtern nach UUID wäre doch einfach:
SELECT * FROM `tl_files` WHERE `uuid` = '[gesuchte ID]';

Da ich selbst nicht so sehr mit mySQL vertraut bin, habe ich meist auf die Dienste von phpMyAdmin verlassen. Das Tool bietet ja auch etwas Unterstützung um die Syntax für Queries richtig hinzukriegen.

Beste Grüsse

[arthur_8200]

Hallo...

Hm, etwas schwierig Queries zu nennen, wenn ich nicht weiss nach was du suchst. Filtern nach UUID wäre doch einfach:
SELECT * FROM `tl_files` WHERE `uuid` = '[gesuchte ID]';

Da ich selbst nicht so sehr mit mySQL vertraut bin, habe ich meist auf die Dienste von phpMyAdmin verlassen. Das Tool bietet ja auch etwas Unterstützung um die Syntax für Queries richtig hinzukriegen.

Beste Grüsse

Beispielsweise so kann man einen Datensatz anhand der UUID holen:

SELECT * FROM `tl_files` WHERE UUID=UNHEX(REPLACE('b2b897c5-6b29-11e9-96af-d850e6bff21f','-',''))

Bei mir war eine falsche Datenbank Migration im Zuge vom Update von Contao 3.5 auf 4.9 schuld. Klappt jetzt nach neuer Installation alles :-)