Datei Synchronisieren - Frage

[m-werk]

Hallo,

ein Kunde von mir hat eine Bildergalerie mit sehr vielen Bildern. Im Jahre 2012 haben wir die HP erstellt und zuvor hatte ich alles per FTP hochgeladen. Ab 2012 wurden alle Dateien übers BE hochgeladen.

Es handelt sich insgesamt um 16.500 Dateien.

Wenn ich jetzt Synchronisieren möchte, kommt ein 500 Error im FE.

Jetzt habe ich mir gedacht, irgendwie müsste es doch möglich sein, Ordnerweise zu synchronisieren.

Meine Idee:
Was wäre, wenn ich in den Einstellungen jene Ordner eintrage, die ich nicht Synchronisieren möchte, und beim nächsten durchgang jene dort eintrage, die dann schon synchronisiert sind?

Wäre das eine Option?

[fiedsch]

Ich glaube, nein. Ich hatte etwas ähnliches schon Mal probiert. Ergebnis: die Daten der von der Synchronisierung ausgenommenen Ordner verschwinden aus den Daten. Wenn das wirklich (noch) so ist, löst es Dein Problem nicht.

Edit: eben in Testinstallatiuon ausprobiert:

In Einstellungen -> Nicht zu synchronisierende Ordner "tiny_templates" eingetragen und syncronieiert. Ergebnis: keine Einträge zu tiny_templates in der Tabelle tl_files

Contao sagt:

Die Datei bzw. der Ordner "files/tiny_templates" wurde gelöscht
Die Datei bzw. der Ordner "files/tiny_templates/index.html" wurde gelöscht

In Einstellungen -> Nicht zu synchronisierende Ordner "tiny_templates" wieder entfernt und syncronieiert. Ergebnis: neu erstellte Einträge zu tiny_templates in der Tabelle tl_files

Contao sagt:

Die Datei bzw. der Ordner "files/tiny_templates" wurde hinzugefügt
Die Datei bzw. der Ordner "files/tiny_templates/index.html" wurde hinzugefügt

[m-werk]

Sowas hatte ich mir schon gedacht. Ist auch verständlich.

Aber was könnte man da machen? Es handelt sich insg. um 16.500 Dateien mit einer Gesamtgröße von 4,5 GB.

[tab]

Vermutlich die maximale Skriptlaufzeit überschritten. Falls du SSH-Zugang hast und auf der Konsole z.B. eine längere Skriptlaufzeit möglich ist, dann kannst du synchronisieren, indem du die system/bin/filesync ausführst mit (unter Contao 3.x). Ansonsten hilft es auch, einfach die Synchronisierung mehrmals nacheinander zu starten, weil das Skript jedes Mal einige Dateien synchronisiert und so hoffentlich irgendwann fertig wird.

[BugBuster]

Ordnerweise ginge rein technisch, dazu müsse man sich aber eine Erweiterung / Script schreiben.
Das Problem dabei ist, das die Ordner selbst auch eine Checksumme erhalten, d.h. irgendwann müsste man dann doch die übergeordneten Ordern zum Sync aufrufen, und dann kommste wieder schnell an die Grenzen.
Wobei ich nun nicht weiß, ob das ein Problem darstellt, wenn die Checksummen der Ordner nicht aktualisiert werden. (hab ich eh noch nie verstanden)

Ich habe auch noch nicht in die Sourcen geschaut, warum die Sync Geschichte so viel Ressourcen braucht.


Bei dem Error 500 müsste man nun in den Logs schauen, was der Grund war, Laufzeit oder RAM.

[folkfreund]

Ein ähnliches Problem habe ich. Gestern hatte ich einen solchen Fehler nach Upload von ca. 400 relativ großen Bildern per FTP, insgesamt nun ca. 2000 Dateien. Dateiverwaltung synchronisieren endete in einem Serverfehler "An internal server error occurred. Please try again later." Ich vermute hier Scriptlaufzeit überschritten.

Nach Reload der Seite im Backend wurde mir dann angezeigt "Die Synchronisation wurde abgeschlossen", keine Dateien verändert. Das mag das Ergebnis des nächsten Versuches sein.
Ich kann für alle Dateien Metadaten hinterlegen, was ja in tl_files geschieht. Die Dateien wurden also in der DB eingetragen.

Für Situationen, wo viele Dateien in einem Rutsch hochgeladen werden, wäre eine Funktion im Backend super, die genau die Zielordner synchronisiert.
Oder gibt es einen anderen Weg für solche Fälle?

Gruß, folkfreund

[folkfreund]

Ich habe auch noch nicht in die Sourcen geschaut, warum die Sync Geschichte so viel Ressourcen braucht.

Ich kann gerade nicht im Serverlog nachschauen.
Ich vermute, dass es besonders lange dauert/viel Speicher braucht, wenn viele große Dateien dabei sind. Die Synchronisation soll ja nicht nur Neuzugänge einbinden, sondern auch verschobene Dateien (oder Ordner?) anhand ihrer Checksumme wiedererkennen. Das berechnen der Checksummen wird dann also die Ressourcen fressen.

[m-werk]

So, hab soeben nochmals die Synchronisation versucht.

Meldung des Browsers "500 / Internal Server Error.

Dann hab ich mir mal das Log anzeigen lassen. Hier steht nur: Script timed out before returning headers: main.php, ....

Hm, ich hab zur Zeit 2 GB Ram und die max_execution_time ist bei mir 300. Diese wurde vom Provider schon hochgestellt.

[tab]

Tja, und wie lange dauert es, bis der Fehler kommt? Relativ kurz oder doch eher 300 Sekunden? Oder einfach mal im Error-Log des Webservers nachschauen.