deferred?

Druckbare Version

26.03.2022, 14:52
Kahmoon

Liste der Anhänge anzeigen (Anzahl: 1)

Wozu ist der Ordner assets/images/deferred?

Hallo zusammen,

im Ordner assets/images werden die Bilderversionen gespeichert. Soweit klar. Aber dort ist noch ein Ordner "deferred" und enthält 110.000 Dateien! Das führt zu Problemen bei IONOS weil das gesamte Hosting nur 255.00 Dateien haben darf. Nur diese eine Contao Installation ballert mir den Server zu fast 50% voll. Dort laufen aber diverse Installationen.

Ein paar Bildgrößen haben die Einstellung "zu webp konvertieren". Diese Dateien finde ich dort auch teilweise. Ich deaktiviere somit lieber diese Konvertierung?

Edit: Außerdem ist Lazy Loading aktiv

VG Frank
26.03.2022, 19:30
Fehrmann

Hi,

hat die Webseite denn so viele Bilder? Sind die Bilder eventuell teilweise identisch, werden also immer wieder neu generiert? (wir hatten mal so einen Fall, da sich durch ein anderes Modul die filemtime, der Dateien immer wieder änderte)

Wäre das temporäre Entfernen der Assets über die Systemwartung für dich eine Option? (dann im Auge behalten)

Bevor ich die Konvertierung abschalte, würde ich schon prüfen ob das nicht eventuell andere Ursachen hat und die Anzahl der Dateien bei den verwendeten Bildgrößen realistisch ist.

Viele Grüße
René
27.03.2022, 09:36
Kahmoon

Liste der Anhänge anzeigen (Anzahl: 1)
Die Installation hat recht viele Bilder ja, aber nicht in der Dimension.
- 2592 Bilder sind es im Original
- assets/images (ohne deferred) nach einem Tag Betrieb 3790 (vermutlich fehlen hier noch weitere responsive Bildgrößen die bisher nicht erstellt wurden)
- Ordner "deferred" nach einer kompletten Löschung von assets/images und einem Tag Betrieb 30.000+
Systemwartung "Bilder Cache löschen" mache ich öfters. Dort sind es aber lediglich 13.xxx Dateien in der Spitze. Ich habe auch keine besonderen Bilder Erweiterungen, außer vielleicht rocksolid Slider.

Ich habe die Konvertierung jetzt mal ausgeschaltet und beobachte die Anzahl der Dateien.

Edit:
Nachdem ich alle Ordner in assets/images von Hand gelöscht habe, hat es mittlerweile neue Dateien erzeugt. Allerdings super viele jpeg.json Dateien. Wozu sind die? Siehe Anhang

Was ich anfangs nicht erwähnt hatte, es ist bei den Bildgrößen "lazy loading" aktiviert. "deferred" heisst ja "aufgeschoben/zurückgestellt"....vielleicht kommt es von dieser Einstellung?

Edit 2:
Auch mit allen lazy loading deaktiviert legt er wieder die Ordner "deferred" mit zig tausend jpg.json Dateien an.....
27.03.2022, 10:45
Fehrmann

Hi,

ich habe leider aktuell kein vergleichbares System zur Hand. Ich würde mir folgendes Anschauen:

- Sind die Dateien mit IMG_xxxx* alle gleich groß und haben identischen Inhalt? (Zeitstempel auffällig?)
- Ändert sich beim erneuten Aufruf des Frontends (Seite mit einem Bildgrößen-Bild) die Anzahl der Dateien in assets? (obwohl nichts im Contao geändert wurde)

Mehr fällt mir spontan nicht ein.

Gruss
René
27.03.2022, 15:34
Kahmoon

Unterschiedliche Namen und Größen.
27.03.2022, 15:46
Kahmoon

Also das sind die MEtadaten für die Ausgabe im Footer würde ich mal sagen. So schaut ein jpg.json aus

Code:

{"path":"..\/..\/files\/jbz\/images\/slider\/jagdausbildung\/2021-04-25-jagdpraxis-windachtal_4559.jpg","coordinates":{"size":{"width":1136,"height":852},"crop":{"x":123,"y":0,"width":852,"height":852}},"options":{"imagine_options":{"jpeg_quality":80,"jpeg_sampling_factors":[2,1,1],"interlace":"plane","format":"jpg"}}}
04.04.2022, 15:01
ausi

Die Bildgrößen auf der Website scheinen so eingestellt zu sein, dass viel zu viele einzelne Bilder generiert werden. So bestehen viele <picture>s auf der Startseite schon aus über 20 verschiedenen Einzelbildern.

Bei 2592 Original-Bildern kommt man dadurch mit nur einer Bildgröße bereits auf über 50.000 Bilder. Wenn dasselbe Bild in mehreren Bildgrößen angezeigt wird multipliziert sich dieser Wert noch weiter.

Die Bildgrößen sollten überarbeitet werden um die Anzahl an Einzelbildern zu reduzieren.
04.04.2022, 15:15
Kahmoon

Naja die Größen und deren Versionen sind schon Absicht und nicht zufällig gewählt. Aber 50.000 wären trotzdem noch keine 130.00 und mehr. Irgendwo werden da tote Dateien produziert.
04.04.2022, 15:39
Spooky

Zitat:

Zitat von Kahmoon

Naja die Größen und deren Versionen sind schon Absicht und nicht zufällig gewählt.

Und was ist die Absicht? Meines Erachtens sind das viel zu viele.

Zitat:

Zitat von Kahmoon

Irgendwo werden da tote Dateien produziert.

Du lässt einfach viel zu viele Bildversionen generieren und viele davon werden nie benutzt.
04.04.2022, 15:41
Kahmoon

Naja ich habe für jeden Bootstrap Breakpoint (xs, sm, md, lg, xl) eine Größe. Das brauche ich auch. Das Einzige was man eindampfen könnte sind die "1x,2x,3x,4x" auf "1x,2x"

Konvertierung zu webp und lazy loading ist bereits deaktiviert.

Die Versionen generiere ja nicht ich sondern die Endgeräte die mit entsprechenden Viewports das Bild abrufen. Und da sind eigentlich keine Exoten dabei.
04.04.2022, 15:57
Spooky

Zitat:

Zitat von Kahmoon

und lazy loading ist bereits deaktiviert.

Warum hast du das deaktiviert?

Zitat:

Zitat von Kahmoon

Die Versionen generiere ja nicht ich sondern die Endgeräte die mit entsprechenden Viewports das Bild abrufen. Und da sind eigentlich keine Exoten dabei.

Contao legt für jede Bildversion, die du haben möchtest, eben so eine Datei an. Und viele deiner Versionen werden nie gebraucht werden, weil diese Kombinationen (zum Beispiel sm & 1x oder xs & 4x) nie oder nur selten vorkommen.
04.04.2022, 16:00
ausi

Zitat:

Zitat von Kahmoon

Naja ich habe für jeden Bootstrap Breakpoint (xs, sm, md, lg, xl) eine Größe.

Das ist zu viel.

Zitat:

Zitat von Kahmoon

Konvertierung zu webp und lazy loading ist bereits deaktiviert.

Lazy-Loading hängt damit nicht zusammen.
Durch die Deaktivierung von webp müssen nur noch halb so viele Bilder erzeugt werden, diese Einstellung sollte also einen deutlichen Unterschied gebracht haben.

Zitat:

Zitat von Kahmoon

Aber 50.000 wären trotzdem noch keine 130.00 und mehr.

Wie bereits erwähnt: Wenn dasselbe Bild in mehreren Bildgrößen angezeigt wird multipliziert sich dieser Wert noch weiter.
04.04.2022, 16:30
Kahmoon

Zitat:

Zitat von ausi

Das ist zu viel.

Brauche ich aber, weil sich die Seite bei jedem dieser Punkte anders verhält, sich Bildverhältnisse ändern etc.

Zitat:

Zitat von ausi

Lazy-Loading hängt damit nicht zusammen.

Wurde im Lauf der Ursachenforschung deaktiviert.

Zitat:

Zitat von ausi

Wie bereits erwähnt: Wenn dasselbe Bild in mehreren Bildgrößen angezeigt wird multipliziert sich dieser Wert noch weiter.

Das ist mir auch klar aber das aus 26xx Bildern 130.000 und mehr Dateien werden kanns halt ned sein. Aktuell sehe ich da nur die z.B. 2600 Bilder + 5 Größen = 13.000 + (1x, 2x, 3x, 4x Pixeldichte) wären 52.000 Dateien in der absoluten Spitze. Was noch weit weg ist von dem was in dem Ordner war.

Mit 1x und 2x müssten es jetzt noch 26.000 in der Spitze werden. Ich beobachte es.
04.04.2022, 16:32
Spooky

Zitat:

Zitat von Kahmoon

kanns halt ned sein.

Du musst alle Bildgrößen berücksichtigen, in denen das jeweilige Bild von Contao irgendwo jemals generiert wird.

Unabhängig davon: wenn du wirklich so viele Bildgrößen brauchst, dann musst du auch dafür sorgen, dass dein Hosting damit umgehen kann. IONOS ist wohl nicht dafür geeignet.
04.04.2022, 20:03
ausi

Du kannst natürlich auch den resize-images Command von Contao ausführen lassen: https://docs.contao.org/manual/de/cli/resize-images/

Damit werden dann alle Bilder die noch in /deferred liegen generiert und du kannst dann bei den generierten Bildern selbst nachsehen welche öfter auftauchen als in den Bildgrößen eingestellt ist. Im deferred Ordner sollten danach keine Dateien mehr liegen.
05.04.2022, 08:26
Kahmoon

Danke. Sprich ich lösche alle Ordner und Dateien in assets/images und führe dann diesen Befehl aus?
05.04.2022, 08:46
ausi

Nein, nichts löschen.

Wenn du den Befehl ausführst, werden alle JSON-Dateien aus dem deferred-Ordner verarbeitet.

Wenn danach in assets/images direkt zu viele Bild-Dateien sind (was ich vermute) dann kannst du dir dort dann ansehen von welchen Bildern zu viele Dateien generiert wurden.
05.04.2022, 08:57
Kahmoon

OK. Jetzt hab ich es glaub ich verstanden. In deferred stehen die "Aufträge" was in assets/images erzeugt werden soll.
05.04.2022, 09:31
Kahmoon

Ich habe glaub ich gerade noch eine Ursache gefunden warum mehr Bilder als geschätzt erstellt werden. Im Layout waren weitere Bilddichten eingestellt.

Wenn ich im Layout 1x,2x einstelle. Dann kann ich es theoretisch in den jeweiligen Bildgrößen selbst ja eigentlich weglassen oder?
05.04.2022, 09:34
ausi

Zitat:

Zitat von Kahmoon

Wenn ich im Layout 1x,2x einstelle. Dann kann ich es theoretisch in den jeweiligen Bildgrößen selbst ja eigentlich weglassen oder?

Nein. Die Einstellung im Layout ist ein Default-Wert der nur dann verwendet wird wenn nicht explizit eine vordefinierte Bildgröße ausgewählt wird.
05.04.2022, 15:31
Kahmoon

OK, also der Task ist jetzt durchgelaufen und es wurden 41.566 Bilder/Versionen erzeugt. Diese Zahl war rein rechnerisch zu erwarten. Kein Plan woher die 130.000 und mehr kam. Hatte jetzt alles wieder so eingestellt wie davor.

Ich teste morgen noch mal..der Task lief jetzt 5 Stunden :-P.
05.04.2022, 15:37
mlweb

Vielleicht irgendwann mal Bildgrößeneinstellungen geändert? Ich weiß nicht ob Contao die löschen würde, wenn die Bildgröße nicht mehr existiert/geändert wurde @ausi?
05.04.2022, 15:38
Kahmoon

Ja, das vermute ich auch. Ich hatte irgendwann mal mehr Pixeldichte (bis 8x) zum testen.
06.04.2022, 15:28
ausi

Zitat:

Zitat von mlweb

Ich weiß nicht ob Contao die löschen würde, wenn die Bildgröße nicht mehr existiert/geändert wurde @ausi?

Nein. Generierte Bilder aus assets/images werden nicht automatisch gelöscht.