Out of memory bei Dateiverwaltung

[thomasr]

Hallo
Habe ein problem im Backend die Dateiverwaltung aufzurufen.

Internal Server Error
Error: Out of memory (allocated 1480675328) (tried to allocate 19337849 bytes)

[2023-07-06 18:21:57] request.INFO: Matched route "contao_backend". {"route":"contao_backend","route_parameters":{"_route":"contao_backend","_scope":"backend","_token_check":true,"_controller":"Contao\\CoreBundle\\Controller\\BackendController::mainAction"},"request_uri":"xxxxx/contao?do=files&ref=3HhRkSP4","method":"GET"} []
[2023-07-06 18:22:09] request.CRITICAL: Uncaught PHP Exception Symfony\Component\ErrorHandler\Error\OutOfMemoryError: "Error: Out of memory (allocated 1482772480) (tried to allocate 19337849 bytes)" at /home/xxxxxxxxx/vendor/contao/core-bundle/src/Resources/contao/library/Contao/InsertTags.php line 1174 {"exception":"[object] (Symfony\\Component\\ErrorHandler\\Error\\OutOfMemoryError(code: 0): Error: Out of memory (allocated 1482772480) (tried to allocate 19337849 bytes) at /home/xxxxxxxxxxx/vendor/contao/core-bundle/src/Resources/contao/library/Contao/InsertTags.php:1174)"} []

Die Speicherzuteilung sollte wohl reichen?

[PHP]
max_input_vars = 2000
max_execution_time = 300
max_input_time = 500
post_max_size = 512M
memory_limit = 2000M
upload_max_filesize = 256M

Caontao 4.9.41
PHP 8.1

[mlweb]

Die Fehlermeldung dürfte m.E. den RAM betreffen.

Ist das auch wieder Hostpoint?

Wenn ja - auch das Problem kenne ich dort. Es tritt gefühlt deutlich häufiger/schneller als bei anderen Providern auf - ganz besonders dann, wenn die Kunden große oder viele Dateien verwenden. Was hast Du für Einstellungen bei GD-Bildbreite und -höhe eingestellt. Ist die Bildbreite und -höhe für den Upload in Contao begrenzt?

[Spooky]

Lösche mal die Session Daten über dein Benutzer Menü rechts oben

[tschero]

Lösche mal die Session Daten über dein Benutzer Menü rechts oben

Bist Du hier im Backend von Contao oder im Contao-Manager?

Grüße

[Fehrmann]

Hi,

das dürfte sich auf das Contao-Backend beziehen. Oben rechts einmal auf den angemeldeten Nutzer klicken und dann `Profil` auswählen. Und dann unter `Daten bereinigen`.

VG
René

[tschero]

Hi,

das dürfte sich auf das Contao-Backend beziehen. Oben rechts einmal auf den angemeldeten Nutzer klicken und dann `Profil` auswählen. Und dann unter `Daten bereinigen`.

VG
René

Ah, jetzt erkannt. Den Haken hatte ich übersehen.

Vielen Dank und Grüße

[thomasr]

Hallo
Danke für die Tipps :-)

Ja, es ist wieder Hostpoint. Bei der Life-Version mit Contao 4.9.9 funktioniert alles einwandfrei.
Bei der Neuinstallation für ein Update auf PHP8 mit Contao 4.9.41 auf dem gleichen Server
habe ich leider dieses Problem mit der Dateiverwaltung. Sonst funktioniert die Seite.

Ich habe die Session meines Benutzers gelöscht

GD-Bildbreite und -höhe eingestellt. Ist die Bildbreite und -höhe für den Upload
habe ich auf

GD-Bildbreite
Maximale GD-Bildbreite*80000

Maximale GD-Bildhöhe*80000

Datei-Uploads
Maximale Upload-Dateigröße*90000000

Maximale Bildbreite* 4360 / Maximale Bildhöhe*4360

Der Fehler bleibt bestehen:

[2023-07-07 08:30:27] request.CRITICAL: Uncaught PHP Exception Symfony\Component\ErrorHandler\Error\OutOfMemoryError: "Error: Out of memory (allocated 1500024832) (tried to allocate 19337865 bytes)" at /home/xxxxxxxxxx/vendor/contao/core-bundle/src/Resources/contao/library/Contao/InsertTags.php line 1174 {"exception":"[object] (Symfony\\Component\\ErrorHandler\\Error\\OutOfMemoryError(code: 0): Error: Out of memory (allocated 1500024832) (tried to allocate 19337865 bytes) at /home/xxxxxxxxxxxxx/vendor/contao/core-bundle/src/Resources/contao/library/Contao/InsertTags.php:1174)"} []

Seltsam finde ich das InsertTags in der Fehlermeldung auftauchen:

InsertTags.php:1174)"}

[lucina]

80‘000 bei der Bildverarbeitung? Holladiewaldfee, das ist eine Hausnummer. Abhängig von der Serverleistung steht das bei mir in aller Regel auf einem mittleren vierstelligen Wert.


Gesendet von iPhone mit Tapatalk

[tab]

Wie man sieht, tritt der Fehler ja schon auf, lange bevor du dein eingestelltes memory_limit von 2000 MB erreichst. Das heißt dann für mich, der Server war nicht willens oder in der Lage, soviel RAM zur Verfügung zu stellen. Einstellen kann man viel beim memory_limit, aber das heißt noch lange nicht, dass man dann auch wirklich soviel RAM bekommt. Es heißt nur, dass man mehr garantiert NICHT bekommt, bzw bekommen will. Wenn das ein Shared Webhosting ist, dann wundert mich das bei der Menge RAM auch nicht besonders, ein Server oder vServer mag das je nach Server und Einstellungen eher leisten. Der allokierte Speicher plus der angeforderte Speicher, der dann nicht mehr zur Verfügung gestellt wurde, ergäbe zusammen 1.519.362.697 Bytes. Sieht also eher so aus, als ob der Webserver "nur" ca 1.5 GB RAM für den Webprozess zur Verfügung stellt. Was immerhin schon eine ganze Menge wäre für ein Shared Webhosting.

Edit: Ja, 80000*80000 Pixel ist eine Hausnummer, eine sehr ordentliche . So ein Bild würde bei der internen Verarbeitung allein schon gut 19 GB RAM benötigen, nur damit es für die Bearbeitung überhaupt in den Speicher geladen werden kann. Abgesehen davon, was die Bearbeitung sonst noch so alles an RAM braucht.

[thomasr]

Ich habe die Werte der GD-Bildbreite und Datei-Uploads auf die gleichen Werte der laufenden Version zurückgesetzt.
Die Dateiverwaltung lässt sich immer noch nicht offnen.

Vielleicht hat es ja wirklich etwas mit den Insert-Tags zu tun?

Unter Einstellungen gibt es in Contao 4.9.41 neue Optionen,
die es in der Contao 4.9.9 nicht gibt. Alle Optionen haben keinen Haken:

Dateiverwendung
x Inserttags NICHT ersetzen
x Inserttags beim durchsuchen nicht ersetzen

Templates NICHT durchsuchen
x Datenbank NICHT durchsuchen
x CSS-Dateien NICHT durchsuchen

[mlweb]

Ich habe bei allen Installationen bei Hostpoint, die ich vor ein paar Jahren übernommen hatte die GD-Breite und -Höhe auf 3000 gestellt. Damit gab es bei Hostpoint im Shared Hosting in diesem Bereich keine Probleme.

[conter]

Hi,

das dürfte sich auf das Contao-Backend beziehen. Oben rechts einmal auf den angemeldeten Nutzer klicken und dann `Profil` auswählen. Und dann unter `Daten bereinigen`.

VG
René

Das kannte ich noch gar nicht. Macht das Sinn, es immer angehakt zu haben, um sich das Cache löschen über Systemwartung zu sparen?
Oder anders gefragt: Aus welchem Grund gibt es das zusätzlich zur Systemwartung?
Viele Grüße,
conter

[tschero]

Hast Du geprüft, ob ggf. Sonderzeichen in den Dateinamen vorhanden sind und diese ggf. stören?
Wie groß ist denn das größte anzuzeigende Bild in PX und MB?

Irgendwo habe ich auch mal gelesen, dass man alle Bereiche in der Dateiverwaltung über die DB zuklappen kann - finde es aber gerade nicht.
Evtl. könnte Dir das auch weiterhelfen.

Grüße

[mlweb]

Ich habe die Werte der GD-Bildbreite und Datei-Uploads auf die gleichen Werte der laufenden Version zurückgesetzt.

Und welche sind das?

[thomasr]

Hallo tschero

Du hast mich auf die Idee gebracht die Extension von «marcel-mathias-nolte/contao-filesmanager-fileusage»
zu löschen, und siehe da die Dateiverwaltung funktioniert wieder :-)

Vielen Dank!

[tab]

Hmm, ich vermute mal, dass der Fehler nicht bei der Bearbeitung eines Bilds passiert. Vielleicht solltest du mal einen Stack-Trace im Debugmodus machen und posten. Mein Bauch sagt mir, dass eventuell die Änderungen des Security Fixes (4.9.18) den Unterschied machen könnten, aber das ist eine reine Vermutung ohne Überprüfung der Änderungen. Eine 4.9.x Installation zum Vergleich habe ich mittlerweile nicht mehr.

Falls du bei der funktionierenden Installation mit dem allokierten Memory hart an die Grenze kommst, kann natürlich auch eine relativ kleine Änderung im Speicherbedarf beim Aufbau des Dateimanagers im Backend den Fehler auslösen. Immerhin ist es ja so, dass beim Auftreten des Fehlers jetzt nicht Gigabytes von Memory allokiert weden sollen, es ist eigentlich nur ein ziemlich kleiner Bruchteil dessen, was bis dahin bereits allokiert ist. Das ist dann halt nur der letzte Tropfen, der das Fass zum Überlaufen bringt.

Ändert es denn was, wenn du im Benutzerprofil die Anzeige der Vorschaubilder in der Dateiverwaltung deaktivierst?

Edit: Ah, Problem bereits gelöst. Da lag ich ja ziemlich daneben.

[thomasr]

Seltsam nur, dass von der Erweiterung nichts in den Error Logs Stand .... ;-)

[Spooky]

Wenn PHP in das memory_limit oder die max_execution_time läuft, dann kann die PHP Applikation an sich nichts mehr loggen.

[zonky]

Hallo tschero

Du hast mich auf die Idee gebracht die Extension von «marcel-mathias-nolte/contao-filesmanager-fileusage»
zu löschen, und siehe da die Dateiverwaltung funktioniert wieder :-)

Vielen Dank!

Ich denke es wäre fair, hier ein Ticket dazu zu erstellen https://github.com/marcel-mathias-no...leusage/issues

Für mich wäre interessant zu wissen ob mit https://github.com/inspiredminds/contao-file-usage

a) das Memory-Problem auch auftritt
b) ob und wie sich die Ergebnisse gleichen/unterscheiden