Dateiverwaltung ewig langsam / bricht teilweise ab

**Misios** · 08.12.2020, 13:55

Hallo zusammen,

ich habe eine C499-Installation auf einem V-Server, die eigentlich auch gut funktioniert. Nur ist es leider so, dass beim Aufruf der Dateiverwaltung oder der Bildauswahl innerhalb eines Inhaltselements erstmal seeeeehr lange nichts angezeigt wird. Teilweise so lange, bis ich ein "Gateway Error" vom Server erhalte. Wenn ich eine neue Datei hochladen, dann dauert es danach mehrere Minuten, bis ich eine Dateiliste angezeigt bekomme. Wenn die Liste einmal angezeigt wurde, dann geht es in der aktuellen Session danach schneller. Am nächsten Tag (auch ohne zwischenzeitliche neue Datei auf dem Server) dauert es dann wieder beim "ersten" Anzeigeversuch teils mehrere Minuten. Und ansonsten geht dann auch nichts, bis er sich wieder eingekriegt hat. Also auch die Anzeige des Frontends nicht (am gleichen Rechner). An einem anderen Rechner kann ich die Seite aber normal aufrufen, zumindest bis ich auch dort versuche die Dateiverwaltung zu öffnen.

Woran kann das liegen? Es nervt mittlerweile sehr und bremst ungemein beim Arbeiten.

Danke und Grüße,
Misios

**Spooky** · 08.12.2020, 14:40

Falls du open_basedir gesetzt hast, entferne das. Ansonsten insgesamt auch noch https://docs.contao.org/manual/de/pe...nce/php-setup/ beachten.

**Ricks** · 29.12.2020, 09:57

Hallo Misios,

konntest Du das Problem lösen, und wenn ja, wie? Wir haben auch ein System mit ca. 2000 Filmdateien, und die Dateiverwaltung ist nicht mehr nutzbar. Wir haben die Filme schon auf zahlreiche Unterordner verteilt, aber das System hängt sich regelmäßig auf, wenn man an irgendeiner Stelle eine Datei auswählen möchte oder einfach nur die Dateiverwaltung aufruft.

Danke für jeden Tipp.

Ricks

PS: Und einen guten Rutsch wünsche ich ;-)

**Ricks** · 29.12.2020, 10:44

Oder kann man das, was auch immer Contao so lahm macht in der Dateiverwaltung, deaktivieren? So ist es jedenfalls nicht nutzbar, und ich denke, eine Website mit mehreren Tausend Files sollte im Multimedia-Zeitalter von einem CMS zu bewältigen sein.

**Spooky** · 29.12.2020, 11:27

Welche Contao Version? Ist open_basedir deaktiviert?

**Misios** · 29.12.2020, 13:34

Zitat von Ricks

Hallo Misios,

konntest Du das Problem lösen, und wenn ja, wie? Wir haben auch ein System mit ca. 2000 Filmdateien, und die Dateiverwaltung ist nicht mehr nutzbar. Wir haben die Filme schon auf zahlreiche Unterordner verteilt, aber das System hängt sich regelmäßig auf, wenn man an irgendeiner Stelle eine Datei auswählen möchte oder einfach nur die Dateiverwaltung aufruft.

Danke für jeden Tipp.

Ricks

PS: Und einen guten Rutsch wünsche ich ;-)

Hey. Ich bin leider noch nicht dazu gekommen. Derzeit "arbeite" ich damit, dass es teilweise mehrere Reloads braucht, bis die Dateien in der Dateiverwaltung angezeigt werden. Ist es aber einmal passiert (in einer Sitzung) geht es danach einigermaßen erträglich.

Ich werde Spookys Vorschlag aber noch checken die nächsten Tage und melde mich hier dann wieder.

Viele Grüße,
Misios

**Misios** · 29.12.2020, 13:39

Hab es jetzt doch schnell mal gecheckt:

Also: open_basedir war bei mir gesetzt. Hab es jetzt deaktivert. Beim ersten Aufruf lief die Dateiverwaltung gut.
Werde das in den nächsten Tagen noch beobachten. Weil ab und zu lief sie bisher auch mal zwischendurch halbwegs gut.

Vielen Dank schonmal für den Tipp.

Misios

**Misios** · 29.12.2020, 13:52

Zu früh gefreut: Beim Versuch das Verzeichnis mit den vielen Filmen zu öffnen wieder ewiges Warten bzw. Time Out. :-(
Wahrscheinlich werd ich die Videos auf Vimeo in einen Pro-Account auslagern.
Ist aber natürlich an sich so kein Zustand.

**Misios** · 30.12.2020, 09:32

Zitat von Spooky

Falls du open_basedir gesetzt hast, entferne das. Ansonsten insgesamt auch noch https://docs.contao.org/manual/de/pe...nce/php-setup/ beachten.

Die Vorschläge sind alle umgesetzt. Nach einer Warterei von 13 Minuten und zwischendurch 4 Gateway Timeout mit Reloads kann ich wohl sagen, dass es nichts genutzt hat.

Gibt es noch andere Ideen oder kann ich davon ausgehen, dass Contao mit vielen MP4 in der Dateiverwaltungen aus irgendeinem Grund einfach nicht klar kommt?

Danke und Grüße,
Misios

**Spooky** · 30.12.2020, 09:36

Der Dateityp sollte egal sein (selbst bei Bildern).

**Misios** · 30.12.2020, 09:40

Zitat von Spooky

Der Dateityp sollte egal sein (selbst bei Bildern).

Ist es aber wohl nicht. Wenn ich im Nachgang (also nach den 13 Minuten mit Reloads) einen Ordner mit nur Bildern aufklappe geht es deutlich schneller, als ein Ordner mit Videos.

**Spooky** · 30.12.2020, 09:45

Die selbe Menge an Bildern?

**Misios** · 30.12.2020, 10:02

Zitat von Spooky

Die selbe Menge an Bildern?

Sind ca. ähnlich viele. Es braucht aber ein Vielfaches an Zeit, bis etwas angezeigt wird.

Hab auch mal folgenden Versuch gemacht:

- in der Dateiverwaltung auf oberster Ebene "Alle umschalten" sprich alle Ordner aufklappen: dauert wieder ewig (zw- 1-2 Minuten)
- dann nur die Ordner mit MP4 wieder zugeklappt und Reload "Dateiverwaltung". Geht sehr schnell (ca 5 Sekunden), obwohl viele viele Bilder angezeigt werden in den Ordnern
- dann wieder nur Ordner mit MP4 aufgeklappt, dauert wieder sehr lange für NUR diesen Ordner (40 sec)
- dann nur die Ordner mit MP4 wieder zugeklappt und Reload "Dateiverwaltung". Geht wieder sehr schnell (ca 5 Sekunden).
- dann wieder nur Ordner mit MP4 aufgeklappt, dauert wieder sehr lange für NUR diesen Ordner (40 sec)

Und es sind insgesamt sicher 4-5 mal soviel Bilder + sonstige Dateien, als Filme in den Ordnern.

In den MP4-Ordnern liegen auch immer noch PNG Startscreens. Daran kann es aber doch nicht liegen, oder?

**Spooky** · 30.12.2020, 10:16

Sollte auch egal sein.

In was für einer Umgebung tritt dieses Problem auf? Oder hast du es bereits in mehreren Umgebungen mit dem selben Ergebnis getestet? Auch lokal?

**Misios** · 30.12.2020, 10:39

Zitat von Spooky

Sollte auch egal sein.

In was für einer Umgebung tritt dieses Problem auf? Oder hast du es bereits in mehreren Umgebungen mit dem selben Ergebnis getestet? Auch lokal?

Strato V-Server / Linux V60
Ubuntu 18.04 LTS 64bit
PHP 7.4.13

Noch nicht woanders getestet.

Und das Problem besteht ausschließlich bei der Dateiverwaltung bzw. Anzeigen der Dateien zur Auswahl.
Ansonsten funktioniert sowohl BE als auch FE einwandfrei.

**Spooky** · 30.12.2020, 10:56

Dann teste es zumindest auch mal in deiner lokalen Entwicklungsumgebung.

**Misios** · 30.12.2020, 10:58

Zitat von Spooky

Dann teste es zumindest auch mal in deiner lokalen Entwicklungsumgebung.

Ich entwickle nicht lokal. :-)

**Spooky** · 30.12.2020, 11:00

Ab jetzt dann schon?

**Misios** · 30.12.2020, 16:24

Zitat von Spooky

Ab jetzt dann schon?

Lokal gleiches Verhalten.

Geht zwar insgesamt etwas schneller als auf dem Server, aber ..
.. um einen Ordner mit ca. 40 Filmen zu öffnen braucht es auch lokal ca. 30 Sekunden! Und zwar immer wieder, wenn man ihn mal geschlossen hat.
Ein Ordner mit 40 Bildern nicht mal 1 Sekunde.

**Spooky** · 30.12.2020, 17:45

Also ich kann das Problem in meiner lokalen Entwicklungsumgebung nicht nachstellen. Wenn ich die Dateiverwaltung öffne und nur ein Ordner mit 64 big_buck_bunny.mp4 Dateien offen ist, dann dauert der Request gleich lang wie bei einem Ordner mit 64 JPGs & PNGs (in meinem fall zwischen 1500 und 2500ms).

Falls es jedoch etwas mit dem Inhalt der MP4 Dateien zu tun hätte, müsstest du die 40 MP4 Dateien zum Download zur Verfügung stellen.

**Misios** · 30.12.2020, 18:20

Zitat von Spooky

Also ich kann das Problem in meiner lokalen Entwicklungsumgebung nicht nachstellen. Wenn ich die Dateiverwaltung öffne und nur ein Ordner mit 64 big_buck_bunny.mp4 Dateien offen ist, dann dauert der Request gleich lang wie bei einem Ordner mit 64 JPGs & PNGs (in meinem fall zwischen 1500 und 2500ms).

Falls es jedoch etwas mit dem Inhalt der MP4 Dateien zu tun hätte, müsstest du die 40 MP4 Dateien zum Download zur Verfügung stellen.

Wie gross sind denn die mp4 bei dir?
Meine sind alle zw. 500 MB und 1,2 GB gross. Vllt verschluckt sich der Dateimanager (warum auch immer) an der Dateigröße.

**Spooky** · 30.12.2020, 19:43

Ja stimmt, je größer die Datei, desto länger dauert es. Der Dateityp spielt dabei keine Rolle. Nun müsste man bspw. mit Tools wie blackfire.io analysieren, wo da die meiste Zeit drauf geht.

**Misios** · 30.12.2020, 19:59

Zitat von Spooky

Ja stimmt, je größer die Datei, desto länger dauert es. Der Dateityp spielt dabei keine Rolle. Nun müsste man bspw. mit Tools wie blackfire.io analysieren, wo da die meiste Zeit drauf geht.

Hmhm. Das heisst aber dann leider, dass Contao kaum benutzbar ist, wenn man viele große Videos einbinden will, die in der eigenen Umgebung liegen.
Ein Performance Test bringt ja wenig, wenn ich schon weiss, dass es an den Videos liegt.

Ist abzusehen, dass oder ob es hier diesbzgl. Verbesserungen oder Änderungen geben wird? Wenn der Contao-Dateimanager nicht umgehen kann mit vielen und großen Dateien, dann wäre das eher schade und fast schon ein K.O.-Kriterium für große Webseiten mit viel Multimedia.

**Spooky** · 30.12.2020, 20:42

There you go: https://github.com/contao/contao/pull/2614

**Misios** · 30.12.2020, 21:36

Zitat von Spooky

There you go: https://github.com/contao/contao/pull/2614

D.h. es ist eine Art Bug, oder?

Frage: Kann ich im Code irgendetwas anpassen, bis es einen offiziellen Fix gibt?

**Spooky** · 30.12.2020, 22:35

Zitat von Misios

Frage: Kann ich im Code irgendetwas anpassen, bis es einen offiziellen Fix gibt?

Ja, siehe den verlinkten Pull Request.

**Misios** · 31.12.2020, 08:11

Zitat von Spooky

Ja, siehe den verlinkten Pull Request.

Hab ich gesehen. Aber nicht verstanden, wo ich was genau machen muss :-)

**Spooky** · 31.12.2020, 10:45

Diese Änderung in vendor/contao/core-bundle/src/Resources/contao/library/Contao/File.php

**Misios** · 31.12.2020, 13:00

Zitat von Spooky

Diese Änderung in vendor/contao/core-bundle/src/Resources/contao/library/Contao/File.php

Danke dir. Hat funktioniert auf meiner Testinstallation.

Auf der Live-Variante nur bedingt. Hat trotzdem sehr lange gedauert. Hab dann die beiden Versionen mal verglichen und gesehen, dass auf der Testversion open_basedir NICHT "OFF" war und auf der Liveversion aber schon. Hab es nun auf der Liveversion open_basedir wieder angeschaltet und seit dem läuft es auch dort schnell und sauber. Muss ich das vestehen? Ansonsten steht doch immer und überall, man soll open_basedir OFF setzen.

Hab in diesem Jahr aber auch keine Lust mehr drauf.

Guten Rutsch an euch und danke für die Hilfestellungen, die da immer ruckzuck da sind!

**Spooky** · 31.12.2020, 13:37

Zitat von Misios

Hab dann die beiden Versionen mal verglichen und gesehen, dass auf der Testversion open_basedir NICHT "OFF" war und auf der Liveversion aber schon. Hab es nun auf der Liveversion open_basedir wieder angeschaltet und seit dem läuft es auch dort schnell und sauber. Muss ich das vestehen? Ansonsten steht doch immer und überall, man soll open_basedir OFF setzen.

Das macht tatsächlich keinen Sinn. Mit aktivierter open_basedir Einstellung sollte jede PHP Applikation immer langsamer sein, nicht schneller.