Lange Ladezeit durch fehlende Dateien

Hallo,

bei einer Contao Installation habe ich sehr hohe Ladezeiten.

Mein Hoster hat versucht den Fehler zu analysieren und konnte sehr viele nicht gefundene Dateien in den Logs verzeichnen.

Folgen ein kleiner Auszug der Log-Datei:

PHP-Code:

---

32560 11:38:38.818134 access("/html/contao/system/modules/core/config/services.php", F_OK) = -1 ENOENT (No such file or directory)
32560 11:38:38.826380 access("/html/contao/system/modules/!composer/config/services.php", F_OK) = -1 ENOENT (No such file or directory)
32560 11:38:38.828441 access("/html/contao/system/modules/FormFieldAccessProtection/config/services.php", F_OK) = -1 ENOENT (No such file or directory)
32560 11:38:38.830238 access("/html/contao/system/modules/calendar/config/services.php", F_OK) = -1 ENOENT (No such file or directory)

32560 11:41:55.613824 access("/html/contao/templates/tao/mm_attr_text.html5", F_OK) = -1 ENOENT (No such file or directory)
32560 11:41:55.614677 access("/html/contao/templates/mm_attr_text.html5", F_OK) = -1 ENOENT (No such file or directory)
32560 11:41:55.621285 access("/html/contao/templates/tao/mm_attr_text.text", F_OK) = -1 ENOENT (No such file or directory)
32560 11:41:55.622161 access("/html/contao/templates/mm_attr_text.text", F_OK) = -1 ENOENT (No such file or directory)
32560 11:41:55.629260 access("/html/contao/templates/tao/mm_attr_timestamp.html5", F_OK) = -1 ENOENT (No such file or directory)
32560 11:41:55.630072 access("/html/contao/templates/mm_attr_timestamp.html5", F_OK) = -1 ENOENT (No such file or directory) 


---

Im gesamten beinhaltet die Log-Datei 14253 Zeilen.
Siehe Log-Datei im Anhang.


Wo könnte hier der Fehler zu suchen sein?

Gruß Bastian

Contao core 3.5.27
PHP 7.1

Was sagt der Contao-Check dazu?

Edit: Bzw hast du ds mal anhand einiger der Dateien nachgeprüft? Fehlen die tatsächlich? Wenn ja, wie ist das installiert worden?

Der Contao-Check wirft keine Fehler aus.

Ja, die Dateien fehlen.

Contao wurde mittels einer vom Hoster angebotenen 1-Klick-Installation installiert.
Soweit ich mich erinnern kann wurden seither Updates über das Live-Update durchgeführt und nachträglich auf Composer umgestellt.

Sehr oft taucht die Datei services.php auf.

So zum Beispiel:

PHP-Code:

---

32560 11:38:38.818134 access("/html/contao/system/modules/core/config/services.php", F_OK) = -1 ENOENT (No such file or directory) 


---

Gab es jemals diese Datei in diesem Ordner?

Nein, in einer jungfräulichen Contao-Installation gibt es keine services.php. Man müsste im Log nachschauen, ob die Zugriffe auf dieses Skript von einen Bot (o. ä.) stammen.

In meiner access.log konnte ich keinen Aufruf einer services.php finden.

Die Fehlermeldung

PHP-Code:

---

32560 11:38:38.818134 access("/html/contao/system/modules/core/config/services.php", F_OK) = -1 ENOENT (No such file or directory) 


---

wird beim Aufruf der Seite in die Log-datei geschrieben.

Ja, das sind die services.php Dateien von Drittanbietererweiterungen.

Ich bezog mich u. a. auf diesen Zugriff

Code:

---

32560 11:38:38.818134 access("/html/contao/system/modules/core/config/services.php", F_OK) = -1 ENOENT (No such file or directory)

---

In einer jungfräulichen Contao-Installation gibt es dort jedenfalls keine services.php. Es kann aber sein, dass der EventDispatcher die dorthin schreibt.

Hier z.B wird in meinem template Ordner nach einer Datei gesucht.?.
Auch die Endung mm_attr_text.text ist komisch.

PHP-Code:

---

32560 11:40:15.224969 access("/html/contao/templates/mm_attr_text.text", F_OK) = -1 ENOENT (No such file or directory) 


---

Hat jemand eine Idee woher das kommen kann?

Zitat:

---

Zitat von bastlwastl

Hier z.B wird in meinem template Ordner nach einer Datei gesucht.?.
Auch die Endung mm_attr_text.text ist komisch.

PHP-Code:

---

32560 11:40:15.224969 access("/html/contao/templates/mm_attr_text.text", F_OK) = -1 ENOENT (No such file or directory) 


---

Hat jemand eine Idee woher das kommen kann?

---

Du scheinst MetaModels nutzen. Dies erklärt sowohl die Suche nach der services.php als auch die Suche nach dem Template.

Bei den Template ist es normal, dass Contao erst im Templates Ordner sucht und dann in den Modulen. Sonst wären die Templates ja nicht uberschreibbar.

Eine dumme Frage zu deinem Problem: hast du den internen Cache aufgebaut?

MetaModels kann je nach Konfiguration zig Queries erzeugen. Ein Blick in die Debugbar von Contao sollte hier eine Auskunft geben.

Ja, das ist richtig. Ich verwende MetaModels.
Der interne Cache ist aufgebaut.

Wo kann ich diese Debugbar finden?

Mal eine andere Frage.
Können nicht auffindbare Dateien einen Server ausbremsen?

Da ich mit den Ladezeiten meiner Seite nicht zufrieden bin, habe ich testweise die Seite auf einem kleinen 1&1 Hosting-Paket kopiert.
Siehe da, die Seite läd bei 1&1 doppelt so schnell.

Mein aktueller Hoster begründet die lange Ladezeiten mit den nicht auffindbaren Dateien.

Zitat:

---

Zitat von bastlwastl

Mal eine andere Frage.
Können nicht auffindbare Dateien einen Server ausbremsen?

Da ich mit den Ladezeiten meiner Seite nicht zufrieden bin, habe ich testweise die Seite auf einem kleinen 1&1 Hosting-Paket kopiert.
Siehe da, die Seite läd bei 1&1 doppelt so schnell.

Mein aktueller Hoster begründet die lange Ladezeiten mit den nicht auffindbaren Dateien.

---

Wenn du den Debugmodus in den Systemeinstellungen aktivierst, erscheint diese unten auf der Seite.

Grundsätzlich verbrauchen Dateisystemanfragen Zeit. Sollte das System aber nicht extrem ausbremsen. Manche Hoster drosseln aber die IO Zeiten.

Hier das Ergebnis des Debugmodus und der Firefox Netzwerkanalyse.
Auf der Seite wird eine Metamodel-Liste ausgegeben.
Kann man aus dem Ergebnis irgendetwas ableiten?
Zum Beispiel, dass die fehlenden Dateien nicht das Problem für die Lange Ladezeit sind.?.


1 Metamodel-Liste / Ausgabe von 10 Einträgen

Mein Hoster

Firefox Netzwerkanalyse

44 Anfragen
1,28 MB / 2,09 MB übertragen
Beendet: 49,32 s
DOMContentLoaded: 43,27 s
load: 43,42 s


Contao Debugbar

Execution time: 39.574 ms
Memory usage: 86,2 MiB
Database queries: 835
Rows: 4456 returned, 0 affected
Registered models: 108


1&1

Firefox Netzwerkanalyse

44 Anfragen
1,08 MB / 1,92 MB übertragen
Beendet: 14,81 s
DOMContentLoaded: 10,19 s
load: 10,32 s


Contao Debugbar

Execution time: 6.428 ms
Memory usage: 95,4 MiB
Database queries: 688
Rows: 4023 returned, 0 affected
Registered models: 108



1 Metamodel-Liste / Ausgabe von 1 Einträgen

Mein Hoster

Firefox Netzwerkanalyse

33 Anfragen
708,72 KB / 1,49 MB übertragen
Beendet: 14,15 s
DOMContentLoaded: 8,52 s
load: 8,77 s


Contao Debugbar

Execution time: 6.181 ms
Memory usage: 29,6 MiB
Database queries: 229
Rows: 1078 returned, 0 affected
Registered models: 75


1&1

Firefox Netzwerkanalyse

33 Anfragen
678,51 KB / 1,50 MB übertragen
Beendet: 8,78 s
DOMContentLoaded: 3,68 s
load: 3,89 s


Contao Debugbar

Execution time: 1.092 ms
Memory usage: 39,2 MiB
Database queries: 218
Rows: 1053 returned, 0 affected
Registered models: 75

Zitat:

---

Zitat von bastlwastl

1 Metamodel-Liste / Ausgabe von 10 Einträgen

Mein Hoster

Contao Debugbar

Execution time: 39.574 ms
Memory usage: 86,2 MiB
Database queries: 835
Rows: 4456 returned, 0 affected
Registered models: 108


1&1

Contao Debugbar

Execution time: 6.428 ms
Memory usage: 95,4 MiB
Database queries: 688
Rows: 4023 returned, 0 affected
Registered models: 108

---

Bei diesem Test scheint aber entweder nicht die selbe Seite oder die selbe Datenbank verwendet zu sein. Andernfalls solltest du ja gleich viel Database queries haben.


Jedenfalls liegt die lange Ladezeit vermutlich an den vielen Datenbank Queries durch MetaModels.

Die Installationen sind wohl nicht ganz identisch?! Bei deinem Hoster gibt es mehr DB queries als bei 1&1 und dementsprechend auch mehr Ergebnisse. Allerdings scheinen mir die Unterschiede nicht groß genug, um die wesentlich längere Ladezeit zu erklären. Möglich wäre es allerdings schon, wenn die zusätzlichen Abfragen grundlegend anders sind als die restlichen und wesentlich mehr Zeit beanspruchen. Ansonsten scheint dein jetziges Hosting wesentlich langsamer zu sein als 1&1. Ob es an den fehlenden Dateien liegt? Falls die Anzahl der gesuchten und nicht gefundenen Dateien bei 1&1 nicht wesentlich kleiner ist - was sie eigentlich nicht sein sollte, aber wie geschrieben scheint da nicht alles völlig identisch zu sein - dann kann es zwar an diesen fehlenden Dateien bzw der großen Zahl von Dateizugriffen liegen, aber nur dann, wenn die bei deinem Hoster wesentlich mehr Zeit brauchen als bei 1&1, also der Dateizugriff da wesentlich langsamer ist. Siehe als mögliche Erklärung die Antwort von @webstar.

Ein kleines Hostingpaket bei 1&1 ist nach meinen Erfahrungen bestimmt nicht so viel schneller als der durchschnittliche Hoster. Ist also wohl eher so, dass dein Hosting langsam ist. Sei es beim Datenbankzugriff oder beim Dateizugriff oder generell durch einen überlasteten Server. Wie sieht der Traffic deiner Live-Installation bei deinem Hoster während deiner Messungen aus? Das könnte natürlich auch eine gewisse Rolle spielen, bei 1&1 greift außer dir wohl niemand zu.

Ja, die unterschiedlichen queries haben mich auch etwas gewundert.
Es wurde aber auf beiden Servern der gleiche Datenbestand installiert.

Mein Hoster beharrt auf die fehlenden Dateien als Verursacher der langen Ladezeiten.
So wie es aussieht möchte er keine weiteren Analysen anstellen, bevor nicht diese Fehler beseitigt sind.

Ich glaube nicht, dass die fehlenden Dateien das Problem der langen Ladezeiten sind.
Aber was mache ich jetzt?
Kann ich vielleicht mal bei der Contao-Installation, die bei meinem Hoster liegt, die Datenbank von 1&1 angeben?
Macht das Sinn? Kann so ein Problem der Datenbank meines Hosters bewiesen werden?

Das funktioniert nicht. Die Datenbanken von 1&1 sind von außen nicht zugänglich.

Könnte man schon - über einen SSH Tunnel ;). Das würde die ganze Sache aber vermutlich langsamer machen, nicht schneller, weil dann die Latenz für jeden Query höher ist.

Zitat:

---

Zitat von tab

Das funktioniert nicht. Die Datenbanken von 1&1 sind von außen nicht zugänglich.

---

Hm schade.

Die unterschiedlichen Queries kamen durch ein ORDER BY RAND() im SQL-Filter von Metamodel.
Jetzt sind die Queries gleich.

Jemand eine Idee wie ich jetzt verfahren sollte.
Wie kann ich meinem Hoster beweisen, dasss seine Datenbank langsam ist.

Kann man irgendwie in einer jungfräulichen Contao-Installation eine hohe Datenbanklast verursachen?

Für "beweiskräftige" Messungen an der Datenbank würde ich nicht auf Contao setzen sondern lieber auf weniger komplexe Szenarien. Also z.B. eine Testdatenbank und ein Skript, das da definierte Abfragen durchführt und Zeiten misst. Da kommen dann auch weniger Diskussionen auf, weil es keine fehlenden Dateien gibt ;). Ist schon klar, dass die meisten Hoster sich erst einmal rausreden auf irgendwelche Dinge, die als erstes aufgefallen sind. So große Unterschiede könnten z.B. auch erklärbar sein durch Datenbanken auf SSD vs Datenbanken auf normaler Festplatte.

Edit: Das gilt natürlich auch für die Dateizugriffe, ich denke aber nicht, dass der Webspace bei 1&1 komplett auf SSD Festplatten liegt.

Genaueres (bzw. definitives) wirst du wohl nur mit Tools wie Blackfire rausfinden.

Ja, so ein Tool wäre wohl das beste. An die in MySQL verfügbaren Profiling-Fähigkeiten wirst du wohl kaum drankommen, weil du sie sehr wahrscheinlich nicht selbst einschalten kannst.

Es reicht ja zu wissen wo am meisten Zeit drauf geht. I/O, Code oder Queries.

Blackfire scheint mir recht aufwendig zu sein.
Bis ich mich da belesen und verstanden habe wie ich das Tool benutzen kann.

Der Support meines Hosters ist sicherlich dazu bereit weitere Analysen zu starten - jedoch erst wenn das Argument mit den fehlenden Dateien nicht mehr im Raum steht.

Mein Hoster bietet eine 1-Klick-Installation von Contao an.
Wenn ich diese nutze, dann kann sich doch mein Hoster nicht mehr raus reden.
Aber wie bekomme ich eine hohe Datenbanklast hin.

Könnte ich vielleicht das Nachrichten-Modul mit z.B. 300 Einträgen befüllen und diese auf einer Seite ausgeben?

Zitat:

---

Zitat von bastlwastl

Könnte ich vielleicht das Nachrichten-Modul mit z.B. 300 Einträgen befüllen und diese auf einer Seite ausgeben?

---

Das wäre nur ein oder zwei queries. Du müsstest dann das news_full Template auswählen und in jeder News auch noch zusätzlich ein Inhaltselement haben. Das sind dann mindestens 300 queries.

Zitat:

---

Zitat von Spooky

Das wäre nur ein oder zwei queries. Du müsstest dann das news_full Template auswählen und in jeder News auch noch zusätzlich ein Inhaltselement haben. Das sind dann mindestens 300 queries.

---

Ja, das hört sich doch gut an. Ich probier das einfach mal.
Ich berichte dann über das Ergebnis.

Zitat:

---

Zitat von bastlwastl

Blackfire scheint mir recht aufwendig zu sein.
Bis ich mich da belesen und verstanden habe wie ich das Tool benutzen kann.

Der Support meines Hosters ist sicherlich dazu bereit weitere Analysen zu starten - jedoch erst wenn das Argument mit den fehlenden Dateien nicht mehr im Raum steht.

---

Na, wenn die selbe Instalation mit den selben fehlenden Dateien auf einem Feld-, Wald- und Wiesenpaket von 1&1 sooo viel schneller ist wie in deinem Fall, wenn kümmern dann irgendwelche fehlenden Dateien? Sind ja auf beiden System identisch.

Richtig!

Mein Hoster sagt hierzu:

Zitat:

---

Unterschiede in der Art und Geschwindigkeit der Fehlerbehandlung mag es geben.
Der Punkt ist das die Fehler -in solcher massiven Anzahl- nicht vorhanden sein dürften.
Die vielen Mehrfachaufrufe von fehlenden Dateien sorgen in diesem Fall für massive Geschwindigkeitseinbußen.

---

Gut. Damit sagt dein Hoster, dass er für deine Contao-Installation nicht geeignet ist. Warum nimmst du nicht einfach das offenbar schnellere Hosting bei 1&1 her oder suchst dir gleich einen vernünftigen Hoster? (Mann, bin ich heute wieder böse zu 1&1, sooooo schlecht sind sie dann auch wieder nicht ;))

Zitat:

---

Zitat von tab

Warum nimmst du nicht einfach das offenbar schnellere Hosting bei 1&1 her oder suchst dir gleich einen vernünftigen Hoster?

---

Weil es nicht nur um eine Webseite geht und ich mit dem Hoster und den Tools die dieser bietet sehr zufrieden bin. Bis auf die Performance-Probleme.

Naja, Fakt ist nun mal, die "fehlenden Dateien" wirst du in dieser Installation nicht wegbekommen, weil diese völlig normal sind für deine Installation. Das sind auch keine Fehler, es wird lediglich geschaut, ob die Datei vorhanden ist und somit verwendet werden muss.

Ganz dumme Idee: Du könntest natürlich hergehen und die angemeckerten Templates tatsächlich anlegen (unveränderte Original-Templates), wenn dein Hoster unbedingt darauf bestehen will. Zumindest die in der Liste am häufigsten vermissten Templates. Allerdings können sich die Originaltemplates bei einem MM-Update ändern und du solltest dann die Änderungen nachführen. Ist aber wirklich nicht im Sinne des Erfinders.

So, hier nun das Ergebnis mit einer Contao-Installation, bei der lediglich das Nachrichten-Modul mit ca. 1000 Einträgen befüllt wurde.

Mein Hoster

Firefox Netzwerkanalyse

11 Anfragen
1,69 MB / 1,99 MB übertragen
Beendet: 19,36 s
DOMContentLoaded: 14,42 s
load: 14,57 s


Contao Debugbar

Execution time: 12.110 ms
Memory usage: 33,3 MiB
Database queries: 1035
Rows: 2058 returned, 0 affected
Registered models: 1035


1&1

Firefox Netzwerkanalyse

11 Anfragen
1,68 MB / 1,63 MB übertragen
Beendet: 8,01 s
DOMContentLoaded: 3,49 s
load: 3,68 s


Contao Debugbar

Execution time: 1.199 ms
Memory usage: 36,8 MiB
Database queries: 1035
Rows: 2058 returned, 0 affected
Registered models: 1035

Und dort gibt es auch vermutlich keine services.php Zugriffe? Dann scheint es ja tatsächlich an der lahmen Datenbank zu liegen.

So oder so machen die Fehlenden Dateien (bzw. der Versuch darauf zuzugreifen) eine Seite langsamer.
Fakt ist aber bei 1und1 auch, dass es dort verschiedene DB-Server gibt. Wenn eine neue DB eingerichtet wird, landet die auf irgendeinem bei denen (da haben die selber auch keine Möglichkeit zu bestimmen auf welchem DB-Server die landen). Es kann also auch sein, dass eine Seite langsam ist, mit der selben DB aber auf einem anderen DB-Server sehr viel schneller. Deswegen lohnt sich immer ein Test, indem man die Datenbank noch mal neu anlegt, die Daten kopiert und dann noch mal neu schaut. Meist reicht da ein Versuch. Wenn man Pech hat, braucht man auch mal zwei oder drei...
Es liegt einfach daran, wie ausgelastet der entsprechende DB-Server gerade bei 1und1 ist.
Wäre zumindest einen Versuch Wert. Wobei ich auch sagen muss, dass ein und die selbe Seite bei einem anderen Hoster ohne den Flaschenhalz mit dem eigenen DB-Server in der Regel schneller ist (auch bei kleineren Seiten und ohne MetaModels).

Viele Grüße

Sicherlich gibt es Unterschiede bei der Performance von Datenbank-Servern.
Aber doch nicht im Bereich von 10 Sekunden bei vergleichbaren Systemen.?.

Mein Hoster konnte übrigens keine hohen Geschwindigkeits-Unterschiede bei meinen Testinstallationen feststellen.
Jetzt warte ich erneut auf Antwort. Sollte sich an der Situation nichts ändern, dann veröffentliche ich hier die beiden Links - vielleicht mache ja auch ich etwas falsch.

Zitat:

---

Zitat von bastlwastl

Mein Hoster konnte übrigens keine hohen Geschwindigkeits-Unterschiede bei meinen Testinstallationen feststellen.

---

Hast du ihm dein reines News Beispiel gezeigt? Dort ist der Unterschied ja offensichtlich.

Zitat:

---

Zitat von bastlwastl

Sollte sich an der Situation nichts ändern, dann veröffentliche ich hier die beiden Links - vielleicht mache ja auch ich etwas falsch.

---

Das wird nichts nützen - wir können mit dem Link ja nichts anfangen.

Ja, die Testinstallation bei der lediglich das Nachrichtenmodul mit Einträgen befüllt wurde.

Hier der Link zur 1&1 Testinstallation:
http://s722760689.online.de/index.php/test-2.html

Diese Seite läd bei meinen Tests meistens innerhalb von ca. 5 Sekunden.
Wobei dies über den Tag verteilt sehr unterschiedlich sein kann.

Die gleiche Installation benötigt bei meinem Hoster meistens ca. 15 Sekunden.

Zitat:

---

Zitat von Spooky

Das wird nichts nützen - wir können mit dem Link ja nichts anfangen.

---

Ihr könntet mir die deutlich unterschiedlichen Ladezeiten bestätigen.
Zur Zeit steht ja die Aussage im Raum, dass beide Seiten gleich schnell sind.

Zitat:

---

Zitat von bastlwastl

Diese Seite läd bei meinen Tests meistens innerhalb von ca. 5 Sekunden.
Wobei dies über den Tag verteilt sehr unterschiedlich sein kann.

---

Ja, ich messe dort eine time to first byte zwischen 4500ms und 11000ms.

Zitat:

---

Zitat von bastlwastl

Sicherlich gibt es Unterschiede bei der Performance von Datenbank-Servern.
Aber doch nicht im Bereich von 10 Sekunden bei vergleichbaren Systemen.?.

---

Wenn sie denn wirklich vergleichbar sind. Bei 1&1 sind alle Datenbanken auf SSD, wenn das bei deinem Hoster nicht so ist, dann macht das schon einen erheblichen Unterschied.

Deswegen schrieb ich ja vergleichbar.
Beide Datenbanken befinden sich auf SSD.

Oh je, dann muss es da bei deinem Hoster einen anderen erheblichen Flaschenhals beim Zugriff auf die Datenbank geben. Bis zu 10 Sekunden Unterschied ist schon eine ganze Menge. Eventuell auch einfach Überlastung des Servers bzw des Datenbankservers, falls das wie ja auch bei 1&1 nicht localhost ist.

Nur weil beide SSDs benutzen heißt das nicht, dass die Performance zwangsläufig gleich ist. Dazu gibt es zu viele verschiedene Variablen.