Neuerdings Probleme mit Contao 3.5.28 bei cyon.ch

[pumukel]

Guten Abend

Neuerdings habe ich Probleme mit einer Contao 3.5.28 (mit PHP 5.6.29) Websete http://gyprxrggek.cyon.link/ bei cyon.ch. Benutze ich ich Dateiverwaltung: Synchronisieren dauert es eine Ewigkeit
mindestens 5 Minuten. Dann bricht dieser Prozess auch noch mit Fehlermleldungen ab:

Request Timeout
This request takes too long to process, it is timed out by the server.
If it should not be timed out, please contact administrator of this web site to increase 'Connection Timeout'.
oder
503
Service Unavailable
The server is temporarily busy, try again later!

cyon.ch erlaubt (laut Mail von heute) nicht mehr als 5min für einen PHP-Prozess und behauptet nun auch noch, das dies seit Jahren so sei.
Als ich im Dezember 2016 auf Empfehlung eines Contao Forums Mitglied zu cyon.ch wechselte, lief aber alles wuderbar.

Noch rätselhafter ist folgendes: Exportiere ich diese Contao 3.5.28 Datenbank von cyon.ch lokal auf meinen Computer und will dies dann (XAMPP 7.1.7 mit phpMyAdmin) importieren, geht das schief. Importiere ich aber die gleich Datenbank mit XAMPP 5.6.28 auch mit phpMyAdmin und exportiere diese dann umgehend, kann ich sie mit XAMPP 7.1.7 auch mit phpMyAdmin problemlos importieren.

Bei hostpoint.ch habe ich für beide Sachverhalte absolut keine Probleme. Export/Import von Datenbank und auch die Synchronisierung maschiert wunderbar.

Frage. Bevor ich die ganze Webseite bei cyon.ch neu hochgeladen habe, hatte ich lokal (Index und alle Caches gelöscht), eine Synchronierung vorgenommen. Dauer 1min und 38sec. Die Datenbank habe ich sofort exportiert und bei cyon.ch umgehend importiert. Damit ergaben sich keine Probleme. Aber wieso hat nun die exakt gleiche Anwendung auf cyon.ch die genau mit der lokalen Anwendung übereinstimmt, mit identischer Datenbank wie lokal, nun Probleme mit der Synchronisierung. Ist mir wirklich schleierhaft. Sollte doch das Limit von 5min gar nicht überschreiten bzw. erreichen, oder liege ich hier schon wieder daneben?

Es liegt noch ein Screenshot der Dateisystems diesen Beitrag bei.

Datenbank Server cyon.ch
Server: Localhost via UNIX socket
Server-Typ: MySQL
Server Version: 5.6.33-cll-lve - MySQL Community Server (GPL)
Protokoll-Version: 10
Benutzer: xyzlocalhost
Server Zeichensatz: UTF-8 Unicode (utf8)

Datenbank Server hostpoint.ch
MySQL-Version: 10.1-MariaDB

Gruss
pumukel

[Spooky]

Bei cyon hast du ja SSH Zugriff, oder? Einfach im root

./system/bin/filesync 

ausführen.

[pumukel]

Bei cyon hast du ja SSH Zugriff, oder? Einfach im root

./system/bin/filesync 

ausführen.

Hallo Spooky

Funktioniert leider nicht.

Fehlermeldung:

[Symfony\Component\Console\Exception\CommandNotFoun dException]
Command "/system/bin/filesync" is not defined.

Composer auf dem Server im root installiert.
Auferufen mit php composer ./system/bin/filesync

Ich habe aber das Problem mit Contao 3.5.28 und nicht mit Contao 4.4.2. Hast Du Dich eventuell vergalopieri?

Gruss
pumukel

[bizon]

Du musst die Datei filesync zuerst ausführbar machen damit das Synchronisieren gelingt.

chmod +x system/bin/filesync
./system/bin/filesync

[Spooky]

Ich habe aber das Problem mit Contao 3.5.28 und nicht mit Contao 4.4.2. Hast Du Dich eventuell vergalopieri?

Nein, das existiert nur in Contao 3. Siehe https://github.com/contao/core/blob/...m/bin/filesync

[pumukel]

Du musst die Datei filesync zuerst ausführbar machen damit das Synchronisieren gelingt.

chmod +x system/bin/filesync
./system/bin/filesync

Hallo bizon

Müsste chmod +x system/bin/filesync nicht chmod +x ./system/bin/filesync lauten?

Ja und wie lautet nun der Aufruf aus PuTTY, aus dem Root Verzeichnis:

./system/bin/filesync
oder
php ./system/bin/filesync
oder
php composer.php ./system/bin/filesync

Es passiert nix oder ich erhalte kein Meldung für Job Ende!

Edit: Doch es hat geklappt, hat aber eine Ewigkeit gedauert!!!

gkammerm@s006 [~/www/gkammermann1.tld/JerryBar]# ./system/bin/filesync
Synchronization complete (see system/tmp/62b0a199aa01a84e81b86723998a7f8f).
gkammerm@s006 [~/www/gkammermann1.tld/JerryBar]#

Jetzt prüfe ich im Backend. ob es was gebracht hat.

Danke Spooky und Dank an Dich.

PS. Dies muss man auch wissen, wo ist den dies dokumentiert, wohl nirgends.

Also jetzt habe ich im Backend nochmals die Synchronisation bemüht:
Resultat: 4min und 29sec. Was bringt jetzt ./system/bin/filesync ???

Nochmalige Synchronisation:
Resultat nach 1min 30sec Abbruch mit
503
Service Unavailable
The server is temporarily busy, try again later!

cyon.ch ist für mich gestorben und ich bleibe bei hostpoint.ch, denn dort habe ich keine Propleme, weder mit Contao 3.5.28 und Contao 4.4.2
Auch wegen Import und Export der Datenbanken, ist ja zum Weinen. Es sind nie die Hoster, immer die User, deren Lieblingsspruch.

Gruss
pumukel

[bizon]

chmod +x system/bin/filesync
./system/bin/filesync

Etwas Erklärung zum Code:
Beide Zeilen haben nichts mit PHP oder Composer zu tun!
Jede Zeile ist ein separater Befehl, der immer mit ENTER ausgeführt wird.

1. Befehl: ruft das Programm chmod (change mode zum Ändern der Dateirechte) auf und setzt das x-Bit, das erlaubt, dass die Datei filesync im Verzeichnis system/bin/ ausgeführt werden darf. Das muss nur einmal gemacht werden, denn fortan ist filesync ausführbar. Normalerweise sind Dateien im Ordner bin(binär) bereits als ausführbar markiert.
2. Befehl: Dass eine Datei ausgeführt werden soll wird mit vorangestelltem ./ (dot slash) initiiert.

Dies muss man auch wissen, wo ist den dies dokumentiert, wohl nirgends.

Das sind Unix/Linux Basics, die tausendfach im Netz dokumentiert sind.

[webstar]

Die performance der Synchronisation von Contaos dbafs mit dem physischen Datei System ist leider eine Katastrophale. Bin sicher dass es noch optimiert werden kann.

Da es quasi bei jeder Datei zur Generierung des Hashes einen kompletten Scan über den Files Ordner macht, bekommt man bei einer großen Menge von Dateien schnell Probleme.

[lucina]

Sehe ich ähnlich - mal aus der Praxis illustriert: Ich habe einen Kunden, der individualisierte Gerätesoftware über das Downloads-Element für einzelne Endkunden, teilweise mit neuen Versionen im Stundentakt, an einzelne Endkunden vertreiben wollte. Im Wndeffekt klappt Contao da vollstândig zusammen, wenn es alle 60 Minuten den Dateibaum mit 15 GB an diversesten Daten synchronisieren sollte.

Im Endeffekt haben wir dann eine Cloudlösung integriert (Nextcloud mit Hashing-Plugin), mit dem das problemlos klappte.

Ich weiß nicht was Pumukel da im Filesystem liegen hat, aber je nachdem (sehr viele Dateien sind weniger kritisch als sehr grosse, die zwecks Hashwertberechnungj ja auch erstmal in den Speicher befördert werden müssen) kann es sein, dass andere Lösungen dann besser sind. Möglicherweise kann man sich da mal anschauen, wie Nextcloud das macht.

[Spooky]

cyon.ch ist für mich gestorben und ich bleibe bei hostpoint.ch

Mit dem Hoster hat das Problem nur indirekt was zu tun.

[webstar]

Sehe ich ähnlich - mal aus der Praxis illustriert: Ich habe einen Kunden, der individualisierte Gerätesoftware über das Downloads-Element für einzelne Endkunden, teilweise mit neuen Versionen im Stundentakt, an einzelne Endkunden vertreiben wollte. Im Wndeffekt klappt Contao da vollstândig zusammen, wenn es alle 60 Minuten den Dateibaum mit 15 GB an diversesten Daten synchronisieren sollte.

Im Endeffekt haben wir dann eine Cloudlösung integriert (Nextcloud mit Hashing-Plugin), mit dem das problemlos klappte.

Ich weiß nicht was Pumukel da im Filesystem liegen hat, aber je nachdem (sehr viele Dateien sind weniger kritisch als sehr grosse, die zwecks Hashwertberechnungj ja auch erstmal in den Speicher befördert werden müssen) kann es sein, dass andere Lösungen dann besser sind. Möglicherweise kann man sich da mal anschauen, wie Nextcloud das macht.

Die Anzahl der Dateien kann bei einem langsamen Dateisystem schon Probleme machen. Manchmal drosseln die Hoster die I/O Geschwindigkeit.

Hatte mal ein Projekt, da lagen alle Dateien (> 10.000) auf einem NAS...

[BugBuster]

Wenn "nur" Dateien dazu kommen, kann man auch nur diese Dateien in die DB aufnehmen lassen, nur muss man das selber tun, dazu gibt es kein Backend Link.
Mein easyupdate3 macht das, durch Aufruf von Dbafs:addResource(...)
Da kann man auch ein Pfad angeben, dann werden alle Dateien in diesem Verzeichnis (rekursiv) durchgeforstet.

Filesync nimmt immer den gesamten Upload Pfad. Vermutlich kann das Teil nur so erkennen ob Dateien verschoben wurden, ist aber nur eine Theorie von mir.

Sprich, man könnte sich ein kleines PHP Script basteln, welches man mittels Parameter aufrufen kann oder dieses regelmäßig per Cron tun lässt, sofern sich beispielsweise immer nur Dateien in einem Verzeichnis ändert. Das könnte vorher ja sogar selber suchen welche Dateien noch nicht in der DB sind und nur diese eintragen lassen. (sofern es nur neue gibt natürlich)

Wer viel Zeit hat, ich leider nicht obwohl es mich grad juckt in den Fingern, könnte das Filesync so aufboren, das es über mtime oder ähnliches nur neuere und veränderte Dateien sucht und dieses synct.
Muss dann nur noch getestet werden, ob damit auch manuelle Verschiebungen von Dateien vollständig umgetragen werden.

[pumukel]

Etwas Erklärung zum Code:
Beide Zeilen haben nichts mit PHP oder Composer zu tun!
Jede Zeile ist ein separater Befehl, der immer mit ENTER ausgeführt wird.

1. Befehl: ruft das Programm chmod (change mode zum Ändern der Dateirechte) auf und setzt das x-Bit, das erlaubt, dass die Datei filesync im Verzeichnis system/bin/ ausgeführt werden darf. Das muss nur einmal gemacht werden, denn fortan ist filesync ausführbar. Normalerweise sind Dateien im Ordner bin(binär) bereits als ausführbar markiert.
2. Befehl: Dass eine Datei ausgeführt werden soll wird mit vorangestelltem ./ (dot slash) initiiert.



Das sind Unix/Linux Basics, die tausendfach im Netz dokumentiert sind.

Hallo bizon

Danke für Deine Hilfe. Ich lerne dazu. Als mehr als 25 Jahre Windows geschädigter müsst ihr eben berücksichtigen, dass ich mit Linux und deren Möglichkeiten, keinerlei Erfahrung habe.

Gruss pumukel

[pumukel]

Mit dem Hoster hat das Problem nur indirekt was zu tun.

Hallo Spooky

Ich habe jetzt einmal diverse Ordner, es sind vorallem Ordner mit Videos (diese alle), von der Synchronisation ausgeschlossen. Trotzdem bricht bei cyon der Prozess mit Timeout wieder ab. Mit ./system/bin/filesync hat es allderdings geklappt, brauchte aber trotzdem 4min und 28s. Bei Hostpoint ist nach 2min 40s vom Backend aus, die Sache ohne Probleme gelaufen.

Kann es wirklich sein, dass ich Probleme mit der Datenbankkompatiblität habe?

Xampp 5.6.28 diesen benutze ich noch für Contao 3.5.xx Versionen
Datenbank-Server
Server: 127.0.0.1 via TCP/IP
Server-Typ: MariaDB
Server-Version: 10.1.19-MariaDB - mariadb.org binary distribution
Protokoll-Version: 10
Benutzer: root@localhost
Server-Zeichensatz: UTF-8 Unicode (utf8)

Webserver
Apache/2.4.23 (Win32) OpenSSL/1.0.2h PHP/5.6.28
Datenbank-Client Version: libmysql - mysqlnd 5.0.11-dev - 20120503 - $Id: 76b08b24596e12d4553bd41fc93cccd5bac2fe7a $
PHP-Erweiterung: mysqli Dokumentation
PHP-Version: 5.6.28

phpMyAdmin
Versionsinformationen: 4.5.1, aktuelle stabile Version: 4.7.3

Server cyon.ch
Datenbank-Server
Server: Localhost via UNIX socket
Server-Typ: MySQL
Server Version: 5.6.33-cll-lve - MySQL Community Server (GPL)
Protokoll-Version: 10
Benutzer: gkammerm@localhost
Server Zeichensatz: UTF-8 Unicode (utf8)

Webserver
cpsrvd 11.56.0.49
Datenbank-Client Version: libmysql - 5.1.73
PHP-Erweiterung: mysqli Dokumentation

phpMyAdmin
Versionsinformationen: 4.0.10.14

Server hostpoint.ch
System
PHP 5.6.26 / 7.0.3
MySQL 10.1-MariaDB
Perl 5.20.2

Wird irgendwie langsam zum Problem mit der Kompatibilität von MySql Version und Maria DB Versionen

Gruss pumukel