Cloud (Resover) Wartezeit

[tblumrich]

Hallo!

Ich beobachte seit einigen Tagen, heute ganz besonders, dass man sehr lange warten muss beim Installieren oder Update von Erweiterungen über den Manager mit eingeschalteter Cloud. Beim Start bricht das Taskfenster auch immer erstmal ab (rot) und es passiert scheinbar nichts - dann, nach einen Reload der Seite, erscheint das Fenster wieder und man wartet wie unten beschrieben...
Ist das neu oder irgendwie ein vorübergehender Engpass oder die Tageszeit oder so?

Im Moment muss man grundsätzlich 5-6 Minuten warten bis Kapazitäten frei sind für den angeforderten Prozess (Update einer Extension z.B.). Habs auf 3 versch. Installationen (verschiedenene Server) getestet (df, netcup, webgo)
Anzeige z.B.:

Warte auf freie Rechenleistung der Composer Cloud seit 466 Sekunden

Berechnung startet in ca. 249 Sekunden (aktuell 18 Aufgaben auf 6 Servern)

Wie gesagt, ich meine sonst nie mehr als 1 Minute gewartet zu haben...

Danke für jede Info.

[Spooky]

Hm, Andreas hat den Contao Manager inkl. Composer Resolver Cloud vor kurzem auf einer Symfony Konferenz vorgestellt, vielleicht nutzen das jetzt mehr Leute

[tblumrich]

Oh, das wäre aber fürs Handling jetzt nicht so schön...
Vielleicht kann das irgendwer bestätigen oder widerlegen, damit ich einen Fehler bei mir hier ausschliessen kann?

[stefan-at-work]

yepp, momentan ordentlich was los. (20 Aufgaben auf 6 Servern)

[stefan-at-work]

Gerade eine 4.4. installiert. Wartezeit 15 Minuten. Weitere 2 Minuten bis die Cloud mit den Berechnungen der Abhängigkeiten fertig ist und die Pakete downloaded.

[mlweb]

Bei mir heute auch deutlich längere Wartezeiten als gewöhnlich.

[tab]

Vor 10 Minuten nur 1 Aufgabe auf 6 Servern, nach 20 Sekunden ging es los. Der RAM-Bedarf wird immer größer, Peakwert 3642MB. Wo mag das nur enden?

[Spooky]

Pro Tip für nicht Cloud Resolver User:

composer global require symfony/flex

plus

{
    "extra": {
        "symfony": {
            "require": "^4.2"
        }
    }
}

in der composer.json (^3.3 für Contao 4.4). Damit wird um 60 bis 70% weniger RAM benötigt und die Abhängigkeitsauflösung ist auch um ein vielfaches schneller

[Samson1964]

Der Cloud Resolver wurde am 27. September also gehypt: https://berlin2019.live.symfony.com/...le#session-313
Ich rieb mir auch verwundert die Augen, als ich gestern mal 5-10 Sekunden warten mußte.

[Stefko]

Bei mir heute auch deutlich längere Wartezeiten als gewöhnlich.

Ahoi,
das gerade die 4.4.44 erschien, spielt bestimmt auch eine Rolle. Alleine ich habe in den vergangenen beiden Tagen etwas über 25 Sites aktualisiert

[juju]

Hallo,

ich habe auch gerade 45 Minuten mit der Installation eines einzelnen Pakets verbracht. 43 Minuten warten auf Rechenleistung und 2 Minuten Abhängigkeitsprüfung/Installation.

Gibt es dafür evtl inzwischen eine Bezahl-Lösung? Wenn ich mir solche Wartezeiten beim nächsten Security-Update vorstelle, dann bin ich bei 40 Websites mindestens 1 Woche mit Warten beschäftigt, bei zu erwartenden kleinen Problemen hier und da werden es dann eher 2 - 3 Wochen nur für Updates. Das kann man ja weder einem Kunden in Rechnung stellen, noch möchte man soviel Lebenszeit verschwenden

Wie löst Ihr dieses Problem? (abgesehen von Nachtarbeit)

Danke und viele Grüße
juju

[Spooky]

Wie löst Ihr dieses Problem?

Lokal und dann Deployment.

[Kahmoon]

War auch gerade etwas überrascht als 55 Jobs vor mir waren bei einer extrem hohen Wartezeit

Wie löst Ihr dieses Problem? (abgesehen von Nachtarbeit)

Normal dauert das ja ned so lang....

[juju]

@Kahmoon:

Normal dauert das ja ned so lang....

Sicherheitsupdates dürften noch extremer werden, wenn es heute schon 77 jobs vor mir waren...


@Spooky:

Lokal und dann Deployment.

Soweit ich das bisher verstanden habe, bringt das u.a. unter Windows neue Probleme mit sich. Auch das mit den Versionen (server/lokal) von php und mysql für verschiedenste Kunden/Hostings scheint kritisch/aufwändig. Kann mir diesen Weg aber gern noch einmal ansehen. Hast Du zufällig ein gutes Dokument in petto, wo ich lernen kann, was für den vorgeschlagenen Weg zu berücksichtigen ist?


Danke und viele Grüße
juju

[Spooky]

Soweit ich das bisher verstanden habe, bringt das u.a. unter Windows neue Probleme mit sich.

Welche Probleme?

Auch das mit den Versionen (server/lokal) von php und mysql für verschiedenste Kunden/Hostings scheint kritisch/aufwändig.

PHP Version kannst du in der composer.json festlegen, falls sich deine lokale Version von der Live Umgebung unterscheidet. MySQL Server Versionen haben keinen Einfluss auf die Paketaktualisierung.

Hast Du zufällig ein gutes Dokument in petto, wo ich lernen kann, was für den vorgeschlagenen Weg zu berücksichtigen ist?

Ein Dokument habe ich nicht, aber grundsätzlich führst du einfach folgende Schritte durch:

1. Lokal: composer update
2. composer.lock (+ composer.json bei Änderungen) auf den Server kopieren
3. Am Server: composer install -o --no-dev --prefer-dist (oder über den Contao Manager)

[juju]

Welche Probleme?

z.B. dass der Contao Manager nicht unter windows läuft (laut Aussagen hier im Forum).

Viele Grüße
juju

[Spooky]

z.B. dass der Contao Manager nicht unter windows läuft (laut Aussagen hier im Forum).

Welche Aussagen sind das und von wann? Der Contao Manager funktioniert grundsätzlich unter Windows.

[juju]

Ok. Ich werde mir das in den nächsten Tagen ansehen und mich ggf. zurück melden.

Danke für Deine Unterstützung bis hierhin!

Viele Grüße
juju

[swinde]

Hallo juju!

nach der Lektüre dieser beiden Forenbeiträge wirst du nie mehr in der Liveumgebung entwickeln wollen!

https://community.contao.org/de/show...hlight=laragon
https://community.contao.org/de/show...light=sass+css

Steffen Winde

[juju]

Hallo Steffen,

danke für die Links, auch die werde ich mir in den nächsten Tagen genauer ansehen.

Ich finde es wirklich schade, dass seit Contao 4 stetig mehr Aufwand betrieben werden muss, um einigermaßen sichere Updates durchzuführen. Da wo ich bis vor kurzem unter Contao 3.5. mit Live-Update ca 5 Minuten brauchte, muss ich jetzt für den Notfall Stunden einplanen, zzgl. Vorbereitungen wie lokale Installationen, halten von staging websites und synchronisieren aller Dateien für die Parallelsysteme (templates, eigene Erweiterungen, files, config) - alles work arounds, um dem Speicherhunger von Symfony / composer bei Updates zu begegnen (3 - 4 GB RAM), dem bei Shared Hosting (ohne aktiviertem cloud resolver) eigentlich nirgends entsprochen wird. Und dann kann ich beim letzten Schritt (der Übernahme in das Live-System) nicht einmal davon ausgehen, dass alles reibungslos funktioniert, da ich seit Contao 4 (trotz cloud resolver) bereits einige und jeweils anders geartete Komplettabstürze bei Updates zu vermelden hatte, für die ich erst lange recherchieren musste, um eine Lösung dafür zu finden und die Website wieder lauffähig zu machen. D.h. auch für den letzten Schritt trotz aller Vorkehrungen immernoch "hoffen und bangen". Und einer der wenigen Vorteile, den die meisten meiner Kunden davon haben ist ein hübscheres Backend, da sie die ganzen neuen Funktionen meist gar nicht benötigen. Ich finde Contao nach wie vor ein tolles System und schätze die Arbeit der Entwickler sehr, aber für mich verrutscht das "Preis / Leistungs Verhältnis" bzgl. Updates leider langsam ins negative.

Aber wie gesagt werde ich mir den Weg über eine lokale Installation ansehen und testen, ob das für mich gangbar ist...

Danke und viele Grüße
juju

[bco]

Hallo Steffen,

danke für die Links, auch die werde ich mir in den nächsten Tagen genauer ansehen.

Ich finde es wirklich schade, dass seit Contao 4 stetig mehr Aufwand betrieben werden muss, um einigermaßen sichere Updates durchzuführen. Da wo ich bis vor kurzem unter Contao 3.5. mit Live-Update ca 5 Minuten brauchte, muss ich jetzt für den Notfall Stunden einplanen, zzgl. Vorbereitungen wie lokale Installationen, halten von staging websites und synchronisieren aller Dateien für die Parallelsysteme (templates, eigene Erweiterungen, files, config) - alles work arounds, um dem Speicherhunger von Symfony / composer bei Updates zu begegnen (3 - 4 GB RAM), dem bei Shared Hosting (ohne aktiviertem cloud resolver) eigentlich nirgends entsprochen wird. Und dann kann ich beim letzten Schritt (der Übernahme in das Live-System) nicht einmal davon ausgehen, dass alles reibungslos funktioniert, da ich seit Contao 4 (trotz cloud resolver) bereits einige und jeweils anders geartete Komplettabstürze bei Updates zu vermelden hatte, für die ich erst lange recherchieren musste, um eine Lösung dafür zu finden und die Website wieder lauffähig zu machen. D.h. auch für den letzten Schritt trotz aller Vorkehrungen immernoch "hoffen und bangen". Und einer der wenigen Vorteile, den die meisten meiner Kunden davon haben ist ein hübscheres Backend, da sie die ganzen neuen Funktionen meist gar nicht benötigen. Ich finde Contao nach wie vor ein tolles System und schätze die Arbeit der Entwickler sehr, aber für mich verrutscht das "Preis / Leistungs Verhältnis" bzgl. Updates leider langsam ins negative.

Aber wie gesagt werde ich mir den Weg über eine lokale Installation ansehen und testen, ob das für mich gangbar ist...

Danke und viele Grüße
juju

Dem stimme ich voll und ganz zu.
Für die Zunkunft muss unbedingt eine zuverlässige Update-Lösung geschaffen werden!
Den Weg über eine zusätzliche lokale Installation finde ich ebenfalls nicht optimal.

[stefan-at-work]

@bco Schon Mitglied oder Gönner der Contao Association? Die stellt u.a. Gelder für die Weiterentwicklung von Contao zur Verfügung. Und je mehr Mitglieder/Gönner desto...


Gesendet von iPhone mit Tapatalk

[bco]

@bco Schon Mitglied oder Gönner der Contao Association? Die stellt u.a. Gelder für die Weiterentwicklung von Contao zur Verfügung. Und je mehr Mitglieder/Gönner desto...


Gesendet von iPhone mit Tapatalk

Nein, bisher nicht.

Ich stelle mir dazu die Fragen:
Kann man mit ausreichend Geld sorgenfreie Updates garantieren?
Wieviel Geld ist notwendig, damit es sorgenfreie Updates gibt?
Warum gibt es dazu noch keine Abstimmung?

[do_while]

Was sind sorgenfreie Updates?

Ich habe gestern zu verschiedenen Zeiten meine Contaos upgedatet, teilweise waren Wartezeiten einzuhalten, da auch andere am Tage des Erscheinens von Sicherheitsupdates den Cloud Resolver verwenden. Dann später habe ich aber immer sofort einen Worker abbekommen, der Update lief jedesmal fehlerfrei durch.
Ich wüßte jetzt nicht, wie es noch sorgenfreier gehen sollte.

Danke an das Contao-Manager-Team!

[bco]

Was sind sorgenfreie Updates?

In Post #20 steht alles beschrieben, worauf ich mich mit "sorgenfreie Updates" beziehe.

Ich habe gestern zu verschiedenen Zeiten meine Contaos upgedatet, teilweise waren Wartezeiten einzuhalten, da auch andere am Tage des Erscheinens von Sicherheitsupdates den Cloud Resolver verwenden. Dann später habe ich aber immer sofort einen Worker abbekommen, der Update lief jedesmal fehlerfrei durch.
Ich wüßte jetzt nicht, wie es noch sorgenfreier gehen sollte.

Danke an das Contao-Manager-Team!

Der Contao-Manager ist ohne Frage eine super Lösung.
Es funktioniert aber nicht immer reibungslos.
Siehe ebenfalls Post #20

[mlweb]

Ich habe leichte Probleme damit zu verstehen, was mit dem Contao Manager nicht sorgenfrei läuft.
Was genau ist Dein Problem?

Ich habe gestern und heute im Rahmen der Sicherheitsupdates etliche Installationen upgedatet - alles mit dem Contao Manager. Da meine Kunden unterschiedliche Shared Hostingpakete haben, arbeite ich bisher komplett händisch. Zum Update gehört für mich grundsätzlich ein Backup der DB (das habe ich auch zu Contao 3 Zeiten so gemacht). Ob ich auch noch Dateien sichere hängt etwas von der Installation ab. Ich habe z.B. etliche Installationen, an denen nur ich arbeite. Dort brauche ich meist kein aktuelles Update von files, templates und Konfigurationsdateien. Bei den meisten Installationen laufen auch Backupskripte, so dass ein Fileupdate auch nicht zwingend erforderlich ist.
Im Schnitt benötige ich für so ein Sicherheitsupdate (mit Backup der DB, aber ohne Backups von Dateien) mit Wartezeit beim Manager zwischen 5 und 10 Minuten. Heute am frühen Nachmittag war mal viel los in der Cloud. Da haben die Installationen mit Wartezeiten auch mal 15 Minuten gedauert.
Bis auf eine Installation bei Strato sind alle Updates problemlos durchgelaufen. Bei Strato brauchte ich einen zweiten Anlauf, weil sich etwas "verhakelt" hatte und ich im Contao Manager erst einmal den Task killen musste und dann routinemäßig alles im pfad contao-manager/ gelöscht habe, bis auf manager.json, user.json und .htaccess - aber alles kein Hexenwerk.

Trotz des einen kleinen Problems bei Strato sind das für mich alles "sorgenfreie" Updates gewesen.

[planepix]

Ja, Stratot hängt auch. Das wiederherstellen des Backups läuft… und läuft… es nervt!!!

Sonst alles bei allinkl lief gestern gut durch.
Und es läuft dann gut, wenn man die Updates regelmässig macht.

Das ist dann wieder eine Frage der Wartungsverträge…

[mlweb]

Es funktioniert aber nicht immer reibungslos.
Siehe ebenfalls Post #20

An der Stabilität und Leistungsfähigkeit der Cloud hat @toflar in den letzten Wochen einiges getan.
Durch die Verbesserungen an der Cloud sind mir dieses mal keine Wartezeiten von 40 Minuten bekannt. Immerhin gab es nach Aussagen von @toflar seit gestern Mittag bis heute zum frühen Nachmittag über 3700 Updates über die Cloud.

Die Frage weiter oben war ja, wie man in solchen Fällen (Cloud hat sich auf aufgehängt oder es gibt extrem lange Wartezeiten) selbst Abhilfe schaffen kann. Das ist dann halt nicht mehr ganz so bequem, oder erfordert grundsätzlich einen anderen Workflow.

[Sitting Bull]

Hallo,

ich habe auch gerade 45 Minuten mit der Installation eines einzelnen Pakets verbracht. 43 Minuten warten auf Rechenleistung und 2 Minuten Abhängigkeitsprüfung/Installation.

Gibt es dafür evtl inzwischen eine Bezahl-Lösung? Wenn ich mir solche Wartezeiten beim nächsten Security-Update vorstelle, dann bin ich bei 40 Websites mindestens 1 Woche mit Warten beschäftigt, bei zu erwartenden kleinen Problemen hier und da werden es dann eher 2 - 3 Wochen nur für Updates. Das kann man ja weder einem Kunden in Rechnung stellen, noch möchte man soviel Lebenszeit verschwenden

Wie löst Ihr dieses Problem? (abgesehen von Nachtarbeit)

Danke und viele Grüße
juju

Das kann ich leider nur unterstreichen.
Ich warte jetzt seit einer guten 3/4 Stunde auf Rechenleistung der Composer Cloud, siehe die grafische Chronologie. Und keine Ende ist in Sicht.

composer-cloud-1.jpg
composer-cloud-2.jpg
composer-cloud-3.jpg
composer-cloud-4.jpg
composer-cloud-5.jpg
composer-cloud-6.jpg


Irgendwie kann das doch langfristig nicht die Lösung sein?!
Das Problem ist doch: Je beliebter Contao wird, was man ja eigentlich hoffen sollte, umso weniger kann man die Cloud nutzen, weil sie ständig verstopft ist.
Wie also kann eine vernünftige Lösung aussehen???
Irgendwie habe ich weiterhin und zunehmend das Gefühl, dass die Composer-Lösung ein kompletter Irrweg ist.
Ich denke, ein CMS, das eine große Community ansprechen soll, sollte problemlos auf allen Shared Hosts laufen und nicht irgendwelche abstrusen Kapazitäten erfordern.

Hin und wieder arbeite ich auch mit WordPress. Das hat auch so seine Tücken, aber derartige Probleme hat man damit definitiv nicht.

[Spooky]

Führe das composer update lokal durch, deploye die composer.lock und führe am Server dann nur mehr ein composer install aus (via SSH oder Contao Manager).

[Sitting Bull]

Führe das composer update lokal durch, deploye die composer.lock und führe am Server dann nur mehr ein composer install aus (via SSH oder Contao Manager).

Das ist lokal!

[Sitting Bull]

Das ist lokal!

Update der Chronologie
composer-cloud-7.jpg

Gleich geht`s los. Was, wenn Dein ein Fehler kommt? Nochmal eine Stunde warten?

[Spooky]

Das ist lokal!

Warum benutzt du dann den Cloud Resolver?

[Sitting Bull]

composer-cloud-8.jpg

Wow, wie geil. Nach mehr als einer Stunde bricht die Konsole mit Fehler ab.

Konsolentask beendet!
Der Hintergrundprozess wurde unerwartet beendet. Bitte prüfen Sie die Konsolenausgabe.

Also, Fehler suchen und noch mal schnell ne Stunde warten.
Wenn man das noch als effizient bezeichnen soll, weiß ich auch nicht mehr.

Ganz ehrlich, so kann man nicht arbeiten!!!

[Spooky]

composer-cloud-8.jpg

Wow, wie geil. Nach mehr als einer Stunde bricht die Konsole mit Fehler ab.

Konsolentask beendet!
Der Hintergrundprozess wurde unerwartet beendet. Bitte prüfen Sie die Konsolenausgabe.

Also, Fehler suchen und noch mal schnell ne Stunde warten.
Wenn man das noch als effizient bezeichnen soll, weiß ich auch nicht mehr.

Ganz ehrlich, so kann man nicht arbeiten!!!

» https://community.contao.org/de/show...l=1#post518360

[Sitting Bull]

Warum benutzt du dann den Cloud Resolver?

Ja, ich weiß, geht lokal auch ohne. Aber das löst das generelle Problem ja nicht. Alle Kundeninstallationen kann ich ja nicht immer downloaden, updaten und wieder uploaden. Das muss doch irgendwie zuverlässig funktionieren?!

[Spooky]

Alle Kundeninstallationen kann ich ja nicht immer downloaden, updaten und wieder uploaden.

Du entwickelst deine Kundenprojekte nur am Live Server? Wie testest du Änderungen?

[Franko]

Warum benutzt du dann den Cloud Resolver?

Muß ich leider zustimmen. Auch wenn es mit dem CM mittlerweile sooo einfach ist -
müssen wir gerade bei lokalen Installationen diesen doch nicht um jeden Fall nutzen.

[Spooky]

Den Contao Manager kannst du ja lokal auch weiterhin nutzen. Nur den Cloud Resolver brauchst du nicht.

[Franko]

Den Contao Manager kannst du ja lokal auch weiterhin nutzen. Nur den Cloud Resolver brauchst du nicht.

So schaut's aus :-)