Seite 2 von 2 ErsteErste 12
Ergebnis 41 bis 61 von 61

Thema: Download-Produkt / Auswahl leer

  1. #41
    Contao-Fan
    Registriert seit
    05.09.2009.
    Beiträge
    393

    Standard

    Zitat Zitat von folkfreund Beitrag anzeigen
    Ich hake nochmal wegen der Synchronisation der Dateiverwaltung ein, die ja in dem betroffenen System noch nicht abgeschlossen ist.
    Kann es sein, dass darum schon beim Öffnen der Dateiverwaltung im BE irgendwas passiert, das z.B. die Hashes nachrechnet oder überprüft? Oder bin ich da völlig auf dem Holzweg?

    Weitere Frage: wie sind denn die 1000+ Dateien auf den Server gekommen, alle gleichzeitig oder nacheinander? Könnte es helfen, zunächst mit nur, sagen wir, 100 Dateien zu synchronisieren und dann jeweils weitere Files zu ergänzen und neu zu synchronisieren?
    Doch, die Synchronisation wurde mittels SSH ohne Fehlermeldung in 1 Std. 20 Min. abgeschlossen. Die Dateien sind nach und nach auf den Server gekommen. Es handelt sich um zwei Ordner: Filme, Trailer. In jedem ca. 1300 Dateien. Größe der Filmdateien ca. 120 MB.

    Ordner mit weniger Dateien kann man öffnen. Aber ich kann die o.g. Ordner nicht einfach aufteilen, weil dann Pfade nicht mehr stimmen und Funktionen, die den Pfad im FE verschlüsseln. Abgesehen davon könnte ich die Downloads auch nicht neu zuordnen, da er genau dabei ja in die Knie geht. Denn zur File-Auswahl lädt er ja die gesamte Struktur im Ordner "files", also ca. 3000 Dateien, alles in allem. Wirklich nervig, aber ich experimentiere weiter

  2. #42
    Contao-Urgestein
    Registriert seit
    22.10.2013.
    Beiträge
    8.154
    User beschenken
    Wunschliste

    Standard

    Also mein Ansatz wäre erst einmal, Verzeichnisse mit so vielen Dateien zu vermeiden. Das ist in der Regel eigentlich immer inperformant. Und das nicht nur beim Contao-Dateisystem. Also meinetwegen die Dateien weiter zu unterteilen nach welchen sinnvollen (oder sinnlosen ) Kriterien auch immer.

  3. #43
    Contao-Fan
    Registriert seit
    05.09.2009.
    Beiträge
    393

    Standard

    Zitat Zitat von tab Beitrag anzeigen
    Also mein Ansatz wäre erst einmal, Verzeichnisse mit so vielen Dateien zu vermeiden. Das ist in der Regel eigentlich immer inperformant. Und das nicht nur beim Contao-Dateisystem. Also meinetwegen die Dateien weiter zu unterteilen nach welchen sinnvollen (oder sinnlosen ) Kriterien auch immer.
    Darauf wird es hinauslaufen. Dann muss zwar einiges angepasst werden, aber eine Alternative sehe ich auch nicht.

  4. #44
    Contao-Urgestein Avatar von folkfreund
    Registriert seit
    09.04.2010.
    Ort
    Dortmund
    Beiträge
    1.841

    Standard

    Der Vorteil der DB-basierten Dateiverwaltung ist ja, dass Dateien automatisch wieder zugeordnet werden, auch wenn du sie in einen anderen Ordner verschoben hast. Du musst sie also nicht neu zuweisen! Sie werden anhand ihres Hashwertes wiedererkannt. Also ist vielleicht der Aufwand für die Umstrukturierung deiner Dateien doch überschaubar.

    Viel Erfolg!

    Generell wäre es hilfreich, wenn man tatsächlich die Synchronisation auch nur für Teile der Dateiverwaltung (z.B. ordnerweise) auslösen könnte. Aber vermutlich spricht genau der erwähnte Fall der verschobenen Dateien dagegen.
    Blöd ist jedenfalls, dass eine einzige neu hinzugefügte Datei es notwendig macht, alle Hashes neu zu berechnen - und sei es nur wegen der Überprüfung.
    www.folkfreun.de - Treffpunkt für Folkmusiker, Folktänzer, Veranstalter und alle Freunde von trad. Folkmusik

  5. #45
    Contao-Fan
    Registriert seit
    05.09.2009.
    Beiträge
    393

    Standard

    Zitat Zitat von folkfreund Beitrag anzeigen
    Der Vorteil der DB-basierten Dateiverwaltung ist ja, dass Dateien automatisch wieder zugeordnet werden, auch wenn du sie in einen anderen Ordner verschoben hast. Du musst sie also nicht neu zuweisen! Sie werden anhand ihres Hashwertes wiedererkannt. Also ist vielleicht der Aufwand für die Umstrukturierung deiner Dateien doch überschaubar.
    Sicher? Also wenn ich in Isotope Produkten einen Download zugeordnet habe, dann wird die Zuordnung aktualisiert, wenn ich die Datei verschiebe? Das wäre in der Tat hilfreich.

  6. #46
    Contao-Urgestein Avatar von zonky
    Registriert seit
    19.03.2010.
    Ort
    Berlin, Rdf
    Beiträge
    6.445
    User beschenken
    Wunschliste

    Standard

    Zitat Zitat von folkfreund Beitrag anzeigen
    Der Vorteil der DB-basierten Dateiverwaltung ist ja, dass Dateien automatisch wieder zugeordnet werden, auch wenn du sie in einen anderen Ordner verschoben hast. Du musst sie also nicht neu zuweisen!
    Zitat Zitat von Ricks Beitrag anzeigen
    Sicher? Also wenn ich in Isotope Produkten einen Download zugeordnet habe, dann wird die Zuordnung aktualisiert, wenn ich die Datei verschiebe? Das wäre in der Tat hilfreich.

    folkfreund hat soweit recht... aber Ricks, das gilt m.E. nicht für die Produktbilder von Iso - die wählt man ja nicht aus, sondern macht ein Upload... die werden auch in einem eigenen Ordnersystem gespeichert und nicht unter /files/...

    Deine Downloaddateien solltest Du mittels der Dateiverwaltung umherschieben können, ohne dass die Links verloren gehen - Iso sollte da auch die Haswerte der Dateien speichern und nicht die Pfade ... ein Blick in die DB sollte da schnell Aufklärung geben

  7. #47
    Contao-Fan
    Registriert seit
    05.09.2009.
    Beiträge
    393

    Standard

    Zitat Zitat von zonky Beitrag anzeigen
    folkfreund hat soweit recht... aber Ricks, das gilt m.E. nicht für die Produktbilder von Iso - die wählt man ja nicht aus, sondern macht ein Upload... die werden auch in einem eigenen Ordnersystem gespeichert und nicht unter /files/...

    Deine Downloaddateien solltest Du mittels der Dateiverwaltung umherschieben können, ohne dass die Links verloren gehen - Iso sollte da auch die Haswerte der Dateien speichern und nicht die Pfade ... ein Blick in die DB sollte da schnell Aufklärung geben
    Die Produktbilder müssen zum Glück nicht verschoben werden, die liegen in de Isotope-Ordnern, die erscheinen gar nicht in der Dateiverwaltung. Was ich ändern muss ist der Code für den Player im Reader-Template für die Film- und Trailer-Dateien, da das dann nicht immer der gleiche Pfad ist sondern eben unterschiedliche sein können. Hier muss ich schauen, ob ich den Filmordner im Produktdatensatz hinterlege, also ein neues Attribut schaffe, oder ob ich einfach definiere

    ProduktID<700 = Ordner 1
    ProduktID>=700 = Ordner 2
    ProduktID >= 1400 = Ordner 3

    Das muss ich noch zuende denken ;-)

    Aber danke schon mal für die Anregungen, es konretisiert sich

  8. #48
    Contao-Urgestein Avatar von zonky
    Registriert seit
    19.03.2010.
    Ort
    Berlin, Rdf
    Beiträge
    6.445
    User beschenken
    Wunschliste

    Standard

    Zitat Zitat von Ricks Beitrag anzeigen
    Was ich ändern muss ist der Code für den Player im Reader-Template für die Film- und Trailer-Dateien, da das dann nicht immer der gleiche Pfad ist sondern eben unterschiedliche sein können.
    wenn das in Deinem Template nicht dynamisch geht, würde ich eher mal gucken warum? kann ich mir kaum vorstellen... ggf. mal posten

  9. #49
    Contao-Urgestein
    Registriert seit
    22.10.2013.
    Beiträge
    8.154
    User beschenken
    Wunschliste

    Standard

    Zitat Zitat von folkfreund Beitrag anzeigen
    Generell wäre es hilfreich, wenn man tatsächlich die Synchronisation auch nur für Teile der Dateiverwaltung (z.B. ordnerweise) auslösen könnte. Aber vermutlich spricht genau der erwähnte Fall der verschobenen Dateien dagegen.
    Ja, das denke ich auch, dass das deswegen Probleme machen würde. Jedenfalls bestünde die Gefahr, dass Inkonsistenzen entstehen, wenn man sich nicht an die "Regeln" hält, die einem eine solche teilweise Synchronisierung auferlegt
    Zitat Zitat von folkfreund Beitrag anzeigen
    Blöd ist jedenfalls, dass eine einzige neu hinzugefügte Datei es notwendig macht, alle Hashes neu zu berechnen - und sei es nur wegen der Überprüfung.
    Das muss nicht so sein. Beim Upload über die Dateiverwaltung wird zum Beispiel jede hochgeladene Datei einfach hinzugefügt mit relativ überschaubarem Aufwand. Lädt man dagegen per FTP hoch und lässt dann synchronisieren, dann wird eben alles komplett synchronisiert. Man kann sich allerdings auch ein Skript schreiben, dass z.B. alle Dateien in einem definierten Upload-Ordner der Datenbank einzeln hinzufügt und die verarbeiteten Dateien automatisch in den gewünschten Ordner unterhalb von /files verschiebt. Das könnte man dann auch so gestalten, dass pro Aufruf nur eine bestimmte Anzahl Dateien verarbeitet werden um die PHP-Limits nicht zu überschreiten.

  10. #50
    Contao-Fan
    Registriert seit
    05.09.2009.
    Beiträge
    393

    Standard

    Zitat Zitat von tab Beitrag anzeigen
    Lädt man dagegen per FTP hoch und lässt dann synchronisieren, dann wird eben alles komplett synchronisiert.
    So werde ich es machen, da die Dateien zu groß sind, um das mit der BE Dateiverwaltung zu machen, die ja ohnehin schon am Limit ist.

    Beim Verschieben via FTP werde die Dateien ja down- und wieder uploaded glaube ich. Hätte das Einfluss auf die Zuordnung?

  11. #51
    Contao-Urgestein Avatar von zonky
    Registriert seit
    19.03.2010.
    Ort
    Berlin, Rdf
    Beiträge
    6.445
    User beschenken
    Wunschliste

    Standard

    Zitat Zitat von Ricks Beitrag anzeigen
    Beim Verschieben via FTP werde die Dateien ja down- und wieder uploaded glaube ich. Hätte das Einfluss auf die Zuordnung?
    mach das über das BE - scheint mir die sichere Variante

  12. #52
    Contao-Fan
    Registriert seit
    05.09.2009.
    Beiträge
    393

    Standard

    Zitat Zitat von zonky Beitrag anzeigen
    mach das über das BE - scheint mir die sichere Variante
    Wie soll ich das machen, wenn ich hunderte von Dateien der Größe 120 MB verschieben möchte? Zumal das schon deshalb leider nicht geht, weil das Aufrufen der Dateiverwaltung bereits zum Einfrieren des BE (und Servers) führt

  13. #53
    Contao-Urgestein Avatar von folkfreund
    Registriert seit
    09.04.2010.
    Ort
    Dortmund
    Beiträge
    1.841

    Standard

    So viele Dateien dieser Größe willst du aber auch nicht runter- und wieder hochladen
    Dann nutze wenigstens mv per SSH. Das sieht dann aber für den Server wieder so aus wie gelöscht und neu hochgeladen, es muss also anschließend eine vollständige Synchronisation laufen.
    www.folkfreun.de - Treffpunkt für Folkmusiker, Folktänzer, Veranstalter und alle Freunde von trad. Folkmusik

  14. #54
    Contao-Urgestein Avatar von zonky
    Registriert seit
    19.03.2010.
    Ort
    Berlin, Rdf
    Beiträge
    6.445
    User beschenken
    Wunschliste

  15. #55
    Contao-Fan
    Registriert seit
    05.09.2009.
    Beiträge
    393

    Standard

    Danke für all Euren Input. Ich werde berichten

  16. #56
    Contao-Urgestein Avatar von zonky
    Registriert seit
    19.03.2010.
    Ort
    Berlin, Rdf
    Beiträge
    6.445
    User beschenken
    Wunschliste

    Standard

    wie @fritzmg meint, könnte man bei der Darstellung des Dateibaumes die physiche Prüfung der Dateien abschalten... @Ricks - man bräuchte jemanden, der das programmiert oder sponsored ;-)

    Edit: ahh.. es gibt einen Link: https://community.contao.org/de/show...m-Isotope-Shop
    Geändert von zonky (04.01.2020 um 11:42 Uhr)

  17. #57
    Contao-Fan
    Registriert seit
    05.09.2009.
    Beiträge
    393

    Standard

    So, kurzes update: Die Aufteilung der Dateien auf mehrere Unterordner hat nichts genutzt. Im Dezember wurden auch keine Dateien hinzugefügt, so dass nicht zu erklären ist, warum das System plötzlich einfriert. Es gab ein Update auf die neusten Versionen, das habe ich im Verdacht. Aber eine Rückführung auf die älteren Versionen hat das Problem nicht mehr beseitigt. Jetzt bin ich gerade mit meinem Latein am Ende. Falls sich jemand zutraut das zu lösen, ich mache gerne einen Auftrag daraus.

  18. #58
    Contao-Fan
    Registriert seit
    05.09.2009.
    Beiträge
    393

    Standard

    Habe noch eine letzte Frage. Ich habe nun im Testsystem die files auf diverse Ordner verteilt (ohne nennenswerten Performance-Gewinn), und so wie es aussieht, sind nach einem filesync via ssh tatsächlich auch die Produkt-Downloads bzw. deren Pfade neu zugeordnet. Nun muss ich das im laufenden System implementieren. Dazu folgende Frage: Ist außer der tl_iso_download noch eine Datei in die Hinterlegung von Produk-Downloads involviert oder genügt es nach der Neuorganisation der files die Tabelle tl_iso_download aus dem Testsystem zu importieren?

    Danke!

  19. #59
    Contao-Fan
    Registriert seit
    05.09.2009.
    Beiträge
    393

    Standard

    Habe eine Neuinstallation auf einem stärkeren Server vorgenommen. Die Dateiverwaltung läuft nun, wenn auch langsam bei 500 files in einem Ordner, aber es läuft stabil. Doch die Auswahl einer Download-Datei, gleich ob in Isotope oder als Inhaltselement, führt zum Einfrieren. Wahrscheinlich, weil alle Ordner auf einmal geladen werden. Keine Ahnung, jedenfalls ist da irgendetwas, das den Prozess enorm verlangsamt, und nach dem Update noch einmal erneut verlangsamt wurde.

  20. #60
    Contao-Urgestein Avatar von zonky
    Registriert seit
    19.03.2010.
    Ort
    Berlin, Rdf
    Beiträge
    6.445
    User beschenken
    Wunschliste

    Standard

    in DC_Folder Methode generateTree mal angucken was da so alles aufgerufen wird - ggf. kann man bestimmte Prüfungen testweise umgehen oder mal per Zeitausgabe gucken, was so lange dauert...

    der scan-Befehl wird eigentlich gecached (..\helper\functions.php) - ggf. läuft da was nicht optimal

  21. #61
    Contao-Fan
    Registriert seit
    05.09.2009.
    Beiträge
    393

    Standard

    Zitat Zitat von zonky Beitrag anzeigen
    in DC_Folder Methode generateTree mal angucken was da so alles aufgerufen wird - ggf. kann man bestimmte Prüfungen testweise umgehen oder mal per Zeitausgabe gucken, was so lange dauert...

    der scan-Befehl wird eigentlich gecached (..\helper\functions.php) - ggf. läuft da was nicht optimal
    Danke! Ich sehe mir das mal an, auch wenn meine Kenntnisse da wahrscheinlich an ihre Grenze kommen ;-)

Seite 2 von 2 ErsteErste 12

Aktive Benutzer

Aktive Benutzer

Aktive Benutzer in diesem Thema: 2 (Registrierte Benutzer: 0, Gäste: 2)

Lesezeichen

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •