Contao-Camp 2024
Ergebnis 1 bis 11 von 11

Thema: Separate ZIP-Archive von einer 250-GB-Quelle

  1. #1
    Contao-Urgestein Avatar von Samson1964
    Registriert seit
    05.11.2012.
    Ort
    Berlin
    Beiträge
    2.792

    Frage Separate ZIP-Archive von einer 250-GB-Quelle

    Ich möchte ein Serververzeichnis (Linux) packen, herunterladen und unter Windwos 10 entpacken. Das multiple ZIP-Archiv mit 79 Dateien a 3 GB erstelle ich so:
    PHP-Code:
    zip -s 3g -r archiv.zip Quellverzeichnis 
    Beim Entpacken bekomme ich nach 3% die Meldung meine Festplatte (USB) wäre voll. Dabei sind noch 1 TB frei. Aber vielleicht wird ja auch auf C entpackt und dann erst verschoben auf die USB-Platte...
    Wie kann ich von meinem 250-GB-Ordner mit über 400.000 Dateien in 20.000 Ordnern separate ZIP-Archive erstellen, die stand-alone, also unabhängig voneinander sind? So daß ich sie einzeln entpacken kann.
    Viele Grüße
    Frank

    Seit Mai 2013 Fan von Contao
    Webmaster vom Deutschen Schachbund und Berliner Schachverband
    Mein Blog: Schachbulle
    Meine Erweiterungen bei GitHub
    Meine Videos auf YouTube: Playlist zur Contao-Programmierung/Einrichtung

  2. #2
    Contao-Urgestein Avatar von fiedsch
    Registriert seit
    09.07.2009.
    Ort
    München
    Beiträge
    2.935

    Standard

    Falls Dein Arbeitsverzeichnis nicht das gemountete USB-Medium ist: Du hast als Ziel nur archiv.zip geschrieben und nicht /pfad/zu/archiv.zip. Die zip-Datei wird dann im Arbeitsverzeichnis erstellt, was auch immer das ist.

    Zur Sicherheit: Du führst den zip-Befehl per ssh eingeloggt auf dem Server aus?

    Edit: unnötige full quote entfernt
    Geändert von fiedsch (25.10.2020 um 21:33 Uhr)
    Contao-Community-Treff Bayern: http://www.contao-bayern.de

  3. #3
    Contao-Urgestein Avatar von Samson1964
    Registriert seit
    05.11.2012.
    Ort
    Berlin
    Beiträge
    2.792

    Standard

    backup_web_dsbdf.sh
    Code:
    #!/bin/bash
    
    # Speicherpfad und Datum
    
    backup_path="/kunden/107305_14053/backup/web"
    date=$(date +"%Y%m%d_%H%M")
    
    # Zum Speicherpfad wechseln
    
    cd $backup_path
    
    # Standard-Dateieigenschaften setzen
    
    umask 640
    
    # Archive definieren
    
    archiv[0]="webseiten.dsbweb.2019";        quelle[0]="/kunden/107305_14053/webseiten/schachbund/dsbweb.2019"
    archiv[1]="webseiten.dsbweb.2020";        quelle[1]="/kunden/107305_14053/webseiten/schachbund/dsbweb.2020"
    
    # Web sichern
    
    for i in {0..1}
      do
        zip -s 3g -r ${archiv[$i]}_$date.zip ${quelle[$i]}
      done
    Danach habe ich also zwei unterschiedliche multiple Archive, z.B. webseiten.dsbweb.2019_20201022_1328.zip .... z01 .... (bis) .... z78. Die lade ich herunter auf meinen Win10-Rechner. Beim Entpacken kommt bei z03 oder z04 und 3% der Fehler, es wäre nicht genug Speicherplatz vorhanden.

    Meine Frage war jetzt, ob es für ZIP eine Option gibt keine multiplen Volumes zu machen, sondern eigenständige Archive von meinem Quellordner. Also das nach etwa 3 GB Archivgröße das Archiv abgeschlossen wird und die folgenden Dateien in das nächste Archiv kommen.
    Viele Grüße
    Frank

    Seit Mai 2013 Fan von Contao
    Webmaster vom Deutschen Schachbund und Berliner Schachverband
    Mein Blog: Schachbulle
    Meine Erweiterungen bei GitHub
    Meine Videos auf YouTube: Playlist zur Contao-Programmierung/Einrichtung

  4. #4
    Contao-Nutzer Avatar von hjo
    Registriert seit
    08.01.2013.
    Ort
    Wuppertal
    Beiträge
    118

    Standard

    Ich glaube nicht das eine andere Archivierung etwas ändern würde. Die Fehlermeldung deutet nicht auf ein fehlerhaftes Archiv hin.

    Ich würde prüfen wieviel Platz auf dem Ziellaufwerk noch ist, nachdem die 79 Files a 3GB (237 GB) sich darauf befinden.

    Dann ist noch die Frage welches Filesystem auf dem Ziellaufwerk ist. NTFS oder FAT32.

    Wenn die Fehlermeldung bei .z03 oder .z04 kommt schau in das Archiv, welche Datei sich in den beiden Archiven befindet und wie groß diese Datei ist.

    FAT32 verträgt nicht alle Größen.

    Viel Erfolg
    Hans-Jürgen

  5. #5
    Wandelndes Contao-Lexikon Avatar von BugBuster
    Registriert seit
    15.06.2009.
    Ort
    Berlin
    Beiträge
    10.500
    User beschenken
    Wunschliste

    Standard

    FAT32 wäre jetzt auch meine erste Idee gewesen, da gabs ja die 4GB Grenze für Dateien.

    Aus Linux kenne ich dann noch, soetwas hat Windows bestimmt auch, das es eine maximal Anzahl von Dateien gibt die je Verzeichnis bzw. gesamt verwaltet werden können.
    Vielleicht ist da auch irgendeine Grenze erreicht.
    Grüße, BugBuster
    "view source" is your guide.
    Danke an alle Amazon Wunschlisten Erfüller

  6. #6
    Contao-Urgestein Avatar von Samson1964
    Registriert seit
    05.11.2012.
    Ort
    Berlin
    Beiträge
    2.792

    Standard

    1. Die einzelnen ZIP-Teile begrenze ich auf 3 GB um keine Probleme mit FAT32 zu bekommen
    2. Das Ziel-Laufwerk ist NTFS und hat 1 TB frei
    3. Es gibt keine Dateien > 4 GB in dem Archiv .... hoffe ich
    4. Ich entpacke das Archiv vom Ziel-Laufwerk aus. Seltsamerweise tut sich nichts an der Größe des Ziel-Laufwerks. Aber merkt man vielleicht nicht bei 1 TB

    Ich teste das heute nochmal auf einem anderen Rechner.
    Viele Grüße
    Frank

    Seit Mai 2013 Fan von Contao
    Webmaster vom Deutschen Schachbund und Berliner Schachverband
    Mein Blog: Schachbulle
    Meine Erweiterungen bei GitHub
    Meine Videos auf YouTube: Playlist zur Contao-Programmierung/Einrichtung

  7. #7
    Contao-Nutzer
    Registriert seit
    18.06.2017.
    Beiträge
    219

    Standard

    Hallo,

    nur eine Theorie. Aber vielleicht müssen im Hintergrund erst einmal die einezlnen Zip-Teile zu einer Datei zusammengesetzt werden um die eigentliche ZIP-Datei dann zu entpacken. Dann wäre der temporäre Speicher eher das Problem.
    Du kannst unter Windows auch die Temp-Datei umstellen, so dass diese auch auf dem großen Datenträger erstellt wird.

  8. #8
    Contao-Urgestein Avatar von zonky
    Registriert seit
    19.03.2010.
    Ort
    Berlin, Rdf
    Beiträge
    9.684
    User beschenken
    Wunschliste

    Standard

    Problem bei Windows kann auch die Pfadlänge sein - die ist im Gegensatz zu Linux begrenzter und kann zu Fehlern führen.

    probier zum Entpacken mal 7zip

  9. #9
    Community-Moderatorin & Contao-Urgestein Avatar von mlweb
    Registriert seit
    10.07.2011.
    Beiträge
    6.715
    Contao-Projekt unterstützen

    Support Contao

    Standard

    Zitat Zitat von zonky Beitrag anzeigen
    Problem bei Windows kann auch die Pfadlänge sein
    Ich glaube da sieht dann die Fehlermeldung etwas anders aus. Sinngemäss "Kann ich nicht entpacken, weil der Pfad zu lang ist. Was soll ich jetzt tun damit? überspringen, noch einmal versuchen oder abbrechen".
    Ich habe Dir mit meinen Hinweisen geholfen und Du möchtest Dich bedanken?
    Unterstütze bitte das Contao-Projekt (Button Links)
    Weitere Spendenmöglichkeiten
    ------------------------------------------------------------------------------------------------------
    Contao-Dokumentation: Contao-Handbuch und Contao-Entwickler-Doku
    Contao-Online-Video-Kurse: Contao Academy
    Funktionalität erweitern: Contao-Erweiterungen

    Für Dinge die man mit html5 und css3 lösen kann, braucht man kein javascript.




  10. #10
    Community-Moderator
    Wandelndes Contao-Lexikon
    Avatar von Spooky
    Registriert seit
    12.04.2012.
    Ort
    Scotland
    Beiträge
    33.899
    Partner-ID
    10107

    Standard

    Zitat Zitat von Samson1964 Beitrag anzeigen
    Beim Entpacken bekomme ich nach 3% die Meldung meine Festplatte (USB) wäre voll. Dabei sind noch 1 TB frei. Aber vielleicht wird ja auch auf C entpackt und dann erst verschoben auf die USB-Platte...
    Welches Programm nutzt du? Die meisten Tools entpacken zuerst in dein Temp Verzeichnis. Wenn du mit 7-zip aber die Destination direkt angibst (nicht per Drag & Drop), dann entpackt 7-zip aber auch direkt dort hin, ohne das Temp Verzeichnis zu benutzen. Oder du nutzt das Command Line Tool von 7-zip bspw.

  11. #11
    Contao-Urgestein Avatar von Samson1964
    Registriert seit
    05.11.2012.
    Ort
    Berlin
    Beiträge
    2.792

    Standard

    Ich entpacke gerade auf meinem Arbeits-PC direkt auf den internen Server. Vorhin war der Vorgang bei 48% - nach bisher etwa 36 Stunden. Da auf meinem Arbeits-PC kaum Speicherplatz ist, entpackt der Total Commander (TC, also dessen eingebauter Packer) wohl direkt auf dem Ziel. Ohne temporäres Verzeichnis.
    Bei mir zuhause mit USB-Platte als Ziel kam nach 3% die Festplatte-voll-Meldung. Auch mit dem TC.
    7-Zip werde ich auch mal probieren.
    Viele Grüße
    Frank

    Seit Mai 2013 Fan von Contao
    Webmaster vom Deutschen Schachbund und Berliner Schachverband
    Mein Blog: Schachbulle
    Meine Erweiterungen bei GitHub
    Meine Videos auf YouTube: Playlist zur Contao-Programmierung/Einrichtung

Aktive Benutzer

Aktive Benutzer

Aktive Benutzer in diesem Thema: 1 (Registrierte Benutzer: 0, Gäste: 1)

Lesezeichen

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •