Separate ZIP-Archive von einer 250-GB-Quelle

[Samson1964]

Ich möchte ein Serververzeichnis (Linux) packen, herunterladen und unter Windwos 10 entpacken. Das multiple ZIP-Archiv mit 79 Dateien a 3 GB erstelle ich so:

zip -s 3g -r archiv.zip Quellverzeichnis 

Beim Entpacken bekomme ich nach 3% die Meldung meine Festplatte (USB) wäre voll. Dabei sind noch 1 TB frei. Aber vielleicht wird ja auch auf C entpackt und dann erst verschoben auf die USB-Platte...
Wie kann ich von meinem 250-GB-Ordner mit über 400.000 Dateien in 20.000 Ordnern separate ZIP-Archive erstellen, die stand-alone, also unabhängig voneinander sind? So daß ich sie einzeln entpacken kann.

[fiedsch]

Falls Dein Arbeitsverzeichnis nicht das gemountete USB-Medium ist: Du hast als Ziel nur archiv.zip geschrieben und nicht /pfad/zu/archiv.zip. Die zip-Datei wird dann im Arbeitsverzeichnis erstellt, was auch immer das ist.

Zur Sicherheit: Du führst den zip-Befehl per ssh eingeloggt auf dem Server aus?

Edit: unnötige full quote entfernt

[Samson1964]

backup_web_dsbdf.sh

#!/bin/bash

# Speicherpfad und Datum

backup_path="/kunden/107305_14053/backup/web"
date=$(date +"%Y%m%d_%H%M")

# Zum Speicherpfad wechseln

cd $backup_path

# Standard-Dateieigenschaften setzen

umask 640

# Archive definieren

archiv[0]="webseiten.dsbweb.2019";        quelle[0]="/kunden/107305_14053/webseiten/schachbund/dsbweb.2019"
archiv[1]="webseiten.dsbweb.2020";        quelle[1]="/kunden/107305_14053/webseiten/schachbund/dsbweb.2020"

# Web sichern

for i in {0..1}
  do
    zip -s 3g -r ${archiv[$i]}_$date.zip ${quelle[$i]}
  done

Danach habe ich also zwei unterschiedliche multiple Archive, z.B. webseiten.dsbweb.2019_20201022_1328.zip .... z01 .... (bis) .... z78. Die lade ich herunter auf meinen Win10-Rechner. Beim Entpacken kommt bei z03 oder z04 und 3% der Fehler, es wäre nicht genug Speicherplatz vorhanden.

Meine Frage war jetzt, ob es für ZIP eine Option gibt keine multiplen Volumes zu machen, sondern eigenständige Archive von meinem Quellordner. Also das nach etwa 3 GB Archivgröße das Archiv abgeschlossen wird und die folgenden Dateien in das nächste Archiv kommen.

[hjo]

Ich glaube nicht das eine andere Archivierung etwas ändern würde. Die Fehlermeldung deutet nicht auf ein fehlerhaftes Archiv hin.

Ich würde prüfen wieviel Platz auf dem Ziellaufwerk noch ist, nachdem die 79 Files a 3GB (237 GB) sich darauf befinden.

Dann ist noch die Frage welches Filesystem auf dem Ziellaufwerk ist. NTFS oder FAT32.

Wenn die Fehlermeldung bei .z03 oder .z04 kommt schau in das Archiv, welche Datei sich in den beiden Archiven befindet und wie groß diese Datei ist.

FAT32 verträgt nicht alle Größen.

Viel Erfolg
Hans-Jürgen

[BugBuster]

FAT32 wäre jetzt auch meine erste Idee gewesen, da gabs ja die 4GB Grenze für Dateien.

Aus Linux kenne ich dann noch, soetwas hat Windows bestimmt auch, das es eine maximal Anzahl von Dateien gibt die je Verzeichnis bzw. gesamt verwaltet werden können.
Vielleicht ist da auch irgendeine Grenze erreicht.

[Samson1964]

1. Die einzelnen ZIP-Teile begrenze ich auf 3 GB um keine Probleme mit FAT32 zu bekommen
2. Das Ziel-Laufwerk ist NTFS und hat 1 TB frei
3. Es gibt keine Dateien > 4 GB in dem Archiv .... hoffe ich
4. Ich entpacke das Archiv vom Ziel-Laufwerk aus. Seltsamerweise tut sich nichts an der Größe des Ziel-Laufwerks. Aber merkt man vielleicht nicht bei 1 TB

Ich teste das heute nochmal auf einem anderen Rechner.

[darkness]

Hallo,

nur eine Theorie. Aber vielleicht müssen im Hintergrund erst einmal die einezlnen Zip-Teile zu einer Datei zusammengesetzt werden um die eigentliche ZIP-Datei dann zu entpacken. Dann wäre der temporäre Speicher eher das Problem.
Du kannst unter Windows auch die Temp-Datei umstellen, so dass diese auch auf dem großen Datenträger erstellt wird.

[zonky]

Problem bei Windows kann auch die Pfadlänge sein - die ist im Gegensatz zu Linux begrenzter und kann zu Fehlern führen.

probier zum Entpacken mal 7zip

[mlweb]

Problem bei Windows kann auch die Pfadlänge sein

Ich glaube da sieht dann die Fehlermeldung etwas anders aus. Sinngemäss "Kann ich nicht entpacken, weil der Pfad zu lang ist. Was soll ich jetzt tun damit? überspringen, noch einmal versuchen oder abbrechen".

[Spooky]

Beim Entpacken bekomme ich nach 3% die Meldung meine Festplatte (USB) wäre voll. Dabei sind noch 1 TB frei. Aber vielleicht wird ja auch auf C entpackt und dann erst verschoben auf die USB-Platte...

Welches Programm nutzt du? Die meisten Tools entpacken zuerst in dein Temp Verzeichnis. Wenn du mit 7-zip aber die Destination direkt angibst (nicht per Drag & Drop), dann entpackt 7-zip aber auch direkt dort hin, ohne das Temp Verzeichnis zu benutzen. Oder du nutzt das Command Line Tool von 7-zip bspw.

[Samson1964]

Ich entpacke gerade auf meinem Arbeits-PC direkt auf den internen Server. Vorhin war der Vorgang bei 48% - nach bisher etwa 36 Stunden. Da auf meinem Arbeits-PC kaum Speicherplatz ist, entpackt der Total Commander (TC, also dessen eingebauter Packer) wohl direkt auf dem Ziel. Ohne temporäres Verzeichnis.
Bei mir zuhause mit USB-Platte als Ziel kam nach 3% die Festplatte-voll-Meldung. Auch mit dem TC.
7-Zip werde ich auch mal probieren.