FullBackup

**ricola** · 13.04.2011, 17:32

Zitat von baumstark

es kann theoretisch sein, dass dein host / internet provider die dateigrösse auf 100MB limitiert hat, falls du SSH zugang hast, kannste das mal probieren und das ergebnis hier posten

Also die Dateigrösse sollte nicht das Problem sein. SSH liefert mir folgendes Ergebnis:

core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) unlimited
max locked memory (kbytes, -l) 131072
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) unlimited
real-time priority (-r) 0
stack size (kbytes, -s) unlimited
cpu time (seconds, -t) 1800
max user processes (-u) 90
virtual memory (kbytes, -v) 262144
file locks (-x) unlimited

LG Rico

**baumstark** · 13.04.2011, 17:55

stimmt!

und auch nix in der error.log?

**ricola** · 13.04.2011, 19:48

Zitat von baumstark

stimmt! und auch nix in der error.log?

Nein, diesmal gibt es auch keinen Eintrag in der error.log. Der letzte Eintrag ist [10-Apr-2011 22:27:00] und verweist auf die schon besprochene Datei. Tja, da bin ich doch etwas ratlos.

LG Rico

**baumstark** · 13.04.2011, 20:25

ja, so langsam gehen mir auch die ideen aus :-(

wie gross sind denn die grössten (video?) dateien und wie gross ist die gesammte contao installation, also nicht gezippt, sondern alle dateien zusammengenommen?

**ricola** · 13.04.2011, 20:29

Zitat von baumstark

und wie gross ist die gesammte contao installation

Also die groesste Datei ist 15 MB (ein Film), die gesamte Installation incl. Filme und Bilder hat 194 MB. Ich mache übrigens gerade nochmal ein Backup - mal sehen ob das klappt

LG Rico

**ricola** · 13.04.2011, 20:47

So, ich habe das jetzt nochmal probiert. Gleiches Ergebnis. Bei knapp 98 MB ist Schluss. Entweder das Script bricht bei der Datei ab oder bei dem Verzeichnis - der Eintrag mit dem Verzeichnisnamen kommt in der remaining_files.txt übrigens direkt hinter dem der Datei. Also scheint es doch hier irgendwas zu geben was nicht stimmt.... In der error.log gibt es nach wie vor kein Eintrag.

LG Rico

**baumstark** · 13.04.2011, 20:48

also 200MB und mehr sollte kein problem sein, ich hab es allerdings noch nicht mit so grossen dateien getestet... kann ich morgen abend vielleicht mal versuchen...

**baumstark** · 13.04.2011, 20:54

ach ja, und ordner in remaining_files.txt ist auch normal... sollte gar nix ausmachen...

die php error log datei wär nicht schlecht, aber ich denke an die kommst du nicht ran...

**ricola** · 13.04.2011, 21:06

Zitat von baumstark

ach ja, und ordner in remaining_files.txt ist auch normal... sollte gar nix ausmachen...

die php error log datei wär nicht schlecht, aber ich denke an die kommst du nicht ran...

Ach, mittlerweile denke ich, dass es gar nicht mehr an einem Fehler im Script liegt. Es ist doch schon komisch, dass das Script fast immer an derselben Stelle abbricht. Ich denke, irgendwas haut hier mit dem Webspace bei 1und1 nicht hin...

Ich glaube, ich überspiele das mal komplett auf mein MAMMP-System und teste das da. Spannend wäre es ja, sich das Ganze dann sozusagen live mit der ZDE hinsichtlich der Exception bei 98 MB anzusehen.

LG Rico

**xtcPlanet** · 13.04.2011, 21:14

Was Ihr quatscht immer noch hier...

das ist ja schon die Seite 2

jetzt muß ich mir das mal durchlesen, was Ihr hier so quatscht

**baumstark** · 13.04.2011, 21:26

ich denke, du hast recht. fehler im script tauchen eigentlich meistens früh auf und sind eher einfach zu reparieren. so wie die komma geschichte. und da es ja auf einigen anderen servern auch läuft, scheint es irgendwie an der umgebung liegen. (ich habe es allerdings auch auf 2 1und1 servern laufen, nur kleiner)

bin gespannt auf deinen lokalen test...

**ricola** · 14.04.2011, 15:38

Zitat von baumstark

bin gespannt auf deinen lokalen test...

Ja, ich auch

So, Ihr zwei, ich melde mich bis spätestens Montag wieder.

LG und bis dahin.
Rico

**ricola** · 16.04.2011, 10:53

Also das mit dem debuggen kann wohl noch etwas dauern. Nach dem Update meines ZDE von Version 6 auf Version 8 (für 200 Euro!), kann ich innerhalb der Klassen keine Varablen mehr sehen. Das scheint ein bekannter und noch nicht behobener Bug zu sein.
Tja, so sieht das dann in der Variablenansicht aus (siehe Screenshot). Wie man sehen kann, sieht man nichts. Also warten was der Support dazu sagt.

LG Rico

**baumstark** · 16.04.2011, 16:04

und ich hab neulich noch überlegt, ob ich mir den zde anlegen soll, dann bleib ich wohl erstmal bei netbeans... ;-)

aber zum lokalen testen brauchste den doch eigentlich nicht, also zumindest zum ausführen nicht, oder bleibt das backup lokal auch hängen bei 99MB???

**ricola** · 16.04.2011, 17:27

Zitat von baumstark

... oder bleibt das backup lokal auch hängen bei 99MB???

Nein, das Backup bleibt im Gegensatz zu 1und1 nicht bei 99 MB hängen

Aber: Ich habe es jetzt eine ganze Weile lokal laufen lassen - 2 Browser mit Refreshrate von 5 sek. Nach 2h war das Backup bei 130MB - meine komplette Installation ist aber 300MB... Da habe ich dann abgebrochen. Mh, tja, am Kopf kratz ....

Natürlich brauche ich für das lokale testen kein Zend. Ich wollte mir aber einfach mal den Ablauf des Scripts ansehen und nachsehen, warum es bei 99MB zum Fehler kommt - was es ja nicht tat.

Also: das Script funktioniert so wie es soll. Warum es das bei 1und1 nicht tut - wer weiß das schon

. Ich kann es leider für meine Website nicht einsetzten weil diese einfach zu groß ist.

LG Rico

**baumstark** · 16.04.2011, 18:25

hmm, dann haben die bei 1&1 also doch ein limit? vielleicht nur für .zip dateien? seltsam, vielleicht kann der support bei 1&1 was dazu sagen...

aber wenigstens schön, dass mein script läuft ;-)

**ricola** · 16.04.2011, 18:51

Stimmt, da kann ich mich ja mal drum kümmern ... melde mich dann wieder.

Naja, trotzdem vielen Dank für die Entwicklung und natürlich die Ausdauer hier im Forum

LG Rico

**baumstark** · 17.04.2011, 09:45

hallo ricola,

ich hab gerade eine neue version freigegeben (0.0.3) mit einer neuen funktionalität. man kann jetzt ein limit für die dateigrösse festlegen, dann bekommt man mehrere emails mit kleineren .zip dateien, die dann das gesamte backup enthalten, wenn man sie in den gleichen ordner entpackt.

wenn du bei dem feld 'Maximale Dateigrösse in Bytes' einfach z.B. 50000000 angibst, müsstest du dann mehrere emails mit jeweils ca. 50MB grossen .zip dateien bekommen, dann müsste es eigentlich auch bei deinem host laufen...

viel glück

**baumstark** · 17.04.2011, 10:37

und noch eine option hab ich hinzugefügt: Inkrementell

damit werden nur die dateien gesichert, die sich seit der letzten Sicherung verändert haben. das sollte dann nicht jedesmal 300MB sein ;-)

**ricola** · 18.04.2011, 15:07

Zitat von baumstark

und noch eine option hab ich hinzugefügt: Inkrementell
...

Wow, bist Du fleissig - vielen Dank

Ich werde das gleich mal updaten und dann wieder eine Lagebericht abgeben ...

Aktuelle spiele ich auch gerade mal wieder mit neuen Modulen rum - teste gerade meine entstehende Flashwolke. Die soll in ein paar Tagen fertig sein.

LG Rico

**ricola** · 18.04.2011, 16:46

So, jetzt habe ich eine gute und zwei schlechte Nachrichten. Also, die gute zuerst: Ich habe tatsächlich eine Mail mit einem Link zu einem ersten kleinen Backup (10MB) bekommen. Die schlechten Nachrichten sind: Ich kann die Datei im Link nicht aufrufen - siehe ~~hier~~ [*]. Und die andere schlechte Nachricht: Es gibt wieder eine lock.txt - siehe Screenshot.

Tja, was nun?

[*] [Moderation: Link entfernt.]

**baumstark** · 20.04.2011, 12:52

hi ricola,

du hast aber auch ein seltsames system da ;-)

aber ok, das ist ja schonmal was, also die lock.txt wird jedesmal nicht gelöscht, wenn es einen fehler gibt. also der teil ist normal.

was nicht normal ist, ist der andere teil. ist denn die datei vorhanden im ordner system/module/FullBackup/backups?
(ps du solltest die später ganz entfernen, da sind schliesslich alle passörter drin! sonst kann sich irgendjemand dein backup einfach hier aus dem thread runterladen!)

**ricola** · 20.04.2011, 13:13

Zitat von baumstark

du hast aber auch ein seltsames system da ;-)

Ja, das mag sein

. Spannenderweise habe ich das neue Feature aber nicht bei 1und1, sondern unter localhost getestet. Aber vielleicht bin ich auch selbst schuld - ich lasse vom Browser immer einen Refresh nach 5sek machen - dann soll das ganz schnell gehen. Aber, vielleicht liegt da auch der Fehler. Vielleicht können die Dateien (.zip im ./tmp) eben nicht so schnell geöffnet und geschlossen werden und es kommt deshalb zum Fehler. Die Datei im Backup-Ordner ist vorhanden.

Ich werde das die Tage nochmal testen und melde mich dann bei Dir. Bis dahin erstmal vielen Dank für Deine Mühe und Geduld. Und: danke für den Tip mit der Datei - das hätte ich doch glatt vergessen. Manchmal bin ich sowas von dämlich ....

LG Rico

**baumstark** · 20.04.2011, 13:27

nö, 5 sekunden sollte überhaupt kein problem sein! bei einer halbwegs populären live-site hat man ja mindesten soviele requests, mindestens! genau dafür ist ja die blöde lock.txt, damit es da nicht zu konflikten kommt...

aber der link, den du mir geschickt hast, war doch nicht localhost, jetzt bin ich verwirrt?!

der screenshot, den du hattest, war zumindest typisch für die sittuation, wenn die email nicht rausgeht, zip datei war verschoben, dann sollte die mail rausgehen, dann wird 'ent-locked'. auf dem localhost kann es schon sein, dass der gar nicht für mail konfiguriert ist, funktionieren kontaktformulare denn auf dem localhost?

**ricola** · 20.04.2011, 13:40

Zitat von baumstark

aber der link, den du mir geschickt hast, war doch nicht localhost, jetzt bin ich verwirrt?!

Oh Gott, wie dämlich ist das denn .... Das Backup war natürlich vom Echtserver, da es da ja auch noch lag ... Und der Screenshot natürlich auch. Dementsprechend war der Test mit der 5sek-Taktung auch auf dem Echtserver. Ich kriege das jetzt echt durcheinander - mal teste ich das in Echt, mal unter localhost... Also bitte, stelle mir keine Fragen mehr für die man einen IQ > 60 braucht. Damit bin ich echt überfordert.... schlage mich gerade in meinem Urlaub mit DCA & Co. rum....

Im Ernst, ich teste das einfach mal morgen unter localhost (wirklich) und sende dann einen Statusbericht.

LG Rico

**baumstark** · 20.04.2011, 13:46

dann mach mal (wirklich) urlaub! ;-)

test beim localhost vorher, ob der email versand auch klappt, obwohl das siehste ja dann ;-)

viel glück

**ricola** · 20.04.2011, 13:50

Zitat von baumstark

test beim localhost vorher, ob der email versand auch klappt

Nein, unter Mac kriege ich das mit den Mails bis jetzt noch nicht hin. Unter Windows habe ich damals dafür Hamster benutzt - ein klasse Mini-Mail-Server.

Danke und bis denne

Rico

**baumstark** · 20.04.2011, 13:53

na dann wird der test natürlich an genau der stelle auch abbrechen, sobald eine mail verschickt werden soll...

**andreasisaak** · 20.04.2011, 18:49

@baumstark

Ich hab erst heute deine Extension entdeckt und bin total begeistert das man damit nicht die DB sondern auch die ganze Installation packen kann.

Wohin verschiebt deine Extension die ganzen Backups? Kann man einen festen Ordner angeben?

**baumstark** · 20.04.2011, 19:30

hi jared,

danke schön ;-) ja, ich hatte das 'problem', dass die kunden immer neue fotos und dokumente hochladen und ich dann immer noch zusätzlich per ftp syncen musste, dann packen und verwalten... viel zu viel arbeit ;-)

die backups sind im modul-ordner, also system/modules/FullBackup/backups, du solltest aber automatisch eine email mit einem link bekommen, den ftp login wollte ich ja gerade vemeiden...

**andreasisaak** · 20.04.2011, 20:38

Danke dir für die schnelle Antwort.
Würdest du vielleicht auch eine Option in das Modul bauen mit der man einen eigenen Ordner für die Backups definieren kann?

Wir planen Fullbackup für unsere neue Syncronisations-Extension zu nutzen und da wäre es extrem hilfreich einen eigenen Ordner anzugeben

**baumstark** · 20.04.2011, 20:56

was denn für eine syncronisation-extension? was wird denn syncronisiert?

also den ordner einmal für alle backups zu ändern ist ganz easy, in der config gibt es eine variable:
$GLOBALS['TL_CONFIG']['fullbackup_download_folder'] = 'system/modules/FullBackup/backups/';

die könnt ihr natürlich ändern wie ihr lustig seid, müsst nur eventuell bei updates aufpassen... hmm, jetzt wo ich's schreibe, könnte ich ja eigentlich auch mit einer localconfig arbeiten, mal sehen.

für jeden einzelnen backup einen eigenen ordner anzulegen, ist eine ganz andere gechichte, da hängt einiges dran um rekursion zu vermeiden. also ein backup in einem backup in einem backup... das wär nicht so ganz ohne...

**andreasisaak** · 20.04.2011, 21:05

Will nicht zuviel verraten aber die Extension erlaubt es 2 Contao Installationen per Knopfdruck zu vergleichen und zu syncronisieren. So können unbedarfte Kunden Inhalte schreiben und viel basteln und erst wenn es passt mit dem Livesystem syncronisieren. Dazu zählt die DB und alle Dateien. Und da sollte man natürlich erstmal Backups erstellen bevor man irgendwas hin und her schiebt.

Fullbackup macht ja genau das und eignet sich daher sehr gut in unserer Extension verwendet zu werden. Wichtig wäre nur die Backups in einem Ordner ablegen zu können der dann nicht mehr von den Backups erfasst wird.

Ist sowas möglich? Also so stelle ich es mir vor:

- backups
- contao
- system
- ...

Dann hätte ich die Backups gleich im Root und mit einer .htaccess kann man das ganze ja sehr gut schützen.

**baumstark** · 20.04.2011, 21:18

erstmal: supergeil! das könnt ich auch sehr, sehr gut gebrauchen. damit könnte man ja schön einfach die 3 ebenen (dev, staging, live) syncen, das problem hab ich dauernd...

aber zu deiner frage:
- der backup-ordner selber wird natürlich nicht vom backup erfasst, egal wo er liegt, dass wäre bei 10 alten backups ja eine ziemliche menge redundanz
- meinst du die backups sollten _ausserhalb_ der webroot liegen?
- oder so wie du anskizziert hast _in_ der webroot? letzteres sollte gar kein problem sein, einfach die unten genannte variable anpassen...

oder versteh ich da was falsch?

**andreasisaak** · 20.04.2011, 21:25

Ja das Problem haben wir auch andauernd. Und da wir unsere Kunden nicht mehr auf Live Systemen basteln lassen wollen haben wir uns für diese Extension entschieden.

Ne bezüglich des Backups verstehst du alles richtig. Wenn es wirklich so einfach ist dann bin ich schon komplett glücklich.

Wenn es so soweit ist melde dich mich nochmal bei dir - ist das ok? Dann kannst du das ganze vielleicht durchtesten. Nimmst du auch Features oder Patches an? ;-)

**baumstark** · 20.04.2011, 21:37

mal langsam, dir ist schon klar, dass FullBackup die backups eben nicht auf knopfdruck macht, oder? genau das führt ja zu einigen problemen, hauptsächlich mit der max_execution_time von php.

genau deswegen bin ich einen ganz anderen weg gegangen und das backup wird nach und nach in ganz kleinen schritten im hintergrund aufgebaut, ausgelöst von ganz normalen seitenaufrufen, also 'set it and forget it' ;-)

ABER der nachteil ist, dass das je nach website (wenig traffic, viele dateien) durchaus stunden dauern kann! was nicht schlimm ist, weil es ja automatisch läuft, aber ich glaube für eine snchronisation auf knopfdruck doch ein wenig langsam... also wenn, dann müsste man da schon einiges dran ändern....

aber melden kannst du dich natürlich immer.

**andreasisaak** · 20.04.2011, 21:41

Hm ok schade also nicht ganz wie ich es mir vorgestellt habe. Wir schauen uns das morgen mal an.

**baumstark** · 20.04.2011, 21:45

lol ja sorry, hab ich mir fast gedacht...

aber wenn man versucht, die ganze site in einem rutsch zu zippen, inklusive db-dump, dann ist man schneller über 30 sekunden (standard max_execution_time bei den meisten php installationen) als man 'contao' sagen kann ;-)

man kann das (manchmal) umgehen mit einem ini_set oder ähnlichem, aber das geht nicht bei allen providern und ist allgemein alles andere als sauber und stabil...

das war eine meiner haupt-motivationen, das ding zu schreiben und es so zu schreiben ;-)

**Nikolas** · 21.04.2011, 08:01

Hallo,

@baumstark:
möcht mich mal bedanken für das hervorragende Modul. Funktioniert bei mir einwandfrei und ist wirklich genial von der Handhabung.

Und jetzt muss ich mal den Thread wegen der Sync Geschichte weiter verfolgen

@jared:
Wird es damit möglich sein von einer lokalen Installation zu einer Live-Version auf einem Server zu syncen? Sprich solange ich keine Internetverbindung habe lokal zu arbeiten und sobald Verbindung vorhanden alles neue ins Internet zu übertragen?

Gruß
Nikolas