Druckbare Version
Ich habe versucht die bis jetzt bekannten Probleme zu beseitigen und einen neuen Branch erstellt:Zitat:
Zitat von mlweb
https://github.com/fiedsch/contao-4-...t/tree/allinkl
@mlweb, @planepix: Wenn ihr es testen wollt, dann müsst ihr in eurer main.sh noch die Variable TAR=ptar setzen. Ansonsten hat sich dort nichts geändert.
Beim Aufruf des Scriptes über den Browser und über den Cronjob werden jetzt wie es sich gehört alle drei Dateien geschrieben.
Danke @fiedsch.
Wie erwartet bekomme ich aber beim Aufruf über den Browser noch einen Fehler wegen des ebenfalls nicht innerhalb von exec ausführbaren /bin/uname
Wenn ich die if-Funktion mit uname dort auskommentiere und von Linux als Operating-System ausgehe, laufe ich dann bei rm und ls in einen Fehler, weil die auch nicht erlaubt sind.Code:Returncode: 1
Ausgabe des Scripts:
Array
(
[0] => mysqldump: [Warning] Using a password on the command line interface can be insecure.
[1] => mysqldump: [Warning] Using a password on the command line interface can be insecure.
[2] => /www/htdocs/xxx/meinPfad/c4-backup.sh: line 191: /bin/uname: Permission denied
[3] => unknown operating system
)
Außerdem wird anders als über die Konsole die Löschung der files und Standard-Dateien vom gleichen Tag nicht angeboten.
Ich denke aber auf das automatische Löschen könnte man vielleicht verzichten. Ich habe da auch etwas von einer automatischen Löschfunktion bei All-inkl. gesehen. Das werde ich mir aber erst demnächst genauer anschauen können.Code:Returncode: 126
Ausgabe des Scripts:
Array
(
[0] => gzip: /www/htdocs/xxx/meinPfad/meinname_files_2018-12-12.tar.gz already exists; not overwritten
[1] => gzip: /www/htdocs/xxx/meinPfad/meinname_2018-12-12.tar.gz already exists; not overwritten
[2] => mysqldump: [Warning] Using a password on the command line interface can be insecure.
[3] => mysqldump: [Warning] Using a password on the command line interface can be insecure.
[4] => loesche altes Backup vom '2018-11-12'
[5] => /www/htdocs/xxx/meinPfad/c4-backup.sh: line 205: /bin/rm: Permission denied
[6] => /www/htdocsxxx/meinPfad/c4-backup.sh: line 206: /bin/ls: Permission denied )
Noch etwas ist mir aufgefallen. Das "alte" Script konnte ich auch als PHP-Script in der Konsole aufrufen. Diese Version bleibt in der Konsole hängen, wenn ich den Aufruf des PHP-Scriptes starte. Direkter Aufruf von main.sh funktioniert natürlich.
Nachtrag: Gerade gefunden wie man bei All-Inkl. die älteren Datei löschen könnte (unter Tools->Webspacebereinugung). Werde ich dann gleich mal einrichten.
Hallo Maren,
Danke für's Feedback.
Hier könnte man den versuch der automatischen Erkennung noch so abändern, daß das Betriebssytem in der Konfiguration angegeben werden müsste.Zitat:
Zitat von mlweb
Dann wäre der uname-Aufruf schon mal weg. Das bringt im All-Incl Fall aber wahrscheinlich nicht so viel, da dann die nächsten Probleme auftreten (rm und ls).
ls dient eigentlich nur dazu, daß eine Auflistung der vorhandenne Dateien erzeugt wird, was ich hilfreich finde, wenn man sich den Output des Cronjobs per E-Mail zuschicken lässt. Ansonsten kann das natürlich ersatzlos gestrichen werden. Bliebe rm: Wenn ich nicht falsch liege, sollt das durch setzen von PURGE_AFTER_DAYS=0 gelöst werden können. Dann sollte der Block nicht ausgeführt werden und Du kümmerst Dich selbst (auf anderem Weg um das Löschen der alten Backups).
Die Dateien vom selben Tag -- die eben erst angelegt wurden -- sollten doch nie gelöscht werden. Wo stehe ich hier auf dem Schlauch?Zitat:
Außerdem wird anders als über die Konsole die Löschung der files und Standard-Dateien vom gleichen Tag nicht angeboten.
Das "not overwritten" ist das Ergebnis des jetzt separaten Aufrufs von gzip <datei> nachdem die <datei> von ptar erstellt wurde. Wenn Du das Skript mehrmals nacheinander am gleichen Tag aufrufst, passiert das. Im wirklichen Betrieb sollte das aber kein Thema sein. Oder wir hängen noch ein --force an den gzip-Aufruf an.Zitat:
Code:[0] => gzip: /www/htdocs/xxx/meinPfad/meinname_files_2018-12-12.tar.gz already exists; not overwritten
Muss ich mal versuchen (unter MacOS) nachzustellen. Wäre zwar egal, denn "wenn Du schon auf der Konsole bist, dann rufe halt gleich das Skript auf", finde ich aber unschön und außerdem riecht es für mich nach "da könnte noch ein bisher nicht beachtetes Problem dahinter stecken".Zitat:
Noch etwas ist mir aufgefallen. Das "alte" Script konnte ich auch als PHP-Script in der Konsole aufrufen. Diese Version bleibt in der Konsole hängen, wenn ich den Aufruf des PHP-Scriptes starte. Direkter Aufruf von main.sh funktioniert natürlich.
Deshalb habe ich es Dir mitgeteilt.Zitat:
Zitat von fiedsch
Auf die Idee das PHP-Script über die Konsole aufzurufen bin ich auch nur deshalb gekommen, weil ich irgendwann von All-Inkl dazu aufgefordert wurde und vermelden konnte, dass das PHP-Script gestartet auf Konsolenebene keine Probleme macht.
Das Löschen bei All-Inkl habe ich gestern schon ausgetestet. Kann man also gut über die Oberfläche von All-Inkl. realisieren.
Beim Aufruf über die Konsole kam ein Abfrage:Zitat:
Zitat von fiedsch
Geht also nicht ums Löschen sondern ums Überschreiben. Da habe ich nicht richtig hingeschaut.Code:gzip: /www/htdocs/xxx/meinPfad/meineDatei_files_2018-12-13.tar.gz already exists; do you wish to overwrite (y or n)?
Könnte die Abfrage das Hängenbleiben des PHP-Scriptes auf Konsolenebene verursachen?
PURGE_AFTER_DAYS=0 habe ich eingesetzt. Dann läuft das Script über den Browser durch so wie es jetzt ist.
Führe ich das Skript mehrfach am gleichen Tag aus, wird zusätzlich zu den Dateien meineDatei_Datum.tar.gz und meineDatei_files_Datum.tar.gz jeweils eine Datei meineDatei_Datum.tar bzw. meineDatei_files_Datum.tar erstellt und bei weiteren Wiederholungen überschrieben, während bei meineDatei_Datum.tar.gz und meineDatei_files_Datum.tar.gz die erste erstellte Datei erhalten bleibt. meineDatei_Datum.sql.gz wird bei jedem Durchlauf überschrieben.Code:Returncode: 0
Ausgabe des Scripts:
Array
(
[0] => gzip: /www/htdocs/xxx/meinPfad/meineDatei_files_2018-12-13.tar.gz already exists; not overwritten
[1] => gzip: /www/htdocs/xxx/meinPfad/meineDatei_2018-12-13.tar.gz already exists; not overwritten
[2] => mysqldump: [Warning] Using a password on the command line interface can be insecure.
[3] => mysqldump: [Warning] Using a password on the command line interface can be insecure.
)
Aber im Normalfall würde ich den Cronjob nur einmal am Tag laufen lassen. Sehe ich also auch nicht als Problem.
Mal so eine Idee. Wäre es nicht möglich, wenn kein Betriebssystem erkannt wird, das PURGE_AFTER_DAYS automatisch in Deinem Script auf 0 zu setzen.
Ich denke, ja: die Nachfrage ist kommt von gzip und beim Aufruf über das PHP-Skript antwortet ja keiner.Zitat:
Zitat von mlweb
dann würde ich den angehängten "Zeitstempel" so definieren, daß er auch eine Angabe zur Uhrzeit enthält, womit der Dateiname dann jedes Mal ein anderer wäre und nichts überschrieben würde.Zitat:
Führe ich das Skript mehrfach am gleichen Tag aus, [...]
Bsp.:
Wie detailliert Du bei der Uhrzeit (Stunde %H, Minute %M, Sekunde %S) sein willst musst Du selbst entscheiden.Code:# Aktuell in c4-backup.sh eingestellt
NOW=$(date +"%Y-%m-%d")
# Beispiel mit Uhrzeit
NOW=$("%Y-%m-%d_%H_%M_%S")
Bei der aktuellen Implementierung würden wir uns damit aber im Kreis drehen:Zitat:
Zitat von mlweb
Wenn PURGE_AFTER_DAYS ungleich 0 ist, wird das Datum von vor PURGE_AFTER_DAYS Tagen zu ermitteln. Dabei muss je nach Betriebssystem unterschieden werden, da die date Aufrufe von Linux und BSD-Unixen wie MacOS andere Parameter haben (andere Betriebssysteme habe ich nicht im Einsatz und damit keine Ahnung, was es sonst noch geben könnte).
Und genau hier kommt der uname Befehl in's Spiel, der bei All-Incl gesperrt ist.
Dein Vorschlag wäre ja: Betriebssystem bestimmen (=Crash) um dann PURGE_AFTER_DAYS auf 0 zu setzen um bei der dortigen Betriebssystembestimmung nicht zu crashen.Code:if PURGE_AFTER_DAYS ungleich 0
mittels uname Betriebssystem und damit date Aufrufsyntax bestimmen (=Problem bei All-Incl)
endif
Ausweg wäre, Das Betriebssystem oder gleich die Parameter für den date Aufruf als Konfigurationsoption anzugeben. Das könnte dann auch gleich Dein "mehrere Backups am Tag-Problem lösen". Bedeutet aber weitere Konfigurationsoptionen. Und hier wollte ich so wenige wie möglich verwenden. Meine Idee: was nicht angegeben werden muss kann auch nicht falsch angegeben werden.
Ich probiere dazu noch ein paar Möglichkeiten aus und melde mich wieder.
Bis dahin erst Mal Danke für's Feedback!
Ich habe eben im Branch 'allinkl'
https://github.com/fiedsch/contao-4-...t/tree/allinkl
die folgenden optional zu setzenden Variablen definiert:
Code:# @mlweb: damit könntest Du Deine mehrmals täglichen Backups so konfigurieren, daß sie unterschiedliche Namen bekommen
BACKUP_TIMESTAMP_FORMAT='%Y-%m-%d_%H_%M_%S'
# Beim alte Backups löschen dann aber "alle des jeweiligen Tags" (muss logischerweise zu BACKUP_TIMESTAMP_FORMAT passen)
PURGE_TIMESTAMP_FORMAT='%Y-%m-%d'
# Wenn gesetzt, wird nicht versucht, dies mit Hilfe des bei All-Incl gesperrten uname zu ermitteln
OSNAME='Linux'
Danke. Werde ich heute Abend mal austesten. Vorher komme ich wahrscheinlich nicht dazu.
Das Problem ist wirklich nur beim Testen aufgetreten. Denn für die Tests wollte ich ja nicht jedesmal einen Tag warten.Zitat:
Zitat von fiedsch
Hallo miteinander,
ich grätsche hier mal rein, da ich ebenfalls bei all-inkl bin und eine Frage zu deren Backupscripten hätte :)
Ich nutze die Scripte leicht abgewandelt, und hab mir dazu noch im Backend 2 Links eingefügt, siehe hier.
Bis jetzt hab ich immer manuell per Klick meine Backups erstellt...
Angenommen, ich nutze dies jetzt als Cronjob (= Tarif Private plus), das tut.
Lasse ich jedoch automagisch alle Dateien älter als x löschen, werden doch meine beiden PHP Dateien im selbigen Verzeichnis mitgelöscht, oder irre ich mich da?
Verzeichnis ist (in der Contao Installation): /web/_backup/
Meine Hauptfrage wäre nun: wie biege ich den Ausgabepfad in den Scripten um, das die Ausgabe eine Ebene tiefer stattfindet?
Hier die beiden Scripte, da copy bei mir nicht funktionieren wird. ;)
DB Backup:
FTP Backup:PHP-Code:<?php
// PHP-Konfiguration optimieren
@error_reporting(E_ALL ^ E_WARNING);
@ini_set("max_execution_time", 300);
@ini_set("memory_limit", "512M");
######## einstellungen #############################################
$db_name = "0815xyz";
$db_passwd = "subber-geheimes-pw";
$sql_file = "sql_dump_" . $db_name . "_" . date('Y-m-d_H-i-s') . ".sql";
####################################################################
exec("mysqldump -u $db_name -p'$db_passwd' --allow-keywords --add-drop-table --complete-insert --quote-names $db_name > $sql_file");
exec("gzip $sql_file");
$datei = $sql_file . ".gz";
$link = 'http://'.$_SERVER['HTTP_HOST'].$_SERVER['PHP_SELF'];
$link = str_replace(basename(__FILE__),$datei,$link);
echo "Backup fertig <a href='" . $link . "'>" . $datei . "</a";
?>
Danke für Ideen!PHP-Code:<?php
// PHP-Konfiguration optimieren
@error_reporting(E_ALL ^ E_WARNING);
@ini_set("max_execution_time", 300);
@ini_set("memory_limit", "512M");
// Zu sicherndes Unterverzeichnis. Bleibt leer, wenn gesamter Account gesichert werden soll.
$verzeichnis = "/_hp/";
// Auszuschließende Ressourcen
$ignorieren = array("*.sql.gz", "*.tar.gz", "*.tgz", "kas_backup", "usage", "logs");
// PEAR-Klasse einbinden und Archiv erstellen
$pfad = preg_replace('/(\/www\/htdocs\/\w+\/).*/', '$1', realpath(__FILE__));
include "Archive/Tar.php";
$archivname = "ftp_dump_".preg_replace('/.+\/(.+)\/$/', '$1', $pfad).date('_Y-m-d_H-i-s').".tar.gz";
$archiv = new Archive_Tar($archivname, true);
$archiv->setIgnoreList($ignorieren);
$archiv->createModify($pfad.$verzeichnis, "", $pfad);
$link = 'http://'.$_SERVER['HTTP_HOST'].$_SERVER['PHP_SELF'];
$link = str_replace(basename(__FILE__),$archivname,$link);
echo "Backup fertig <a href='" . $link . "'>" . $archivname . "</a>";
?>
ToM
Aloha,
ich mache es so, dass ich die Backup-Datei mitverschiebe.PHP-Code:rename()
Gruß
Sebastian
Danke, ich frage mich nur schon seit einer Weile, wo und wie ich das an obigen Scripten zum laufen bekomme?
ToM
So, irgendwie hab ichs hingewurschdeld, macht das, was es soll: ein $targetdir = "data/"; an der richtigen Stelle kann Wunder bewirken :D
DBFTPPHP-Code:<?php
// PHP-Konfiguration optimieren
@error_reporting(E_ALL ^ E_WARNING);
@ini_set("max_execution_time", 300);
@ini_set("memory_limit", "512M");
#############################################################################################################################################
########## EDIT HERE ONLY ###########
$db_name = "0815xyz"; #########################################
$db_passwd = "subber-secret-pw"; #
#
// Verzeichnis, wohin gesichert werden soll. Pfad gilt ab Script. #
$targetdir = "data/"; #
$sql_file = $targetdir . "sql_dump_" . $db_name . "_" . date('Y-m-d_H-i-s') . ".sql"; #
#
#############################################################################################################################################
exec("mysqldump -u $db_name -p'$db_passwd' --allow-keywords --add-drop-table --complete-insert --quote-names $db_name > $sql_file");
exec("gzip $sql_file");
$datei = $sql_file . ".gz";
$link = 'http://'.$_SERVER['HTTP_HOST'].$_SERVER['PHP_SELF'];
$link = str_replace(basename(__FILE__),$datei,$link);
echo "Backup fertig <a href='" . $link . "'>" . $datei . "</a";
?>
ToMPHP-Code:<?php
// PHP-Konfiguration optimieren
@error_reporting(E_ALL ^ E_WARNING);
@ini_set("max_execution_time", 300);
@ini_set("memory_limit", "512M");
#############################################################################################################################################
########## EDIT HERE ONLY ###########
// Zu sicherndes Unterverzeichnis. Bleibt leer, wenn gesamter Account gesichert werden soll. #########################################
$verzeichnis = "/_hp/"; #
// Verzeichnis, wohin gesichert werden soll. Pfad gilt ab Script. #
$targetdir = "data/"; #
#
// Auszuschließende Ressourcen #
$ignorieren = array("*.sql.gz", "*.tar.gz", "*.tgz", "kas_backup", "usage", "logs", "var"); #
#
#############################################################################################################################################
// PEAR-Klasse einbinden und Archiv erstellen
$pfad = preg_replace('/(\/www\/htdocs\/\w+\/).*/', '$1', realpath(__FILE__));
include "Archive/Tar.php";
$targetdir = "data/";
$archivname = $targetdir . "ftp_dump_".preg_replace('/.+\/(.+)\/$/', '$1', $pfad).date('_Y-m-d_H-i-s').".tar.gz";
$archiv = new Archive_Tar($archivname, true);
$archiv->setIgnoreList($ignorieren);
$archiv->createModify($pfad.$verzeichnis, "", $pfad);
$link = 'http://'.$_SERVER['HTTP_HOST'].$_SERVER['PHP_SELF'];
$link = str_replace(basename(__FILE__),$archivname,$link);
echo "Backup fertig <a href='" . $link . "'>" . $archivname . "</a>";
?>