rsync per ssh einer QNAP-NAS von Ubuntu-Server aus

Wenn das allererste Backup (muß ja zwangsläufig ein Vollbackup sein, denn wohin sonst sollten die Harlinks gehen) gelöscht wird, dann gehen die Hardlinks noch ins Leere?
Nein. Es wir nur der Usagecounter fuer die Datei veringert. Geloescht wird eine Datei erst wenn der Usagecounter auf 0 gesunken ist. Da die Frage auch oefters von Nutzern von raspiBackup gestellt wird habe ich das mal auf meiner Webseite versucht grafisch darzustellen. Vielleicht hilft Dir das die Hardlinknutzung und -funktion besser zu verstehen :)
nach wievielen Inkrementellen Backups wieder ein Vollbackup gemacht werden soll (z.B. alle 2 Wochen ein Vollbackup und dann täglich ein Inkrementelles Backup und Löschen einer Versionskette nach z.B. 2 Monaten), habe ich in der Anleitung nicht gefunden.
Bei rsnapshot gibt es keine Vollbackups im eigentlichen Sinne. Saemtliche Backupstaende sind bis auf den ersten Deltabackups. Durch die Nutzung von Hardlinks sind sie aber quasi Vollbackups. Du brauchst also nicht wie bei Acronis erst einen Vollbackup zu restoren und dann die Deltabackups die darauf basieren.

Und wie werden die Hardlinks bei geänderten Dateien gesetzt? Immer ausgehend vom Vollbackup oder ausgehend vom vorherigen Inkrementellen Backup?
Immer zum vorausgehenden incrementellen Backup. Sieh Dir mal mein kleines Bildchen an. Ich denke dann wird es klarer.

D.h. so wie ich Dich verstehe kannst Du rsnapshot pur nutzen und brauchst nicht wie ich noch vorgeschlagen habe einen richtigen Vollbackup per cp von Zeit zu Zeit zu erstellen.
 
Zuletzt bearbeitet von einem Moderator:
habe ich das mal auf meiner Webseite versucht grafisch darzustellen. Vielleicht hilft Dir das die Hardlinknutzung und -funktion besser zu verstehen

Ja, das ist sehr anschaulich.
Und Backups von Raspberrys auf den Ubuntu-Server werde ich auch noch benötigen. Habe mir die Seite daher mal gebookmarkt. ;)
Die Baspbery-Backups haben aber noch Zeit, erstmal ist das Backup vom NAS wichtiger.

Immer zum vorausgehenden incrementellen Backup.

Hm, das würde aber bedeuten, daß bei Löschung von älteren Backups (z.B. in deiner Grafik BD2 bis BD5) die geänderte F1' und die neue F3 im BD6 nicht mehr vorhanden sind, weil die Hardlinks ja auf F1' in BD2 und auf F3' in BD5 gehen?
Werden die richtigen Dateien alle im initialen Vollbackup-Verzeichnis (also BD1) gespeichert, also auch die Geänderten und Neuen, oder tauchen diese dann in den Verzeichnissen der späteren BD-Versionen auf (BD2 bis BD4 in deinem Beispiel)? In der Konfigurationsdatei kann man ja Aufbewahrungszeiträume angeben. Und rsnapshot wird die Hardlinks dann wohl automatisch anpassen wenn ältere Backups gelöscht werden?
Bei der Beschreibung der Konfiguration der Aufnahmezeitäume sind in dem Beispiel im Ubuntu-Wiki 7 Tage für tägliche Backups, 4 Wochen für wöchentliche Backups und 6 Monate für monatliche Backups angegeben. Heißt das, daß nach 6 Monaten alle Backups älter als 7 Monate komplett gelöscht werden, alle Backups bis auch eines alle 4 Wochen die älter als 4 Wochen sind gelöscht werden, wobei bei die in diesem Zeitraum geänderten Dateien und alle der letzte 7 Tage aufbewahrt werden? Das wäre ja sehr praktisch.

Es ist auch mit rsnapshot wahrscheinlich sinnvoll, das NAS-Backup auf verschiedene Backup-Jobs aufzuteilen (habe ich mit Acronis auch gemacht) mit verschiedenen Backup- und Aufbewahrungszeiträumen. Das normale Arbeitsverzeichnis sollte täglich gesichert werden, da sich die Dateien dort doch öfter mal ändern, das ganze aber nicht allzu groß ist. Dann habe ich noch einen größeren Bereich (bisher ca. 3 TB) für meine Foto- und Video-Rohdaten. Einmal gespeichert ändert sich da nichts mehr (Originale taste ich nicht an ;), bearbeitet wird nur an Kopien), es kommt nur in Abständen einiges hinzu. Das können aber auch mal etliche GB in einem Rutsch sein (insb. nach einem längeren Urlaub :D)
Dann habe ich noch ein Verzeichnis, wo meine gekaufte Download-Software ist. Da kann sich durchaus was ändern wegen neuer Versionen, aber auch in größeren Abständen.
Dann sind auf dem NAS noch Webseiten (nur lokal innerhalb meines Homenetzwerkes zu erreichen, da probiere ich einiges aus) und die Datenbanken (befinden auch auch auf dem NAS), die ich auch sichern möchte (ins. die Datenbank der Fotoverwaltungssoftware hat jede Menge Einträge, wäre äußerst mühsam und zeitaufwändig das wieder neu zu erstellen). Z.Zt. sichere ich die Datenbanken manuell mit phpMyAdmin lokal auf dem NAS und lege eine Kopie auf einer externen USB-Festplatte an.
Ich würde dann also wohl 4 Backup-Jobs mit unterschiedlichen Konfigurationen anlegen wollen. Sinnvoll?

Ich habe bisher alles auch noch in größeren Zeitabständen (manuell, da ja die USB-Festplatten erst angestöpselt werden müssen) mit dem QNAP-Backup HBS3 auf externen USB-Festplatten gesichert, aber nur als einfache Synchronisation. Ich denke mal es ist sinnvoll, das auch noch beizubehalten, da ja das rsnapshot-Backup auch mal defekt werden kann?

D.h. so wie ich Dich verstehe kannst Du rsnapshot pur nutzen

Ja, so wie ich das jetzt sehe, ist wohl rsnapshot das sinnvollste für meine Zwecke? Es nutzt ja auch rsync für die Backups und kann laut der Beschreibung im Wiki auch die Daten vom NAS per SSH holen? Das Dateisystem auf dem Ubuntu-Server ist ext3, sollte also für Hardlinks passen.
 
Hm, das würde aber bedeuten, daß bei Löschung von älteren Backups (z.B. in deiner Grafik BD2 bis BD5) die geänderte F1' und die neue F3 im BD6 nicht mehr vorhanden sind, weil die Hardlinks ja auf F1' in BD2 und auf F3' in BD5 gehen?
Die Zeit laeuft in dem Bild von links nach rechts. D.h. BD2 bi DB5 sind nicht aeltere sondern neuere Backups 🙂
Heißt das, daß nach 6 Monaten alle Backups älter als 7 Monate komplett gelöscht werden, alle Backups bis auch eines alle 4 Wochen die älter als 4 Wochen sind gelöscht werden, wobei bei die in diesem Zeitraum geänderten Dateien und alle der letzte 7 Tage aufbewahrt werden?
Ja
Ich würde dann also wohl 4 Backup-Jobs mit unterschiedlichen Konfigurationen anlegen wollen.
Ich muss gestehen dass ich so einen Fall wo verschiedene Kriterien an die Backups mit rsnapshot gestellt werden noch nicht hatte. Aber ich denke Du musst vier verschiedene Konfigs fuer rsnapshot erstellen.
Ich denke mal es ist sinnvoll, das auch noch beizubehalten, da ja das rsnapshot-Backup auch mal defekt werden kann?
Wenn Deine Backupplatte anfaengt abzurauchen und Du kein smartd aktiv hast der Dich warnt koennen Sektoren ausfallen und damit in der gesamten Kette der Hardlinks Dateien die nie geaendert wurden ausfallen und somit alle Backups partiell unbrauchbar machen. Somit macht es sicherlich Sinn fuer diesen Worst Case immer mal wieder einen weiteren Fullbackup auf einem anderen Medium zu haben. Alternativ kannst Du auch ein RAID als Backupziel nutzen um Dich vor solchen unangenehmen Effekten zu schuetzen.
Die Baspbery-Backups haben aber noch Zeit, erstmal ist das Backup vom NAS wichtiger.
Die Webseite habe ich fuer raspiBackup Nutzer erstellt aber sie beschreibt das generelle Prinzip von rsync und Hardlinks und ist somit auch fuer Deinen Fall zutreffend
;) Wenn Du dann mal Deine Raspis sichern willst kannst Du Dir ja auch mal raspiBackup ansehen 😃
 
Ich hole hier meinen alten Thread nochmal hervor, da sich noch eine mir unerklärliche Schwierigkeit eingestellt hat.
Es sollte ja ein Backup der Feigaben auf dem QNAP-NAS gemacht werden von einem UbuntuServer aus, wobei sich rsync auf dem UbuntuServer die Daten per SSH von der QNAP holt.

Logge ich mich mit Putty (von einem Windows-PC aus) in den UbuntuServer ein und führe rsync aus, dann funktioniert das auch einwandfrei (wobei "IP die IP-Adresse der QNAP-NAS ist und "User" der Username, mit dem ich mich in den UbuntuServer einlogge).
Code:
rsync --delete -avbe 'ssh  -i /home/Username/.ssh/ssh_host_rsa_key' admin@IP:/share/CACHEDEV1_DATA/Public/ /mnt/Backup1/Test-Backup2/Public/ --backup-dir=../old-Public

Will ich den gleichen Befehl aber in der Command Shell von Webmin aus ausführen, so bekomme ich eine Fehlermeldung:
Code:
Host key verification failed.
rsync: connection unexpectedly closed (0 bytes received so far) [Receiver]
rsync error: unexplained error (code 255) at io.c(235) [Receiver=3.1.3]
Ich bin dort aber mit dem gleichen Usernamen eingelogged, d.h. das müßte doch genauso funktionieren wie beim Login per putty?
 
Rsync von Open Media Vault habe ich mit SSH Key auch nicht hinbekommen, obwohl der key mit Putty einwandfrei funktioniert...
 
Ich bin dort aber mit dem gleichen Usernamen eingelogged, d.h. das müßte doch genauso funktionieren wie beim Login per putty?
Will ich den gleichen Befehl aber in der Command Shell von Webmin aus ausführen
Sicher, dass der Befehl dann auch mit dem "User" ausgeführt wird und nicht z.B. via www-data? Bzw. anders gefragt: Da ich Webmin seit Ewigkeiten nicht mehr gesehen habe (10+ Jahre)... was kommt denn dabei rum, wenn Du in dieser "Command Shell" (was auch immer das sein soll) ein "whoami" ausführst - bist Du dann der "User", oder ggf. www-data, oder root, oder irgendwas anderes?
 
Moinsen,
Was passiert denn, wenn du das webmin Zeugs weglässt und direkt den Befehl ins terminalfenster eingibst?
 
was kommt denn dabei rum, wenn Du in dieser "Command Shell" (was auch immer das sein soll) ein "whoami" ausführst

Ups. :oops: Danach wäre ich mit root eingeloggt. Ins Webmin logge ich mich aber mit dem "Username" ein.

Was passiert denn, wenn du das webmin Zeugs weglässt und direkt den Befehl ins terminalfenster eingibst?

Wenn ich mich vom Windows-PC per SSH mit "Username" einlogge, dann funktionier der rsync-Befehl einwandfrei.

bwohl der key mit Putty einwandfrei funktioniert.

Ich habe den Key nicht mit Putty generiert, sondern vom UbuntuServer aus. Der Putty-Key hatte damals nicht funktioneirt.
 
Moinsen,
Ich meinte damit
1. Einloggen auf dem ubuntu Server
2. Von dort dann im Terminalfenster den rsync Befehl eingeben...
Oder bin ich gerade auf dem falschen Weg gedanklich?
 
1. Einloggen auf dem ubuntu Server
2. Von dort dann im Terminalfenster den rsync Befehl eingeben...
Ja, das habe ich ja damit gemeint daß es auf dem Weg einwandfrei funktioniert.


Da ich in Webmin entgegen der Erwartung (hatte mich ja mit dem "Username" eingeloggt) doch als root drin bin (ist mir schleierhaft wieso :oops:, wäre ich nie drauf gekommen), habe ich nun einfach die ssh-Keys nochmal in den ordner /root/.ssh kopiert, als Eigner "root" eingetragen und nun funktioniert es auch von der command-Shell in Webmin aus. (y)
 
Was den direkten Aufruf von rsync betriff: ja, ist gelöst. (y)

Nun möchte ich aber rsnapshot benutzen, was ja rsynch verwendet.

Habe versucht die rsnapshot.conf gemäß dieser Anleitung zu editieren. Nach dem anfänglichen Reinfall mit Leerzeichen vs. Tabs habe ich es nun soweit hinbekommen, daß
Code:
rsnapshot configtest
nun keine Fehler mehr anzeigt. Den ersten Test habe ich mit dem Backup eines kleinen lokalen Testverzeichnisses gemacht. Hat funktioniert.

Nun will ich aber auch hier per SSH ein Verzeichnis auf dem QNAP sichern.

Gemäß obiger Anleitung habe ich folgende Änderungen in die rsnapshot.conf eingetragen (die anderen Voreinstellungen habe ich gelassen):
Code:
snapshot_root    /mnt/Backup1/Snapshot/

cmd_ssh    /usr/bin/ssh
ssh_args    -o BatchMode=yes    -i    /home/Username/.ssh/ssh_host_rsa_key.pub

retain    daily    7
retain    weekly    4
retain    monthly    6

exclude    @Recycle/
exclude    Trash/
exclude    lost+found/
exclude    .gvfs/

backup    Username@IP:/share/CACHEDEV1_DATA/Public/    IP/    exclude=/share/CACHEDEV1_DATA/Public/@Recycle

Offenbab habe ich die letzte Zeile falsch angegeben, denn hier meckert rsnapshot beim Ausführen, bei Aufruf von "rsnapshot configtest" sagt er allerdings "Syntax ok".

Mit der Fehlermeldung kann ich allerdings nichts anfangen. Wo liegt der Fehler?
Code:
rsnapshot encountered an error! The program was invoked with these options:
/usr/bin/rsnapshot daily
----------------------------------------------------------------------------
ERROR: /usr/bin/rsync returned 255 while processing admin@192.168.0.16:/share/CACHEDEV1_DATA/Public/
 
Ja, aber wie behebe ich das ? Habe ich irgendwo was falsch angegeben?
rsync über SSH funktioniert ja.
Das rsync über SSH funktioniert, dann es doch eigentlich nur an einem Fehler in der rsnapshot.conf liegen? Also übergibt rsanpshot wohl die SSH-Parameter falsch an rsync?
 
Zuletzt bearbeitet:
Ich finde Dein Comand etwas komisch, bei mir sehen die so aus:

rsync -e "ssh -l root" -vtrz --log-file=/root/rsync/rsync_$(date +"%Y-%m-%d").log /qnap/Data/ <hostname>::rtrans/ >/dev/null

Bei mir trennen den Hostnamen und den Record-Set z.B. zwei Doppelpunkte ::
 
Ich glaube wir reden von zwei verschiedenen Dingen.

Rsync funktioniert bei mir hiermit gemäß der Anleitung von Tommes in Post Nr. 31:
Code:
rsync --delete -avbe 'ssh  -i /home/UsernameUbuntuserver/.ssh/ssh_host_rsa_key' admin@IP-QNAP:/share/CACHEDEV1_DATA/Public/ /mnt/Backup1/Test-Backup2/Public/ --backup-dir=../old-Public
Einen doppelte Doppelpunkt habe ich da nicht und rsync funktioniert trotzdem.

Was aber nicht funktioniert ist rsnapshot, welches ja rsync aufruft. Die Parameter für SSH, die rsnapshot an rsync übergibt, stehen ja in der rsnapshot.config und ich habe sie gemäß dieser Anleitung dort eingetragen. Also entweder fehlt in der Anleitung etwas Entscheidendes oder ich verstehe an der Anleitung was falsch (ich vermute mal letzteres ;)).
Also dies funktioniert nicht:
Code:
rsnapshot daily
mit den in der rsnapshot.config angegeben SSH-Parametern:
Code:
cmd_ssh    /usr/bin/ssh
ssh_args    -o BatchMode=yes    -i    /home/UsernameUbuntuserver/.ssh/ssh_host_rsa_key.pub


backup    admin@"QNAP-IP bzw. QNAP-Name":/share/CACHEDEV1_DATA/Public/    QNAPName/    exclude=/share/CACHEDEV1_DATA/Public/@Recycle
 
Habe noch mal weiter probiert: In der Anleitung stand ja, daß man beim ersten Durchlauf
Code:
BatchMode=yes
weglassen soll. Das hat nicht funktioniert. Es gab die gleiche Fehlermeldung wie oben. Dann habe ich mal etwas im Nebel gestochert und statt dessen
Code:
BatchMode=no
in die rsnapshot.config eingetragen. Dann lief es, allerdings mit Paßwortabfrage. Dann habe ich es wieder auf "yes"gesetzt (weil in der Anleitung stnd man brauch es nur beim ersten Durchlauf weglassen) und es brach wieder mit obiger Fehlermeldung ab.
Irgendwas haut wohl mit den SSH-Schlüsseln nicht hin? Aber was? Mit rsync funktionieren die Schlüssel ja, nur mit rsnapshot nicht.
 
Zuletzt bearbeitet:
Mit welchem User wird der Job denn ausgeführt? Eventuell das gleiche Problem, wie zuvor schon bei Webmin? 😇
 
Ich habe es sowohl mit dem Webmin-Username als auch mit root probiert. Beides ergibt den gleichen Fehler.

Edit: Nun geht auch "batchMode=no" nicht mehr. :(
 
Zuletzt bearbeitet:

Zurzeit aktive Besucher

Letzte Anleitungen

Statistik des Forums

Themen
5.910
Beiträge
57.716
Mitglieder
5.864
Neuestes Mitglied
hootersusa
Zurück
Oben