Quelle -> rsync -> Internet -> Ziel

rednag

Active member
Neues Jahr und neue Herausforderungen. Wie die aufmerksamen Leser wissen, bin ich seit 29.12.21 mit 100/40 bei der Telekom.
Dualstack. IPv4 als auch IPv6. Ziel ist es nun ein -wie auch immer geartetes- Backup über das Internet zu dem Mitglied @tiermutter zu machen.
Auf meiner Seite stehen eine Fritzbox 7490 und Sophos UTM zur Verfügung. Inkrementel ist aufgrund der Datenmenge (etwa 16TB) nötig.
Auf Datenträger hin und herschicken möchte ich soweit möglich verzichten.
Freue mich über eure hilfreichen Meinungen und Ansichten.
 

Mavalok2

Active member
Mit der Sophos UTM ist eine Site2Site VPN-Verbindung möglich. Auch mit 2 Fritzboxen sollte dies möglich sein:
Hängt etwas davon ab was @tiermutter bei sich herumstehen hat. Dann wäre zumindest die Verbindung schon mal sicher.
Mit der Sophos könntest Du Dir auch noch eine DMZ / eigene Zone dafür einrichten und dann das entsprechende Gerät dar rein stellen. Bei der Sophos hättest Du auch die Möglichkeit genau zu definieren welche Geräte von wo nach wo dürfen. Weiß ja nicht wie viel Zugriff Ihr Euch gegenseitigen geben wollt.

Was soll gesichert werden? Syno oder QNAP? Bei einem Server oder PC hätte ich Dir jetzt zum Sichern Veeam vorgeschlagen. Ich schätze mal die hauseigenen Sicherungsprogramme von Syno und QNAP? Mit dem Vorgänger von HBS, dem Sicherungsmanager, habe ich dies ein paar Jahre lang mit unserer damaligen Filiale so gemacht. Aber da sind auch kaum Daten angefallen. Da war die Sicherung in ein paar Minuten immer erledigt.

Der erste Sync, die 16 TB dürfte spannend werden. Selbst mit einem 40 Mbit Upload wird dies... lange dauern. Starke Komprimierung und Dedublizierung würde ich hier in Erwägung ziehen. Kenne Deine Daten ja nicht, aber vielleicht sind es dann ja nur noch 8 TB.
 

tiermutter

Well-known member
Hier werkelt eine OPNsense, das Ziel wird wohl ein älteres QNAP sein, weiß gar nicht mehr was das für eins ist...
Das muss auf jeden Fall über VPN laufen, ich kann da IPsec, Wireguard und OpenVPN anbieten.
Möglichkeit 1:
Ich hoste den VPN Server auf der Sense, das Gerät bekommt ein eigenes VLAN. Wegen CGNAT muss die Verbindung zwingend auf IPv6 aufgebaut werden. Entweder ist es dann Site to Site oder die Quelle verbindet sich als Client.
Möglichkeit 2:
@rednag hostet den VPN Server, ebenfalls wieder Site to Site oder der QNAP verbindet sich als Client.

Ich würde dazu tendieren dass sich ein Gerät als Client verbindet.
 

rednag

Active member
@tiermutter hat so weit ich weiß keine Fritzbox, aber pf,- oder OPNsense.
Der Upload mit der o. g. Rate dauert geschätzt etwa zwei Monate. Solange das aber im Hintergrund läuft und ich nicht jedesmal auf "Forstsetzen" klicken muß, ist es nicht so wild.
Ich habe hier tatsächlich segemntiert, aber die beiden NAS (Synology und QNAP) befinden sich im LAN. Gesichert werden soll überwiegend von der Synology. Die ist meine Medienhalde wo sich meine ganzen Serien, Spielfilme befinden. Am liebsten wäre mir auf "Sonderlocken" verzichten zu können. Ich will ich Falle eines Restore nicht Handstände veranstalten müssen um an meine Daten zu kommen. Und wenn die Daten am Ziel in Klasrtext vorliegen, hat @tiermutter ja auch was davon. :)
 

Tommes

Active member
…dauert geschätzt etwa zwei Monate.
Poh! Mein lieber Scholli. Aber wenn Zeit kein Kriterium für euch ist, das ist‘s ja gut. Mir würde das aber wohl zu lange dauern. Aber gut… ist ja euer Ding und geht mich ja auch nichts an.

Ich habe solche Datenmengen noch nie sichern, geschweige denn das alles durchs Internet schieben müssen. Eine stabile und dauerhafte VPN-Verbindung hat hierbei wohl Oberste Priorität. Tendenziell würde ich hierbei wohl einen „einfachen“ rsync abfeuern. Ob eine dateibasierte Datensicherung (Einzelversion) mittels Hyper Backup hier eine gute Wahl wäre, lässt sich schwer beurteilen. Man kann dabei zwar u.a. die Komprimierung für die Datenübertragung einschalten (rsync Optionsschalter -z) um die zu übertragenen Datenmenge zu reduzieren. Hyper Backup legt aber auch ein Journal der Daten an, was wiederum auch Zeit kostet. Dabei kommt es natürlich auch immer darauf an, von welchen Dateigrößen und Mengen ihr hier redet. Viele kleine Dateien oder eher weniger große. Aber ich sehe grade… Filme und Serien sollen es hauptsächlich sein.

Wleche Verbindungs- bzw. Übertragungsart wollt ihr denn anstreben? SSH Verbindung durch den VPN Tunnel? FTP? SCP?

Ist schwierig. Mich schreckt dabei vor allem der Zeitfaktor ab. Ich bin echt gespannt, wie ihr das am Ende lösen wollt…

Tommes
 
Zuletzt bearbeitet:

UdoAA

Active member
Zum Hin- und Herschaufeln von Daten kann ich auch nur von einer Site-to-Site Verbindung zweier Fritzboxen, wenn eine eine 7490 ist, abraten, die sind viel zu langsam, derzeit bekomme ich mit meinem Set-up nur Transferraten von 300 KB/s hin.
Die Einrichtung ist zwar Mega-Einfach, aber nur für kleine Terminalsitzungen zu gebrauchen. Wenn das gewünscht ist, sollten 2 7590 oder besser an den Enden stehen, die können ja Hardware-Verschlüsselung.
 

tiermutter

Well-known member
Fritte gibt es hier ja nicht, mein favorisiertes VPN Protokoll wäre Wireguard, da ich hier die höchste Performance erwarte. Ich denke rsync für die Datenübertragung wird auch die beste Wahl sein.
 

rednag

Active member
Wird vermutlich auf rsync hinauslaufen. Unschlüssig bin ich mir über VPN. Wofür? Und würde hier die "Clientseitige Verschlüsselung" wie HyperBackup es anbietet nicht auch genügen? Wobei, daß ich vermutlich Blödsinn weil @tiermutter damit dann nichts anfangen kann. Wäre natürlich für "privaten Kram" besser. Was habt ihr eigentlich gegen die Zeit? 😀 Solange das im Hintergrund durchläuft ist es doch Kirsche🍒 wie lange es dauert.
 

Mavalok2

Active member
derzeit bekomme ich mit meinem Set-up nur Transferraten von 300 KB/s hin.
Erster Sync: 20 Jahre. Na bravo. Bis der erste Sync durch ist muss das NAS 2x ausgetauscht werden, altersbedingt. :)
Solange das im Hintergrund durchläuft ist es doch Kirsche🍒 wie lange es dauert.
Es frage sich, wie sich das Ganze bei Verbindungsabbruch oder sonstigen Abbrüchen verhält. Bei "Zurück-auf-Start" kannste das Ganze wohl knicken. In 2 Monaten Dauerlast kannst Du wohl von mehreren Abbrüchen der einen oder andere Art ausgehen. Ich würde so ein Abbruch unbedingt vorher Testen / Simulieren. Ist ärgerlich, wenn so etwas 1 1/2 Monat nach Start auftritt. Möglicherweise brauch auch der Router / Firewall oder das NAS ein Neustart, wegen Firmware-Updates, Problemen etc.

@rednag Deine Internetgeschwindigkeit kennen wir. Wie sieht es auf Deiner Seite @tiermutter aus? Bei Dir ist es in erster Linie Download, aber bei einer 10/1 Verbindung geht es dann noch etwas länger. Der Backup-Job könnte das Surfen doch etwas unangenehm machen. Hier wäre die Überlegung einer Priorisierung sicher nicht verkehrt, auch wenn es dann noch etwas länger geht.
 

tiermutter

Well-known member
Unschlüssig bin ich mir über VPN. Wofür?
Weil bei mir kein NAS dem Internet ausgesetzt wird ;)
Mir ist bewusst, dass man das mit rsync und SSH Keys irgendwie sicher bekommt, habe bei einem EOL Gerät aber trotzdem kein gutes Gefühl dabei.
Wie sieht es auf Deiner Seite @tiermutter aus?
Ich habe eine 300/150 Leitung, mit VPN wird es aber sicherlich weniger, glaube nicht, dass wir da 100Mbits erreichen werden.

Ich würde den initialen Durchlauf eventuell segmentieren und in mehreren Parts übertragen. Bei einem Sync sollte ein Verbindingsabbruch aber kein Problem sein.
Eventuell wäre es aber tatsächlich am praktischsten, wenn die Daten vorher lokal auf die HDD gebracht werden.
 

rednag

Active member
Gut, dann ist VPN schon geklärt. 😀 Gute Idee. Einen unvorhergesehen Abbruch durch Zwangstrennung etc. müssen wir unbedingt im Vorfeld testen. Wenn es wieder bei Null anfängt wird das nämlich nie fertig werden. Und auf die Initiale Betankung im LAN würde ich echt gerne verzichten. Und wenn das Backup sich tatsächlich negativ auf die Performance im Zielnetz auswirkt müssen wir echt QoS oder dergleichen machen. Das will ich @tiermutter nicht anmaßen.
 

Tommes

Active member
Hm…
Ich habe eine 300/150 Leitung, mit VPN wird es aber sicherlich weniger, glaube nicht, dass wir da 100Mbits erreichen werden.
@rednag hat aber nur einen 40‘er Upload (theoretisch) ! Von daher…
Eventuell wäre es aber tatsächlich am praktischsten, wenn die Daten vorher lokal auf die HDD gebracht werden.
… würde ich auch hierzu tendieren, sonst werdet ihr wohl nie fertig.

Einen unvorhergesehen Abbruch durch Zwangstrennung etc. müssen wir unbedingt im Vorfeld testen. Wenn es wieder bei Null anfängt…
Wenn ihr das über einen einfachen rsync macht, dann wird dort weitergemacht, wo er zuletzt aufgehört hat. Das macht aber selbst Hyper Backup. Da wird nicht mehr bei null angefangen. Einzig wird verglichen, was schon angekommen ist und was noch fehlt. Einzig das neu anstoßen nach einem Abbruch müsste man glaub ich manuell durchführen.
 

Tommes

Active member
Nö. Aber du hast doch eine Synology… wer braucht dann noch QNAP 😂. Basic Backup verbindet sich mit einem Remote Server aber über SSH (4096 Bit RSA Verschlüsselt). Weiß nicht, ob euch das zusagt? Also entweder SSH direkt auf z.B. einem hohen Port umgeleitet oder durch einen VPN Tunnel geschickt. Und Basic Backup ist aktuell noch im Beta Stadium, das sollte mal nicht außer acht lassen.
 

rednag

Active member
Noch Beta?! Ok, ich habe es nicht aktiv verfolgt. Eher nur am Rande mitbekommen, daß eben aufgrund der Restriktionen in DSM 7 ein Fork entstanden ist.
Ports von den Standards abweichend zu definieren sollte machbar sein. Gut zu wissen, daß das in HyperBackup implementierte rsync wieder dort weitermacht wo es aufgehört hat. Ein anderer Backup-Job läuft seit 29.12 14:52 Uhr und hat bisher 1.32TB übertragen. Einzig was mich dermaßen nervt: ByperBackup ist nicht in der Lage parallele Jobs laufen zu lassen. Nur ein Job möglich. Während der vermuteten Dauer der 16TB muß ich hin und wieder den Job abbrechen um die anderen (lokalen Jobs) ausführen zu können.
 

Tommes

Active member
Beta bedeutet ja nicht gleich, das das Programm nicht funktioniert. Schließlich mach ich das ja nicht erst seit gestern und somit steckt da schon ein Haufen an Erfahrungen drin, die wir bereits mit Ultimate Backup sammeln konnten. Einer der Hauptgründe für den Beta Status ist, das Basic Backup bei einem Push Backup - also von der lokalen Diskstation in Richtung des Remote Servers - im Normalfall über keine root Berechtigungen im Ziel verfügt, was unter diversen Sicherheitsaspekten ja durchaus gewollt ist. Das hat aber zur Folge, das man nur über eingeschränkte Zugriffsrechte verfügt und ich hierbei den experimentellen rsync Optionsschalter --chmod="ugo=rwx" verwenden musste. Und ob das am Ende für den Einzelnen ein gangbarer Weg ist, muss sich noch rauskristallisieren. Leider ist die Resonanz auf dieses Problem bisher eher dürftig, daher bleibt der Beta Status erst mal erhalten. Aber wir kommen vom Thema ab, auch wenn du danach gefragt hast.

Ich kann dir grade garnicht sagen, ob Basic Backup Backupjobs parallel ausführen kann. Theoretisch kann man ja je einen neuen Prozess in einer Sub-Shell laufen lassen… hm… das müsste ich mir mal anschauen. Für den Moment sollten wir aber davon ausgehen, das Basic Backup einen Job nach dem anderen abarbeitet, so wie Hyper Backup auch. Wäre aber eine interessante Option das in BB einzubauen :unsure: … muss ich mal drüber schlafen.

Und das HB dort weiter macht, wo er aufgehört hat, sollte eigentlich der Normalfall sein... sollten sich zwischenzeitlich nicht die bereits übertragen Quelldaten verändert haben. Rsync vergleicht ja immer die Quelle mit dem Ziel und überträgt nur neuere Dateien bzw. das Delta der Änderung bestehender Dateien. Wie HB das bei der datenbankgestützten Variante macht, kann ich aber nicht genau sagen. Wird aber wohl ähnlich funktionieren.

Soderle… jetzt habe ich aber ziemlich weit ausgeholt.

Tommes
 
Zuletzt bearbeitet:

frosch2

Active member
Moin,
ich persönlich würde es mit rsync bewerkstelligen. Es gibt viele sinnvolle Optionen gerade bei einem Remote-Szenario, mit denen man das Backup sehr gut steuern kann.
Spontan fallen mir folgende Optionen ein:
--partial (verhindert das löschen von teilweise übertragenen Dateien)
--compress (komprimiert die Dateien während der Übertragung)
--skip-compress (verhindert das Komprimieren von Dateien, bei denen es unnötig ist z.B. zip, mpeg, jpg usw.)
--contimeout (die Zeit in Sekunden die eine Verbindungsunterbrechung dauern darf)
Es gibt bestimmt noch weitere sinnvolle Optionen, guckt mal auf die man page.

Ich habe etwas ähnliches laufen, das Backup wird von einem Ubuntu-Server zu einem gemieteten V-Server (Ubuntu) übertragen.
Der Ansatz ist etwas anders. Der heimische Server mountet per SSH ein Verzeichnis des V-Servers. Dann werden die Daten per rsync übertragen.
 
Zuletzt bearbeitet:

rednag

Active member
Danke für Deine Vorschläge. rsync ist bestimmt sehr mächtig was die Optionen angeht.
Nur muß ich damit leben was das HyperBackup so hergibt. Ich hab mir noch nie selbst ein Script gebastelt.
Und auf ein Backup will man sich ja doch verlassen können. Ich traue einem selbstgebastelten Script schlichtweg nicht genug.
Und ob der Restore funktioniert, steht wieder auf einem anderen Blatt.
 

framp

Member
Und auf ein Backup will man sich ja doch verlassen können. Ich traue einem selbstgebastelten Script schlichtweg nicht genug.
Und ob der Restore funktioniert, steht wieder auf einem anderen Blatt.
Beides muss man eben nur intensiv testen ;) Der Restore zu testen ist natuelrich sehr herausfordernd ...
 

rednag

Active member
Soweit richtig. Aber bis dies gemacht werden kann, muß erstmal das Konzept für das Backup stehen.
Und wenn ich ehrlich bin, weiß ich grad nicht wo ich anfangen soll. :oops:
 

Zurzeit aktive Besucher

Letzte Anleitungen

Statistik des Forums

Themen
585
Beiträge
8.618
Mitglieder
204
Neuestes Mitglied
sina27
Oben