Datensync über RTRR Alternative

MarkusAT

MarkusAT

Active member
So, damit euch mit mir nicht langweilig wird :)

Ich lasse meine beiden QNAPs über RTRR abgleichen. Egal ob die im gleichen LAN sind oder über VPN, es ist verdammt langsam.
Gar nicht mal das kopieren selbst, sondern der Ablgeich der Daten.

Gefühlt, sieht RTRR Datei X an NAS A an, sucht Datei X an NAS B und vergleicht die Daten. Das bei jeder Datei. Bei 500'000 und über 5TB Dateien dauert das ein wenig.
So dauert ein Sync bei mir gerne mal über 5 Stunden (das ist sicher auch der Leitung geschuldet, ganz klar), aber das kopieren der Daten selbst geht viel schneller.
Schneller wäre ja, wenn NAS A und NAS B jeweils eine txt/csv/wasauchimmer Datei anlegen mit den eigenen Datein und nur diese beiden Datein auf Gleichheit überpürfen.

Ich hab einen Test gemacht:
Eine Textdatei (ein paar Byte groß) erstellt und das NAS synchronisieren lassen mit RTRR. Ergebnis => 3h 28min, das kopieren selbst hat nicht mal eine Sekunde gedauert, aber der Abgleich ewig.
Also einen weiteren Test versucht:
Beide NAS am gleichen PC (auch üver VPN) eingebunden, neue Textdatei erstellt, FreeFileSync laufen lassen. Ergebnis: Nicht mal eine Minute war alles fertig.
Gibt's auch ein Tool, welches am QNAP läuft und dasselbe kann? Automatisiert jeden Tag Nachts?
  • Ordner A von DE nach AT (hart überschreiben, egal was am NAS AT passiert)
  • Ordner B von AT nach DE (hart überschreiben, egal was am NAS DE passiert)
  • Ordner C soll abgeglichen werden auf beiden Seiten. Bei gleichen Datein soll die neueste übernommen werden.
Danke und liebe Grüße,
Markus
 
Die QNAP-Geräte sollten doch auch rsync-Jobs können, versuch es doch einfach mal damit... Soweit ich weiss, ist rtrr so ein QNAP-eigenes Ding. Für das was Du so vor hast, wäre rsync aber sicherlich das Mittel der Wahl (und ist auch kein QNAP-only-Protokoll) :)
 
Bei HBS werden nur Dateigröße und Änderungsdatum verglichen wenn man die Option "Dateiinhalte prüfen" nicht aktiviert hat (default). Wenn QuDedup aktiviert ist (default) kann das auch dauern. Bei mir läuft alles über RTRR und das ist soweit ganz fix.
RSYNC habe ich nur mal testweise verwendet, habe RTRR aber für besser befunden, außerdem ist auch nur mit RTRR eine Versionierung möglich.
 
tiermutter schrieb:
Bei HBS werden nur Dateigröße und Änderungsdatum verglichen wenn man die Option "Dateiinhalte prüfen" nicht aktiviert hat (default). Wenn QuDedup aktiviert ist (default) kann das auch dauern. Bei mir läuft alles über RTRR und das ist soweit ganz fix.
RSYNC habe ich nur mal testweise verwendet, habe RTRR aber für besser befunden, außerdem ist auch nur mit RTRR eine Versionierung möglich.
Zum Vergrößern anklicken....
Hm...
Dateiinhalte prüfen ist deaktiviert.
QuDedup finde ich gar nicht bei mir:
1641891023726.png

Die Versionierung übrigens auch nicht :O
 
blurrrr schrieb:
Die QNAP-Geräte sollten doch auch rsync-Jobs können, versuch es doch einfach mal damit... Soweit ich weiss, ist rtrr so ein QNAP-eigenes Ding. Für das was Du so vor hast, wäre rsync aber sicherlich das Mittel der Wahl (und ist auch kein QNAP-only-Protokoll) :)
Zum Vergrößern anklicken....
Danke ,ich probiers mal aus :)
 
QuDedup müsste schon unter Zeitplan sein, da ist auch die Versionsverwaltung. Lässt sich beides nachträglich aber nicht ändern.
 
Ah, Moment, hab aus einem anderen Thread bei Dir gefunden, dass die Optionen nur bei einer Sicherung (einem Backup) greifen.
Ich hab aber alles Sync-Aufträge angelegt. Somit sind die beiden Optionen nicht vorhanden (und QuDedup kann auch nicht ausbremsen, da nicht vorhanden).
 
Habs grad nochmals getestet, der Speed ansich ist ausreichend:
1641949000720.png
5 Minuten (oder lassen wir es in Summer 10 sein) für 650 MB ist mehr als okay, NUR hat RTRR davor bereits 2 Stunden Daten verglichen (und danach vermutlich noch mindestens eine weitere Stunde). In diesem Ordner gibt es um die 400k/4.37TB Datein, die meisten bis jetzt unverändert (in Summe wurden 3 Datein geändert):
1641949099363.png

Bleibt wohl nur der Test über RSync wie blurrrr bereits erwähnt hat :O
 

Anhänge

  • 1641948968423.png
    1641948968423.png
    1,4 KB · Aufrufe: 0
Ich würde den Job bei 4TB lieber auf mehrere Jobs aufteilen, dann kann das parallel laufen. Die "Vorarbeiten" dauern bei HBS zwar immer etwas lange, aber so lange ist doch arg viel, hängt aber auch mit der Bandbreite zwischen den Systemen zusammen.
 
tiermutter schrieb:
Ich würde den Job bei 4TB lieber auf mehrere Jobs aufteilen, dann kann das parallel laufen.
Zum Vergrößern anklicken....
Die Frage hier ist, laufen 4 parallele Jobs (sagen wir mal 2TB, 1TB 1TB) parallel schneller als ein Job mit 4TB.
Aber ich teste es einfach mal aus.

Aber deine Idee mit Versionierungen etc, hat mich dich zur Überlegung gebracht, Backup oder Sync.
Gut, Backup 1 ist eine externe HDD, Snapshots gibts ja auch nochmal (auf beiden NAS).
Verstehe ich es aber richtig, dass eine Sicherung immer nur Oneway ist (und zwar auch nur vom lokalen NAS ins andere und nicht umgekehrt), was ja mit dem Wort Sicherung/Backup im Gegensatz zum Sync auch Sinne macht :)
 
MarkusAT schrieb:
Die Frage hier ist, laufen 4 parallele Jobs (sagen wir mal 2TB, 1TB 1TB) parallel schneller als ein Job mit 4TB.
Zum Vergrößern anklicken....
Getestet habe ich das noch nicht, aber es ist halt auch weniger anfällig, da sich ein Fehler nur auf einen Job auswirkt und die Fehlersuche einfacher ist.
MarkusAT schrieb:
Verstehe ich es aber richtig, dass eine Sicherung immer nur Oneway ist
Zum Vergrößern anklicken....
Da kann ich nicht ganz folgen glaube ich... klar erfolgt eine Datensicherung immer nur vom Quellsystem zum Zielsystem :) Der Job wird auch immer vom Quellsystem ausgesteuert.
Ein Sync geht auch in beide Richtungen und kann auch vom Zielsystem ausgesteuert werden.
 
Also, einen Test gemacht:
5 mal 1 TB dauert in Summer etwas länger als 1 mal 5 TB, also der falsche Ansatz.

Es geht aber garnicht um die Anzahl der TB, sondern Anzahl der Datein. Anscheinend dauern im Schnitt (bei mir) 10'000 Datein zu vergleichen ca 5 Minuten über RTRR.

Was mir jetzt hilft:
Ich habe einen Ordner, der fast täglich neue Daten bekommt. Meistens aber Datein um die 200 bis 700 MB große Logs in Zip Datein.
Der Ordner hat in Summe 710GB und enthät 1549 Datein. Das sind auch die wichtigsten Daten.
Lasse den Sync nur dieses Ordners (und ein paar anderer kleiner Ordner) jeden Tag laufen (in Summer knapp 50000 Datein) und einmal die Woche (dann ists auch egal wenns 5 Stunden dauert) das ganze NAS mit den 500k Datein :)
1642011795345.png
Trotzdem verstehe ich nicht, warum RTRR da keinen schnelleren Ansatz wählt ^^
 
blurrrr schrieb:
Für das was Du so vor hast, wäre rsync aber sicherlich das Mittel der Wahl (und ist auch kein QNAP-only-Protokoll) :)
Zum Vergrößern anklicken....
Ich hab hier mal einen Job erstellt, davor sichergestellt, dass auf beiden Seiten das gleiche vorhanden ist (gecheckt via RTRR und auch FreeFileSync).
Rsync Test gestartet dabei hat dieser direkt angefangen Datein zu kopieren...

1642029630984.png

Habs dann auch gleich wieder abgebrochen.

Die Frage ist, kopiert der direkt erstmal ALLE daten erneut? Dann muss ich das mal direkt vor Ort machen... Aber das wäre eigetnlich wenig sinnvoll :O
 
Du musst dich einloggen oder registrieren, um hier zu antworten.

Zurzeit aktive Besucher

Gesamt: 144 (Mitglieder: 7, Gäste: 137)

Neueste Beiträge

Letzte Anleitungen

Statistik des Forums

Themen
5.366
Beiträge
53.157
Mitglieder
5.150
Neuestes Mitglied
derBremser

Teilen

Zurück
Oben