Lesson Learned: Proxmox Systemplatte ersetzen

[Confluencer]

Danke dem Topic https://forum.heimnetz.de/threads/proxmox-ssd-hdd-raid1-consumer-vs-datacenter-platten.6677/ hab ich zufällig mitbekommen, dass die 1TB NVME auf der sich die Proxmox Systemplatte und VM's befinden, nach knapp 6 Jahren das vom Hersteller angegebene Schreibvolumen (TBW) erreicht hat. Als Ersatz habe ich eine 2TB NVME besorgt.

Meine Recherche womit man die Daten nun von einem Datenträger auf den anderen Cloned hat gezeigt dass viele Clonzilla, oder direkt das Linux cli tool dd verwenden. Ich wollte es bequemer haben, und habe mich für Clonzilla entschieden.

Ich denke das Thema kann auch für andere interessant sein, desshalb hier ein kurzer abriss was ich gemacht habe:

## Vorbereitung

• Clonezilla ISO runterladen (https://clonezilla.org/downloads.php stable iso)
• Mit Rufus (https://rufus.ie/de/) das ISO auf USB-Stick übertragen.

## Durchführung:

• PVE
  • Alle VMs beenden
  • upgrade durchführen (optional)
  • Host herunterfahren
• Neue NVME verbauen
  • das Mainboard hatte mehrere NVME Slots, hier habe ich einen genommen, der sich keine PCIe-Lanes mit dem Slot der alten NVME teilt
• USB-Stick einstecken und vom Stick booten

## Clonzilla starten

• Im Bootmenü "Clonezilla live (VGA with large font & To RAM)
• Choose language: ich hab den Default-Wert "en_US.UTF-8 English" ausgewählt
• Keyboard configuration: hier habe ich "Change" verwendet und die Tastatur auf Deutsch gestellt.
• Start Clonezilla: start_clonezilla

## Clonzilla

• "device-device" (weil ich von einen lokalen Datenträger auf einen anderen lokale Datenträger kopieren will)
• Mode: "Beginner" (damit man weniger einstellen muss)
• Mode: "disk_to_local_disk" (wir wollen die ganze NVME kopieren)
• Source auswählen: Quell NVME (Achtung: achtet hier auf den richtigen Namen des Geräts)
• Target auswählen: Ziel NVME (Achtung: achtet hier auf den richtigen Namen des Geräts)
• on-the-fly advanced extra Parameter: "-sfsck" (überspringe checken/repair des Souce FIlesystems)
• Partition table: "k0" (wir wollen die Partitionstabelle unverändert übernehmen)
• Aktion wenn alles fertig ist: "-p choose"
• Dann "Enter" zum weitermachen
• Dann wird da Ziellaufwerk angzeigt und wir werden gefragt, ob wir weitermachen wollen -> Y

Damit startet Clonzilla dann auch schon den Clone Vorgang.

### Clonevorgang:

• Es gab diverse Meldungen das die VG alte Header verwenden würde, und das sie jetzt aktuallisert werden.
• Da PVE die komplette Source NVME mit knapp 1TB belegt hat, wurde diese Block für BLock übertragen.
• Laut der UI lag die Kopiergeschwindigkeit anfänglich bei 4,17GB/Minute und wurde dann mit 3,5GB/Minuten noch langsamer
  • keine Ahnung warum es so langsam ist, ich hätte hier ~ 3GB/Sekunde erwartet...
• In Summe hat die Blockweise-Übertragung knapp 5 Stunden gedauert (!)
  • Mit den erwarten 3GB/s hätte es keine 6 Minuten dauern sollen....

## Nachbehandlung

• Nachdem Clonezilla fertig war, habe ich das System abgeschaltet, den USB-Stick abgezogen, die alte NVME ausgebaut und die neue in den Slot der alten verbaut
• Host wieder anschalten und PVE starten
  • Läuft alles
• Da die Partition von der kleineren 1TB NVME übernommen wurde, musst hier noch etwas getan werden, um die vollen 2TB nutzen zu könne
  • Identizieren der genauen Laufwerksbezeichnung mit lsblk
  • Vergrössern der Daten-Partition mit cfdisk /dev/nvme0n1p3 (das Laufwerk kann bei euch anders heissen)
  • PV Partition vergrössern: pvresize /dev/nvme0n1p3 (hiernach ist die neue Größe in PVE zu sehen, aber der Platz wird noch nicht voll genutzt)
  • Ideentifzieren, wie das LVS/VG genau heisst: lvs
  • Optional: Root Partition vergrößern (hier liegt das OS):
    • lvextend -l +100G pve/root (ihr könnte natürlich auch andere Werte als +100G nehmen)
    • resize2fs /dev/mapper/pve-root (Damit das Filesystem die neue Kapazität kennt)
  • Daten LVS vergrössern: lvextend -l +100%FREE pve/data
    • Hiernach ist die neue Größe in PVE sichtbar und auch für LVM-Thin nutzbar

Nachbetrachtung:
Alles in allem war es unproblematisch, lediglich die lange Zeit zum Clonen der alten NVME auf neue NVME hat um ein vielfaches länger gedauert als erwartet. Ich könnte mir vorstellen, dass es hier evtl Experten-Einstellungen in Clonezilla gibt, die dass verbessern könnten. Vielleicht wäre hier ein anderes Tool auch schneller gewesen.

 

[the other]

Moinsen @Confluencer,
herzlich bedankt für die schicke und übersichtliche Kurzanleitung...das wird (mir) auf jeden Fall helfen, wenn es soweit ist und ein Umzug ansteht. Und ist ja so auch auf andere Systeme übertragbar, neulich hier erst am PC mit Rescuezilla die Partitionen gesichert.

Wobei: aktuell habe ich hier das pve System auf einer ssd (getrennt von den VMs, die aus Gründen auf einer hdd liegen und laufen). Allerdings habe ich unter pve auch kaum Einstellungen abweichend vom default vorgenommen (soweit ich mich erinnere vor allem bzgl Netzwerkeinstellungen und Speicher). Daher: der erste Umzug wird dann versuchweise erfolgen, wenn die ssd gegen 2 ssds getauscht wird, die dann im RAID laufen sollen (mirror). Da werde ich dann aber doch zu einer Neuinstallation greifen, um direkt das RAID einzurichten für das System.

 

[Digedag64]

Nette Anleitung, aber einen Vorschlag zur Ergänzung hätte ich dennoch:

Als Ersatz habe ich eine 2TB NVME besorgt.

An welcher Stelle hast du diese größere SSD denn auf welchen weise ans System gehängt?
Aufgrund von ...

Target auswählen: Ziel NVME (Achtung: achtet hier auf den richtigen Namen des Geräts)

... bzw. ...

Nachdem Clonezilla fertig war, habe ich [...] die alte NVME ausgebaut und die neue in den Slot der alten verbaut

... würde ich vorsichtig spekulieren, dass du die neue SSD entweder in einem anderen Slot stecken hattest oder aber per Adapter und USB-Port ins System eingebunden hattest.

Wieviele VMs lagen denn drauf auf dieser 1TB-SSD?
Ich erwäge "ganz lose" das Installieren und Ausprobieren von Proxmox und für diesen Zweck den Kauf eines Mini-PC (aktueller Favorit: Minisforum MS-A02) mit vielen Kernen und viel RAM für die VMs ...

 

[Confluencer]

An welcher Stelle hast du diese größere SSD denn auf welchen weise ans System gehängt?

Guter Punkt: es ist der zweite Schritt bei "Durchführung" zwischen "alles ausmachen" und "Stick einstecken und booten". Das Mainboard hat 3 Slots für NVMEs. Einer war mit der alten NVME belegt, die neue NVME habe ich in einen Slot gesteckt, der sich keine PCIe-Lanes mit dem anderen Slot teilt.

(Update) Ich konnte den Post noch editieren -> hab es gleich mal oben mit eingetragen (/update)

Wieviele VMs lagen denn drauf auf dieser 1TB-SSD?

Eher albern: Zuletzte waren 4 VMs drauf. In spitzen Zeiten waren es ca. 10. Hab hier häufiger mit Terraform VMs aufgebaut und abgerissen. Von den 1TB waren zuletzt gerade mal 280GB belegt. Eine der VMs ist für knapp 250 TBW von 600 TBW verantwortlich - die hat aber auch extrem viele große kurzlebige Dateien weggeschrieben und dann entsorgt. Bei dem anderen PVE Host mit bauglicher NVME und ähnlichem Alter laufen 12 VMs. Dort sind in Summe 348 TBW bei 5,7 Jahren aufgelaufen.

Ich erwäge "ganz lose" das Installieren und Ausprobieren von Proxmox und für diesen Zweck den Kauf eines Mini-PC (aktueller Favorit: Minisforum MS-A02) mit vielen Kernen und viel RAM für die VMs ..

Hut ab, ist mal ordentlich ausgestattet.

Leistung auf kleinen Raum heisst eigentlich immer laute Lüftergeräusche... Wenn das Gerät irgendwo im Off steht und niemanden nerven kann, dann ist schon gut. Ich hatte mal ein Thinkcenter m920q (inkl 10Gbps Nic), als Proxmox Server im Einsatz -> ich hab ihn am Ende wegen der Lautstärke aussortiert. Die kleinen Lüfter haben bei Volllast ganz schön Lärm gemacht.

 

[Digedag64]

Leistung auf kleinen Raum heisst eigentlich immer laute Lüftergeräusche.

Ja aber - kommt drauf an ;-)
Hab einen Minisforum UM890 hier auf dem Tisch stehen als meinen neuen Arbeits-PC mit Debian, den hörst du nicht

hab es gleich mal oben mit eingetragen

danke, nu isses "rund"