Confluencer
Active member
Ich möchte hier meine Erfahrungen teilen, die ich beim Maiboard-Tausch mit einem meiner Proxmox gemacht habe. Er ist Teil eines 3 Knoten Proxmox-Clusters.
Ursprünglich war ein Intel Xeon E3-1275x5 Board im Rechner, dass ich jetzt gegen ein Ryzen 7 7700 ausgetauscht habe. Die Boot NVME und einen zusätzlichen SATA-Controller habe ich ebenfalls übernommen. Auf dem Host ist eine NAS-VM, an den der SATA-Controller via PCI(e)-Passthrough durchgereicht wird.
Natürlich habe ich keinerlei Vorbereitungen gemacht und einfach nur Mainboard/CPU/RAM getauscht und die NVME und den SATA-Controller verbaut und mich von Problem zu Problem gehangelt.
Generell
1. PVE Node nach Boot nicht übers Netzwerk erreichbar.
2. Unwirksame Grub-Parameter für Intel-Iommu
PCI(e)-Passthrough
3. Direkt nach dem Boot wirf PVE Buffer I/O Error und re-mounted das Root-Filesystem Read-Only
4. NAS VM mit PCIe-Passthrough führt zu merkwürdigen Verhalten: Eine der Netzwerkkarten ist plötzlich inaktiv und alle Geräte die an der Bridge hingen nicht mehr erreichbar, sodass der PVE Node plötzlich nicht mehr Teil des Clusters war
Gerade die Probleme mit PCI(e)-Passthough haben mich etliche Stunden gekostet und wären mit Vorbereitung vermeidbar gewesen.
Ursprünglich war ein Intel Xeon E3-1275x5 Board im Rechner, dass ich jetzt gegen ein Ryzen 7 7700 ausgetauscht habe. Die Boot NVME und einen zusätzlichen SATA-Controller habe ich ebenfalls übernommen. Auf dem Host ist eine NAS-VM, an den der SATA-Controller via PCI(e)-Passthrough durchgereicht wird.
Natürlich habe ich keinerlei Vorbereitungen gemacht und einfach nur Mainboard/CPU/RAM getauscht und die NVME und den SATA-Controller verbaut und mich von Problem zu Problem gehangelt.
Generell
1. PVE Node nach Boot nicht übers Netzwerk erreichbar.
- Ursache: im neuen Board laut die Network Device Names anders.
- Lösung: Network Device Names in
/etc/network/interfacesanpassen und dann mittelsifreload -ascharfschalten- Die neuen Device Names habe ich mit
ip aunddmesg | grep "{device name}"identifziert.
- Die neuen Device Names habe ich mit
- Lesson Learned: Muss jeder machen nach einem Mainboard-Tausch; kann nicht vorbereiten werden.
2. Unwirksame Grub-Parameter für Intel-Iommu
- Ursache: Faulheit
- Lösung: Einstellung in
/etc/defaults/grubentfernen, und dann mittelsupdate-grubübernehmen. - Lesson Learned: Hätte man vorbereiten können.
PCI(e)-Passthrough
3. Direkt nach dem Boot wirf PVE Buffer I/O Error und re-mounted das Root-Filesystem Read-Only
- Ursache: Das PCI(e)-Passthrough der NAS-VM hat das Problem verursacht, sobald die VM gestartet wurde, da die Device-ID jetzt nicht mehr richtig ist.
- Lösung: Auf einem der anderen Nodes in
/etc/pve/nodes/${nodename}/qemu-server/${vmid}.confOnboot deaktivieren, danach erst den entsprechenden Node booten. Die Einstellungen werden aus dem verteilten Config Folder übernommen. Nach dem Start des Nodes kann man über die UI an der ausgeschalteten VM die Device-ID konfigurieren. - Lesson Learned: In Vorbereitung hätte vor dem Umbau des Mainboards "onboot" für die VM ausgeschaltet werden müssen!
4. NAS VM mit PCIe-Passthrough führt zu merkwürdigen Verhalten: Eine der Netzwerkkarten ist plötzlich inaktiv und alle Geräte die an der Bridge hingen nicht mehr erreichbar, sodass der PVE Node plötzlich nicht mehr Teil des Clusters war
- Ursache: die Iommu Group der Netzwerkkarte und des SATA-Controllers waren identisch. Interessanterweise war Iommu im Bios des Ryzen Boards scheinbar nicht aktiviert?
- Lösung:: Iommu und alles wovon die Aktivierung abhängt aktivieren
- Lesson learned: Ich hätte im Bios des Ryzen Boards vorab genauer danach schauen müssen.
Gerade die Probleme mit PCI(e)-Passthough haben mich etliche Stunden gekostet und wären mit Vorbereitung vermeidbar gewesen.
Zuletzt bearbeitet:
