Meine Fragen zu Proxmox...

[the other]

Moinsen,
ich habe von den Themen VM und Docker allgemein nur wenig Ahnung und wenig Erfahrung damit. Aktuell laufen auf dem NAS verschiedene Docker Anwendungen: portainer, heimdall, paperless.

Weil ich das NAS aber eigentlich als reinen Fileserver betreiben will, entstand der Gedanke, diese Dienste auszulagern auf ein Gerät, das dann "nur" noch für solche Dinge dienen soll. Dabei kam mir dann auch mal wieder proxmox unter die Augen. Also schnell auf dem PC mal wieder virtualbox installiert, proxmoxVE als VM fertig gemacht und dort erste Schritte unternommen. Ergebnis: läuft bisher sehr gut und auch komfortabel einzurichten...bisher mal eine Debian12 VM angelegt und etwas rumgespielt mit den Einstellungen für Netzwerk und backup und update. Daher die Idee, dass ich proxmox nutze, um die Dienste vom NAS umzuziehen. Außerdem besteht die Idee, Home Assistant und OMV (als Medienserver im IoT VLAN) in je VMs laufen zu lassen.

Nun fehlt mir aber einfach die Erfahrung mit den Hardwareanforderungen. Daher freue ich mich über ein paar Meinungen, Aussagen, Einschätzungen eurerseits dazu.

Was ich vorhabe:
- proxmox auf eigene hardware
- unter proxmox sollen laufen

• Home Assistant VM
• Debian VM mit docker > portainer, paperless, heimdall...was noch kommen mag
• Alternativ: paperless (und DB) in eigener VM
• openMediaVault als VM (Medienserver im IoT VLAN)
• Debian VM mit unifi controller software
• Container mit pihole als LXC

Ergibt also 4 VMs (ggf 5) und einen Container. Momentan neige ich eher zu mehreren VMs, weil sich damit für mich der gefühlte Verwaltungsaufwand im Betrieb leichter anfühlt, als mit einer VM und zig Containern, die darin laufen. Auch weil ich noch recht frisch bin damit, trenne ich lieber nach VMs, Geht mir mit einer etwas schief, ist der Rest trotzdem noch ok. Auch finde ich so die backups besser zu verwalten. Ich lasse mich da aber auch gerne eines Besseren belehren. Effizienter wäre vermutlich das andere Modell: eine VM, viele Container...

Die meisten Daten (bis auf die Musikdateien für OMV) sollen sich weiter auf dem NAS befinden, nicht auf dem neuen Gerät. Dazu würde ich dann auf dem NAS Freigabe Ordner für proxmox erstellen. bzw bestehende freigeben. Das funktionert ja auch problemlos unter proxmox.
Proxmox soll auf einer ssd laufen, die vms auf einer anderen (eigenen). Das Gerät sollte (mindestens) 2,5 GBit LAN Anbindung haben (gerne auch 2 x)...
Nun könnte ich einfach mal nach den ganzen MiniPCs schauen. Problem dabei: ich habe eben keine Erfahrung, wie leistungsfähig die Hardware für den Dauerbetrieb und flüssiger Anwendung sein muss. Auch liebäugel ich damit, dass sowohl Proxmox als auch die VMs auf je gespiegelten Platten (also 2 x proxmox im Mirror, 2 x VM-ssd im Raid1) laufen, um Redundanz zu schaffen. Da wird es dann mit MiniPCs wieder eng (im wahrsten Sinne).

Meine konkreten Fragen:
welche CPU, wie viel RAM sollten da reichen? Reicht integrierte CPU Grafik? Gleich auf ECC RAM setzen?
Ich bin schon etwas verwöhnt und möchte keine Ruckeleien bei der Bedienung der Anwendungen oder VMs. Auf dem NAS (synology 918+, auf 12 GB RAM erweitert) laufen die Container fluffig, Home Assistant und OMV laufen auf Raspi4 (4GB RAM) Modellen ebenfalls ausreichend fluppig für mich.
Natürlich möchte ich auch die Energiekosten nicht ganz aus den Augen verlieren.

Was wäre also eurer Meinung nach ein guter Kompromiss aus flüssige Leistung für genannte Anforderung und nicht gleich die fette Hardware, die alles kann, aber auch min. 300 Euro Strom im Jahr verbraucht?

 

[blurrrr]

Daher freue ich mich über ein paar Meinungen, Aussagen, Einschätzungen eurerseits dazu.

"Machen", aber ich glaube, von mir hätte auch nix anderes kommen können

und nicht gleich die fette Hardware, die alles kann, aber auch min. 300 Euro Strom im Jahr verbraucht?

Naja, schau Dir mal aktuelle CPUs an, die sind vom Stromverbrauch schon ziemlich sparsam (wenn man jetzt nicht in die "dicke-Server-Ecke" schaut), aber selbst da gibt es die Epyc 4004er Serie und so ein aktueller 4464P hat eine TDP von grade mal 65W (bei 12 Kernen mit HT und einem Boost von bis zu 5,4Ghz), aber jut... kost' halt auch ne schmale Mark (~450-500€), von daher nur "beispielhaft"

Da Du das NAS ja noch hast... Ich persönlich tendiere eigentlich immer zu folgendem Konstrukt: Vernünftiges Board (muss ausbaufähig sein). Initial erstmal Mittelklasse CPU (zu dick zieht i.d.R. auch viel Strom und ist teuer). RAM für den Einstieg würde ich da schon auf 32GB (oder sogar mehr) gehen. Dazu 2 kleine SSDs (ggf. Enterprise-Series zwecks TBW) für das OS im Raid1. Damit hättest Du schon mal ein solides Grundgerüst. Storage-technisch musste halt schauen... Kannst halt noch eine grössere SSD als lokalen Storage dazu packen (oder ggf. auch mehrere), damit es so richtig fluppt und die Backups auf das NAS schieben. Alternativ kannst Du auch erstmal nur das NAS als Storage für die VMs nutzen, aber durch die 1Gbit-Verkabelung bist Du da von der Performance her schon etwas limitiert.

Fraglich ist halt - eigentlich wie immer - das Budget... Wenn Du ein bisschen was auf den Tisch legst, kann man sich da schon was richtig schönes zulegen, was man durchaus etliche Jahre betreiben kann. Alternativ halt die Sparflamme, dann nimmste einfach einen Rechner, schmeisst eine (etwas grössere) SSD rein und jut ist.

Das blöde dabei ist halt, dass es sich mit der Virtualisierung wie mit dem NAS verhält... Du weisst schon was ich meine... Dann ist halt auch - weil es da auch wirklich flüssig laufen kann - auch mal schnell ein Windows-Desktop aufgesetzt und weil man es halt "hat", kriegt das Ding ggf. auch mal eben 4+ Kerne und 8+GB RAM. Hab mir z.B. eine Linux-VM (Desktop) zwecks div. Arbeiten hingesetzt, hat halt auch 4 Kerne und 16GB RAM bekommen (was so ein typischer Bürorechner heutzutage halt so hat).

Mit der Zeit werden sich dann mitunter aber auch noch immer weiter Dinge ansammeln, von denen man - bei NAS-Einsatz - ggf. abgesehen hat. Irgendwann läuft dann soviel Schund auf dem Teil, dass man ohne garnicht mehr Leben kann/will und dann wird es früher oder später Zeit für min. einen 2. Hypervisor und dann simma beim Cluster

Aber mal ernsthaft: Angucken in einer VM ist eine Sache. Bissken mit rumspielen eine andere (da reicht auch "vorerst" ein Rechner mit ein bisschen SSD-Storage (halt einfach eine nicht-winzige SSD rein und jut). Will man das ganze schon "ernsthaft" angehen, sollte man sich da schon durchaus ein paar Gedanken zu machen (auch wenn das ggf. noch ein bisschen zu Lasten der Brieftasche geht).

 

[blurrrr]

Btw wo ich grade selbst dabei bin (VM-Disk-Migration)... kannst natürlich auch erstmal ohne Storage-SSD anfangen und das NAS als VM-Storage nutzen. Wenn dann später die SSD für den Storage im Server/Rechner dazu kommt, kannst Du die virtuellen Disks auch einfach migrieren (alternativ halt, wenn das All-Flash-NAS mit 10Gbit-Anbindung da ist, geht natürlich auch ).

 

[the other]

Moinsen,

"Machen", aber ich glaube, von mir hätte auch nix anderes kommen können

Nö, das war zu erwarten...
Ich bin halt unsicher, wie und ob das später ausgebaut wird und das NAS dann auch mal ablöst.
Falls, dann wäre ich da eher bereit, Geld für hinzulegen.
RAM dachte ich auch an min. 32 GB, eher doppelt. Nur mit der CPU bin ich echt überfragt.
Vermutlich werde ich beim nächsten PC Upgrade eh komplett neu bauen müssen. Dann nutze ich den dann alten einfach mal zum "machen"... dann entstehen nicht gleich wieder Müll und Kosten und ich bekomme mal einen konkreteren Eindruck.
PS. Das nas ist per 2,5 GBit LAN auf USB Adapter angebunden...

 

[blurrrr]

Dann nutze ich den dann alten einfach mal zum "machen"...

Jo, das ist eine gute Idee! Wenn es mal "richtig" zur Sache geht, wird man sicherlich eh direkt auf 10GBit (statt 2,5Gbit) gehen. Irgendwann kommt dann auch das nächste NAS (und hat ggf. schon 10Gbit an Board, oder wird nachgerüstet) und dann fluppt das auch alles (10Gbit primär in Richtung Storage (NAS)). Das schöne dabei ist ja, dass man das alles nach und nach machen kann und nicht sofort voll zuschlagen muss.

 

[the other]

Moinsen,
Ja, wenn (falls) sich das hier etablieren sollte, dann wäre vermutlich beim nächsten NAS Upgrade die Zeit für was eigenes gekommen...proxmox mit vm als nas. Dann aber sicher mit mehr Netzwerk Leistung (ggf gleich sfp+), ecc RAM und als kompletter Ersatz fürs nas.
Dazu dann was kleineres als proxmox backup server. Dann wäre es auch unabhängig von den jeweiligen synology (hardware), qnap (software, os) oder ugreen&Co Nachteilen und Einschränkungen...

Aber erstmal langsam umsteigen. Das mit dem alten PC mach ich so, der hat eh ssd und hdd. 16 GB auch, nur eben ne alte CPU, dafür aber ne Grafikkarte zum durchreichen...mal schauen, was der mit mehr RAM noch so wuppt. Und wenn es dann doch kein nas Ersatz wird, hab ich nicht viel investieren müssen.

 

[blurrrr]

Der Plan hört sich solide an!

 

[Confluencer]

Also ich hab hier neulich einen ThinkCentre m920q MiniPC mit i5-9500T und 32GB ausgemustert. Das Teil hat zwei NVME Slots und sogar einen PCI-E Slot (da steckt gerade eine kurze, halhobe E 10GbE Netzwerkkarte drin). Irgendwann wollte ich das Teil mal in die Bucht stellen, aber ich bin zu faul das alles vorzubereiten. Da lief vorher auch Proxmox drauf.

Kann ich das Teil empfehlen? Nur, wenn es nicht in einem Raum stehen soll, in dem man sich aufhält. Unter lasst nervt der Lüfter so sehr, dass ich das Teil deswegen ausgemustert habe ^^

 

[Confluencer]

Ja, wenn (falls) sich das hier etablieren sollte, dann wäre vermutlich beim nächsten NAS Upgrade die Zeit für was eigenes gekommen...proxmox mit vm als nas. Dann aber sicher mit mehr Netzwerk Leistung (ggf gleich sfp+), ecc RAM und als kompletter Ersatz fürs nas.

Genau mit so etwas habe ich die Büchse abgelöst ^^

Günstiges ASRock Board (irgendwas mit RS) mit i5-13600T + 64GB DDR5-6000 Ram -> hat deutlich mehr wumps! Auf dem Blech läuft Proxmox, TrueNAS Scale mit durchgereichtem SATA-Controller in einer VM. Nachteil bei der Variante: PWM-Lüfter am Laufwerkkäfig des Gehäuses können nicht auf Basis der Laufwerkstemparatur geregelt werden, da Temp-Wert nur in der VM vorliegen, aber die PWM-Steuerung des Mainboards nur auf dem Host-System (hier also Proxmox) möglich ist. Man sollte das Thema Lüfter-Wirkung vs. Lautstärke nicht unterschätzen.

 

[the other]

Moinsen,
Das Teil soll eh im Keller stehen, direkt am hauptswitch angeschlossen. Da ist es auch im Sommer kühl und der Lüfter nervt nicht.

 

[Confluencer]

Falls selberbau-NAS Dein weg sein sollte: Das Silverstone CS382 Gehäuse ist ganz okay

Wenn PWM-Steuerung für dich eh nicht relevant ist, kann man die Lüfter die mit dem Gehäuse kommen volle Pulle laufen lassen -> Laut und Effektiv Das Gehäuse hat Zwei Laufwerkskäfige je 4x3,5", bei denen aber jeweils die unterste Platte nicht optimal im Lufstrom steht, und daher etwas wärmer ist, als die anderen drei Platten in dem jeweiligen Laufwerkskäfig. Im Gehäuse ist auch noch Platz für mehr Platten.

 

[the other]

Moinsen,
ja, das Gehäuse sieht ganz nett aus. Allerdings auch recht groß...na, ein Schritt nach dem anderen und besten Dank für die Empfehlung!

 

[the other]

Moinsen,
so. Heute mal die letzten Basis-Tests ausprobiert...
- setting: PC mit Proxmox unter virtualbox....geht
- Debian12 VM unter proxmox...geht
- IP verändert für die VM...geht
- backup der VM gemacht...geht
- Synology NAS als backup Ziel...geht
- Wiederherstellung der VM vom backup auf dem NAS...geht
Später dann noch unter der Debian VM docker installieren und ein, zwei Container einfügen...damit rumspielen.
Das ist erst einmal soweit alles i.O. Damit wäre dann die 1. Testphase auch fast abgeschlossen...

Also jetzt mal etwas konkreter um einen neuen PC kümmern, den alten (jetzt laufenden) dann als reine proxmox Maschine aufsetzen. Und weiter probieren.
Was ich dann noch versuchen werde:
- proxmox Maschine mit den hier aktuellen VLANs vertraut machen.
Ziel ist dabei, dass ich virtuelle Interfaces (je nach VLAN Zugehörigkeit) dann den jeweiligen VMs zuordne. Wenn das dann auch klappt (und das sollte es nach allem, was ich bisher so gelesen habe, recht einfach)...Testsystem einrichten und weiter Szenarien ausprobieren. Wenn das dann auch klappt...langsam was "Echtes" einrichten und Erfahrungen sammeln...
Ich sag Bescheid, wie es dann so läuft (oder auch nicht).

 

[blurrrr]

Das mit den VLANs ist recht einfach... Solange der Switchports die VLANs als "tagged" intus hat, kannst Du bei der virtuellen NIC unter PVE einfach die VLAN-ID angeben und jut ist.

 

[the other]

Moinsen,
ja.
Es gibt wohl zwei Wege, das umzusetzen:
1. mit einer VLAN-aware bridge, das VLAN-Tag wird dann in der VM gesetzt. Oder aber
2. benötigte virtuelle Interfaces (LINIX-Vlan) anlegen, für diese dann je eine (VLAN-unaware) bridge, für die VM diese bridge wählen

Der erstere erscheint natürlich easy und schnell umzusetzen, der andere dafür irgendwie...schöner. Also für zB Interface eno1 > eno1.10 (VLAN10), eno1.20 (VLAN20) usw. Damit könnte ich dann doch auch diejenigen VLANs ausnehmen, die mit proxmox eh nüscht zu tun haben, oder?
Naja, Zukunftsprobleme, erst mal den neuen PC anschaffen (und vorher Geld).

 

[NorbertHH]

Also als kleiner und einfacher Virtualisierer reicht ein Mini-PC ohne Lüfter, der für 24x7 Betrieb ausgelegt ist. Ein Beispiel wäre dieser hier mit einer Intel J6412 CPU (4Kerne), die ist völlig ausreichend
https://eu.protectli.com/product/vp2420/
mit 16 Ram und einer 500GB - 1TB M2 NVMe Disk, evtl. noch eine 2,5“ SSD, 32GB Ram wirst Du sehr wahrscheinlich für deinen Krams nie brauchen.

Hier läuft PVE und entweder Docker im LXC oder eine kleine VM für Docker, 1GB Ram und 20-30GB Disk sind mehr als genug für eine solche VM. Bei einer VM ist die Sicherung und das Restore der Container etwas einfacher, dafür ist es dann halt immer die ganze VM…

Ferner hast Du 4x 2,5Gbit Netzwerk, da kannst Du segmentieren bis der Arzt kommt…

VG Norbert

 

[blurrrr]

Ein bisschen aufgestockt ist das Ding aber nicht grade "günstig"... mit 32GB RAM und 1TB SSD liegt man da auch schnell über 700€. Da wäre man meiner Meinung nach schon wesentlich besser mit z.B. einem Minis Forum UM690 Pro beraten... Mehr RAM, wesentlich flottere CPU, für unter 600€. Allerdings sind beide nicht wirklich großartig erweiterbar... Heisst für mich dann doch eher: pro Eigenbau, da bekommt man auch "genau" das, was man haben möchte (und auf Upgrade-Möglichkeiten kann man dabei auch 3 Augen haben).

 

[NorbertHH]

Ich weiß ja nicht, was Du da gerechnet hast, ich komme bei 32GB RAM und 1TB M2-SSD auf knappe 592,- Euro und Du kannst dann immer noch ne 2,5" SSD dazubauen, wenn Du willst... Ferner ohne Lüfter und für Dauerbetrieb (24x7) geeignet...

 

[the other]

Moinsen,
naja, ich denke, dass es schon mindestens 1 x Speicher für PVE und 1 x (getrennter) Speicher für die VMs werden sollen > dann sind wir bei ca 710 Euro (mit 32 GB RAM).
Ist aber (hier) auch erstmal vom Tisch, da eh der PC komplett neu aufgebaut werden wird (und die "alten" Teile dann für den PVE dienen, als Einstieg).
Da hab ich dann erstmal genug Power zum Rumspielen, ne RAM Erweiterung kann ich immer noch einbauen (aktuell 16 GB).
Wenn ich dann immer noch begeistert sein sollte, dann werde ich wohl eh tendieren zu 2 x PVE Speicher als RAID/Mirror sowie 2 x VM Speicher (ebenso). Zumindest plan heute. Das alte PC Gehäuse bietet genug Platz, um dann noch zur Not eine 2. Netzwerkkarte einzubauen. Als Versuchsgerät mehr als ausreichend für meine Ansprüche...

 

[blurrrr]

@NorbertHH Ich guck nochmal eben...

Ok, denke ich hab den springenden Punkt gefunden:

Also Grundpreis sind 309€ (netto)
+32GB RAM (89€ netto)
+ 1TB M2-SSD (99€ netto)
+ 1TB QVO-SSD (105€ netto) <-

Sind insgesamt dann 716,38€ brutto, die zusätzliche SSD wird es gewesen sein . Allerdings würde ich da auch keine QVO nehmen... Ich mein, grundsätzlich wäre eh zwischen 3x Storage zu unterschieden: OS (das am besten auch solo), flotter Speicher (VM-OS), langsamerer Speicher (Daten). Typisches Beispiel hab ich hier auch an der Workstation: OS M.2-SSD, Daten SATA-SSD, wobei man bei der Virtualisierung auch sicherlich noch Einsatzzwecke für den HDD-Betrieb hat (deswegen sollte das Grundgerüst - meiner Meinung nach - auch nicht zu wenig Platz bieten).

Ist aber auch eigentlich wurscht, @the other hat ja nun erstmal seinen Plan stehen und bis dann "irgendwann" "vielleicht" mal wirklich etwas zu diesem Zweck angeschafft wird, sieht die Hardware-Landschaft vermutlich schon wieder ganz anders aus