proxmox: ssd? hdd? RAID1? Consumer vs. datacenter Platten?

[the other]

Moinsen,
ich spiele gedanklich immer wieder mal den Aufbau eines proxmox Servers durch...
In diversen Beiträgen im Netz wird berichtet, dass bei der Wahl des Speichers für proxmox (VMs auf separaten Platten)...
...a) zu ssds gegriffen werden soll (weil fluppiger als hdd)
...b) diese ssd(s) dann möglichst im RAID (1, MIrror) laufen sollte( n)
...und c), dass hier nach Möglichkeit KEINE consumer Platten genutzt werden sollten (für den produktiven Einsatz), sondern (wegen der hohen Schreiblast und der damit verbundenen Belastung) eher zu datacenter Platten gegriffen werden sollte.

Frage:
- nutzt ihr ssds oder hdds für proxmox selber?
- welche datacenter ssd (Kapazität so ca. 200 bis 500 GB) ist da wohl zu empfehlen? Muss es "ganz professionell" sein? Reichen zb WD Ultrastar?
- habt ihr Empfehlungen für (bezahlbare) datacenter ssds?

Danke für den Input...

 

[blurrrr]

- nutzt ihr ssds oder hdds für proxmox selber?

Sowohl als auch aka "Kommt darauf an..."

- welche datacenter ssd (Kapazität so ca. 200 bis 500 GB) ist da wohl zu empfehlen?

Das ist wohl eher eine Sache der persönlichen Vorlieben.

Die Frage wäre initial erstmal: Willst Du alles "beisammen" haben, oder "getrennt"? Ich lasse das OS i.d.R. im Raid1 laufen (SATA-SSD (Enterprise)) und die VMs halt "je nachdem". Fakt ist erstmal, dass die besseren Platten auch relativ vernünftige Werte (Preis/Leistung) haben, was die Datenübertragung angeht (200-250MB/s sind da schon drin). Wesentlich problematischer sind hier die IOPS. Nun kommt es aber auch auf das zu virtualisierende an. Wenn es nur um Applikationen geht (und garnicht mal so sehr um Speicherplatz), dann ist die Tendenz klar in Richtung SSD. Frage wäre hier allerdings, was es denn da nun sein darf (SATA, M.2, U.2, U.3). U.2 und U.3 sind etwas neuer, haben eine brachiale Leistung bzgl. der IOPS (1+Mio) und sind eher was für den Enterprise-Sektor, wobei man sich sowas auch schon mit ein paar Kleinteilen in einen Desktop packen kann, meiner Meinung nach aber für Zuhause deutlich oversized.

Die M.2-SSDs haben für mich i.d.R. viel zu geringe TBW-Werte, für Zuhause könnte sowas aber auch passen (da gibts auch mehr Durchsatz und IOPS (PCIe) als mit den SATA-SSDs). Wenn auf einer SSD gleichzeitig zig VMs rumrödeln, können diese schon mal vorzeitig das zeitliche segnen, gleiches gilt für die Consumer-SATA-SSDs. Die Enterprise-SSDs (je nach Workload - "read-intensive" oder "mixed-use" - letztere sind dann etwas kleiner vom Speicher) bieten zumindestens in der mixed-use-Variante eine wesentlich höhere TBW. Allerdings - wer hätte es gedacht - kosten die halt auch entsprechend.

- habt ihr Empfehlungen für (bezahlbare) datacenter ssds?

Naja... "schwierig"... kommt wohl auf die Definition von "bezahlbar" an Vor allem wäre die grundsätzliche Fragen sowieso erstmal, wieviel (lokalen) Speicherplatz Du überhaupt angedacht hast. Ich persönlich setze seit Jahren nur auf Intel bzgl. der Enterprise-SSDs, zuletzt gekauft habe ich ein paar D3-S4620 in der 3.84TB-Variante, kostet allerdings auch einen schmalen Taler.

Auf der anderen Seite... Es "muss" ja auch kein Enterprise sein. Denke irgendwas vertretbares "günstiges" (wo die Werte halt nicht total unterirdisch sind) sollte ja auch passen (vor allem, wenn nicht superviel läuft/rödelt). Dann halt die SMART-Werte im Blick behalten und ruhig vorzeitig tauschen. Wenn es nicht eilt und ggf. ein Tag Verlust auch egal ist... Dann ist es auch egal... Ab in den nächsten Mediamarkt (oder so), neue SSD holen, einbauen, Backup zurückspielen, fertig.

Frage wäre wohl grundsätzlich erstmal, was Du "zwingend" an Storage brauchst und was "on top" soll für Spielkram (bissken Reserve schadet ja auch nie). Also insofern wäre erstmal zu schauen, wie der konkrete Platzbedarf aussieht, dann schauen, was definitiv dort laufen soll + Spielwiesenplatz + ein bisschen Reserve.

Dazu halt noch die Frage, ob das ganze auch im Raid1 laufen soll (kostet ja auch direkt mal das doppelte)...

Mal so "ganz alternativ" gäbe es natürlich auch noch die Möglichkeit, dass Du in Dein NAS 4x Enterprise-HDDs wirfst, dem ganzen 10Gbit verpasst und das NAS als Storage für den PVE-Host nutzt. 10G wirst Du da sicherlich nicht voll ausreizen können, aber so ganz ohne ist es ja auch nicht. Allerdings sind die IOPS dann wieder so ein Thema, von daher ist das NAS im aktuellen Zustand vielleicht auch eher für Backups der VMs geeignet.

Wenn Du die Möglichkeit hast mehrere M.2-SSDs zu verbauen (oder halt das OS einfach auf eine kleine SATA-SSD), dann käme evtl. z.B. eine Samsung PM9A3 in Frage, als M.2-Variante (PCIe 4.0), 1.92TB und preislich so um die 350€ (1TB liegt noch immer bei ~200€). Alternativ eine Samsung PM893, die gibt es aber (glaube ich) nur in der SATA-Variante.

Ist halt auch die Frage, worauf Du mehr Wert legst: Geschwindigkeit oder Beständigkeit. Powerloss-Protection wäre ggf. auch noch so ein Thema (wenn man möchte, je nach use-case).

Bevor man hier also irgendwas als Empfehlung "raushaut", würde ich mal sagen: Bedarf definieren, Workload ebenso (ganz grob), dann kann man weitersehen Vielleicht - bei regelmässigen Backups - tut es auch eine ganz schnöde Consumer-SSD und falls es eng wird, holt man einfach eine zweite dazu

 

[blurrrr]

Kleiner Nachtrag: Man könnte es halt auch erstmal mit einer Consumer-SSD versuchen und schauen, wie lange das Ding dann läuft. Im Zweifel einfach rechtzeitig austauchen und erst garnicht auf den großen Crash warten. Die ausgetauschte SSD kann man dann für weniger anspruchsvolle Dinge nutzen bzw. als "ich installier einfach mal zig Dinge um zu gucken". Wenn die dann irgendwann das zeitliche segnet, war wenigstens nichts wichtiges mehr drauf

 

[the other]

Moinsen,
vielen Dank für deinen Input dazu!
Aktuell fange ich ja gerade erst an, soll meinen: noch keine Ahnung, wo die Reise hingeht...
Denkbar ist alles von "brauch ich doch nicht" bis zu großer Spielwiese, "MEHR!"
Daher kommt es aktuell auch weniger auf konkrete Dinge an, eher auf Eindrücke, gerne Erfahrungswerte ("consumer ssd rennt seit Jahren top" oder auch "auf keinen Fall consumer bei mehr als 2 VMs"

Was ich später machen werde, wie hoch dann die Belastung ist...kann ich konkret nicht abschätzen daher. Aber über die Bedeutung von "robusten" ssds für proxmox bin ich nun so oft gestolpert, dass ich hier mal nachfragen wollte, wie die Erfahrungen und Einschätzungen so sind.

Am Wochenende habe ich erst einmal den alten PC mit proxmox aufgesetzt, die Netzwerkeinstellungen konfiguriert, die alte 1 TB hdd als lokalen Speicher eingebracht (partitionen für .isos, VMS, storage). Proxmox selber rennt auf der alten 500 GB ssd (nix Consumer, mal sehen...)
Außerdem versuchsweise shares auf dem NAS in proxmox eingebunden und noch auf der Synology proxmoxbackupserver als VM installiert und mit dem proxmox server verbunden.
Das läuft soweit auch geschmeidig...
Als VM ein paar Debian Versionen ausprobiert, aktuell lediglich eine VM (mit bookworm und docker). Da soll dann die Spielwiese für docker rein.
Ggf. später eine VM für Home Assistant (und weg vom Raspi vielleicht).
Dann die OPtion immer mal "schnell" ein oder zwei VMs anzuwerfen für Trial dies und Error das oder auch um Dinge mal nachzustellen (also als Labor).
Und wenn das alles mal so sein sollte, dann...(und wenn Synology bei ihrer Produktpolitik der letzten Jahre bleiben sollte)...vielleicht auch irgendwann mal den Umstieg wagen und zB True NAS machen.

Und auch das nutzt ZFS (was für mich total ungewohnt ist) und hat dementsprechend eben auch wieder ein Mehr an Belastung für die Hardware zu erwarten.

Und wenn DAS dann erledigt ist, dann willste ja proxmox vielleicht auch selber lieber voll auf ZFS fahren lassen...und dann noch ECC RAM...und...

Du siehst: aktuell wenig konkret, eher Kind in der Bonbon Bar mit großen Augen.
Dank dir für deine Einschätzungen also...über die sch§$%" teure Intel ssd bin ich gestern Abend auch schon gestolpert Geile Werte, viel Geld (und ja, wenn dann im Mirror, also mal 2)...

 

[blurrrr]

partitionen für .isos

Sowas hab ich immer extra liegen (z.B. auf dem NAS, wobei der ISO-Ordner bei mir auch den meisten Platz verbraucht- sonst müsste ich im Falle eines Crash ja den ganzen Ranz neu runterladen... )

Naja, der Punkt ist halt: Je mehr rumrödelt, desto höher der Verschleiss. Ich bin halt eher der Typ, der nicht 1-2x im Jahr Stress hat, nur weil die ollen Consumer-Teile wieder durch sind und getauscht werden wollen. Einbauen, laufen lassen und für ein paar Jahre Ruhe haben (wenn nix grob dazwischen grätscht)... so zumindest der "theoretische" Plan Bisher ist aber auch noch nix passiert, also alles recht entspannt... (aber halt auch die teuren Intel-Dinger).

Frage ist halt auch erstmal: Was brauchste und was willste ausgeben? Ja ich weiss, ist blöd, weil - wie immer - für ein paar Euro mehr...

 

[the other]

Moinsen,

Sowas hab ich immer extra liegen

I hear you...wenn ich schon das Heimnetz segmentiere...war ja zu erwarten. Bin ein großer Freund von geordneten Strukturen...
Ist bei mir eben erstmal die olle hdd geworden (liegen ja eh noch auf dem PC, die .isos), auch um mal auszuprobieren, wie es sich mit hinzufügen von Speicher unter proxmox so verhält...und Partitionierung unter proxmox, also eher eine Lernaufgabe / zum Eisbrechen...

Ich bin halt eher der Typ, der nicht 1-2x im Jahr Stress hat, nur weil die ollen Consumer-Teile wieder durch sind und getauscht werden wollen. Einbauen, laufen lassen und für ein paar Jahre Ruhe haben (wenn nix grob dazwischen grätscht)... so zumindest der "theoretische" Plan

Und wieder...danke für die Bestätigung Sehe ich ebenso, einmal ran, dann richtig, dann Ruhe und nutzen. Deswegen eben überhaupt die Frage hier...
Viel laufen wird eh erst (wenn überhaupt) später mal. Also mache ich die ersten Schritte (backups gehen ja und am proxmox hostsystem selber sind nun auch nicht 100 Einstellungen vorgenommen bisher) estmal mit der alten hardware...bis es dann mal soweit ist.
Dann (je nachdem was da so bis dahin genutzt und passiert ist) kann ich immer noch schauen, was der Geldbeutel dann so hergibt. Die Intel werden es wohl nicht (ist hier ja auch "nur" Heimnetz!), aber tendenziell aus dem Bauch schon etwas in eher dieser Richtung (aber 2 x über 700 Ocken nur für ssds...och nö. Da versuche ich vermutlich erstmal etwas darunter...).

 

[blurrrr]

also eher eine Lernaufgabe / zum Eisbrechen...

Alles gut, ich würde zum "testen" sowieso erstmal nix anderes machen

Die Intel werden es wohl nicht (ist hier ja auch "nur" Heimnetz!), aber tendenziell aus dem Bauch schon etwas in eher dieser Richtung (aber 2 x über 700 Ocken nur für ssds...och nö. Da versuche ich vermutlich erstmal etwas darunter...).

Völlig verständlich, würde ich privat auch nicht machen Dann wären es halt kleinere und ich müsste etwas geiziger bei den vDisks sein Aber mal im Ernst... Weiss ja nicht, was Du diverses laufen lassen willst, aber Speicher"platz"... ist schon ein Thema für sich: Man neigt gerne dazu "ausreichend" zu dimensionieren, dabei ist es oftmals "viel" zuviel. Beispiel Pi-Hole: Ich bin mir ziemlich sicher, dass irgendwas um 20GB (oder weniger!) vollkommen ausreichend ist. In der Doku heisst es:

Hardware​

Pi-hole is very lightweight and does not require much processing power

• Min. 2GB free space, 4GB recommended
• 512MB RAM

Da kommt man mitunter schon mit 10GB Disk aus. Wieviele 10G-Disks passen in 1TB? Nun könnte das ggf. schon "knapp" sein, von daher ggf. einfach 20GB oder 25GB. Reicht dicke und passt 40x auf 1TB. Es wäre vielleicht ratsam, wenn man erstmal etwas kleiner kalkuliert (1-2TB und ruhig Consumer - vllt nicht das allerbilligste). Du kennst es vom NAS und von der Firewall... einmal angefangen... geht's erst richtig los... Von daher vielleicht erstmal sachte anfangen, sich ein bisschen rantasten und irgendwann bricht sowieso das Ausprobier-Tier in Dir aus (einfach nur, weil Du die Möglichkeiten hast und es flott geht) und schwupps ist noch dies und das und jenes da. Ist halt wie schon beim NAS - klein anfangen und wenn man dann "wirklich" weiss wohin die Reise geht... Weisst scho...

Davon ab... eine kleinere günstige SSD kann man sicherlich auch nochmal irgendwo anders gebrauchen, von daher ist das dann ja auch nix zum entsorgen und vielleicht hat das Ding (wenn ich das bei Dir richtig in Erinnerung habe) ja vielleicht sogar noch ein paar gute Jahre in der Playstation oder so

 

[Confluencer]

Ich betreibe in meinem Homelab 3 PVE Node mit handelsüblichen Samsung NVMEs.

Hier wird @blurrrr gleich mit dem Kopf schütteln:
Auf den NVMEs lasse ich sowohl Proxmox, als auch die VMs laufen. Gerade bei PVE2 erkennt man, dass da etwas extrem schreibintensives drauf läuft.

PVE1:

• Samsung SSD 970 EVO Plus 1TB
• Available Spare: 100%
• Available Spare Threshold: 10%
• Percentage Used: 33%
• Data Units Written: 665,934,062 [340 TB]
• Power On Hours.: 49280 (~5,6 Jahre)

PVE2:

• Samsung SSD 970 EVO Plus 1TB
• Available Spare: 100%
• Available Spare Threshold: 10%
• Percentage Used: 67%
• Data Units Written: 1,163,561,604 [595 TB]
• Power On Hours: 51419 (~5,8 Jahre)

PVE3:

• Samsung SSD 980 PRO with Heatsink 2TB
• Available Spare: 100%
• Available Spare Threshold: 10%
• Percentage Used: 4%
• Data Units Written: 44,771,545 [22.9 TB]
• Power On Hours: 4978 (~0,56 Jahre)

Interessant ist, dass laut Hersteller die 970 EVO Plus 1TB ein Schreibvolumen (TBW) von 600TB hat, smartctl aber behauptet die Lebensdauer der NVME in PVE2 wäre zu 67% verbraucht (100% wären dann ~888TB). Wenn man die "Data Units Written" mit der Blockgröße von 512 Multipliziert ergibt der TB Wert in den eckigen Klammern Sinn.

Laut Herseller hat die 980 PRO 2TB ein Schreibvolumen (TBW) von 1200TB.
Laut Herseller hat auch 990 PRO dasselbe Schreibvolumen (TBW) wie die 980 PRO.

Ich werde mir wohl gleich mal 990 PRO bestellen und die eine 970 EVO Plus damit die Tage durchtauschen.

Selbst im Raid1 wären hier die Kosten noch "überschaubar" im Vergleich zu den Enterprise NVMEs.