Modularer Proxmox-Cluster mit dynamischer Dienstverlagerung

[Laie0815]

Hallo zusammen,

Ich bin Laie und ganz neu hier.
Bin bei Youtube über das Thema kleine, effiziente Streaming Server auf Proxmox Basis gestoßen. So ein Ding wollte ich mir auch bauen. Die Brocken sind teilweise schon geliefert, teilweise noch in der Post.

Hier ist die Ausgangslage:
Ich wohne mit meinem Sohn zusammen und beide haben wir einen Gaming PC. Meiner etwas fetter, seiner nicht ganz so.
Seine RX 7600XT reicht für vieles aber nicht alles. Manche Games hat er lieber von meinem PC gestreamt, um 4k und hohe Details spielen zu können. Mein Rechner war dann natürlich für mich nicht mehr verfügbar.
So kam mir die Idee auch meinen fetten PC auf Proxmox zu stellen und als zentrale Gaming Macht allen in der Wohnung (und darüber hinaus) zur Verfügung zu stellen. Es müsste nur noch ein PC up-to-date gehalten werden und die Ringtausche von Komponenten gehören der Vergangenheit an. Und schlanke, cleane Desktops mit Thin Clients würden zukünftig reichen.
Und für den Fall, dass der Dicke eh läuft, kann er auch dem kleinen Bruder unter die Arme greifen.
Wenn wir schon dabei sind, warum nicht erst mal das Netzwerk von 1Gbit aufbohren auf 2.5Gbit? Gesagt getan.
Dann war ich über VLANs gestolpert und fand die Idee einer logischen Netzwerksegmentierung nach Geräteklassen charmant. Leider sind meine drei Fritzrepeater6000 nicht VLAN fähig. Sie werden ersetzt durch 3 Asus APs mit VLAN.
Da ich ohnehin schon ein Balkonkraftwerk mit Ecoflow Stream System sowie eine Delta 3 Plus fürs Camping habe, warum nicht das Netzwerk ausfallsicher für den Brown- oder Blackout machen? Die Delta 3 kann das mit einer Umschaltzeit unter 10ms. Muss den Kram da ja nur dranstecken.

<KI-generierter Inhalt moderativ entfernt>

Hintergrund der Zwei-Server Strategie ist einfach der Strompreis. Den fetten Klops lässt niemand 24/7 laufen. So habe ich alle Grundfunktionalitäten immer verfügbar. Wenn Leistungsmäßig mal die Sonne aufgehen soll, ist das Problemlos möglich, ohne die Bank zu sprengen - auch von unterwegs.
Klar bei Stromausfall geht das Deckenlicht aus. Aber schön zu wissen, dass man theoretisch in der Zeit prima zocken kann und das ganze Netzwerk unbeeindruckt weider rödelt.

Wie findet Ihr das Konzept? Wo seht Ihr Schwierigkeiten?
Habe ich gravierende Schnitzer gemacht, in meinem naiven Glauben an die Umsetzbarkeit?


Danke Laie0815

 

[blurrrr]

Hi,

Manche Games hat er lieber von meinem PC gestreamt, um 4k und hohe Details spielen zu können.

du meinst irgendeine Software, welche dann auf einer VM auf dem PVE-Host läuft? Steam bietet sowas ja (meine ich) auch an. Das Problem wird dann aber vermutlich sein, dass immer nur eine Person gleichzeitig streamen kann. Welche Software wolltest Du diesbezüglich denn einsetzen?

Es müsste nur noch ein PC up-to-date gehalten werden

Je nachdem, wenn beide spielen wollen, muss die CPU auch beide VMs bedienen können und jede VM bräuchte ihre eigene Grafikkarte (ausser man setzt auf vGPU, was aber auch nicht jede Grafikkarte unterstützt), wobei da allerdings die Ressourcen auch wieder geteilt werden).

Wenn wir schon dabei sind, warum nicht erst mal das Netzwerk von 1Gbit aufbohren auf 2.5Gbit? Gesagt getan.

Ist auf jeden Fall nicht nicht verkehrt.

Dann war ich über VLANs gestolpert und fand die Idee einer logischen Netzwerksegmentierung nach Geräteklassen charmant. Leider sind meine drei Fritzrepeater6000 nicht VLAN fähig. Sie werden ersetzt durch 3 Asus APs mit VLAN.

Denke daran, dass "alle" beteiligten Kompontenten mit VLANs umgehen müssen. Wenn Du zu den 3 APs noch einen Router hast - welcher klassischerweise die Gatewayrolle intus hat und div. Funktionen zur Verfügung stellt (z.B. DHCP+DNS) - muss dieser auch VLAN unterstützen. Alternativ machen die APs ihr eigenes Netz auf, nur dann hast Du Dein primäres LAN und halt noch die extra Netze auf den APs (welche dann aber wiederum auch durch das LAN müssen).

Habe ich gravierende Schnitzer gemacht, in meinem naiven Glauben an die Umsetzbarkeit?

Umsetzbar ist vieles, ist aber auch immer die Frage, wie praktikabel sowas dann ist. Einfach nur "Thinclient" + Server ist bei 2 Personen schon etwas heftig. Thinclient kann man machen, aber wenn der Server "nur" beim spielen genutzt werden soll, müssten die Thinclients halt auch nicht ganz so "thin" sein, da anderweitige Applikationen halt auch div. Ressourcen brauchen.

Wenn es denn wirklich um 2 gleichzeitig laufende Games inkl. Streaming geht... vielleicht hast Du ja noch ein Testgerät (als Thinclient). Irgendwas als Platte mal in Deinen Rechner gepackt, PVE installiert (ggf. vorher die eigentliche Platte abklemmen, damit auch sicher nichts passiert), Dein Wunschsetup mal hochziehen und dann mal mit beiden Clients testen.

Alles was so auf dem Papier steht, oder was die KI durch die Gegend fantasiert (wie ich der "moderativ entfernt"-Zeile entnehme) - alles schön und gut, aber was zählt ist die Praxis, von daher würde ich es einfach mal ausprobieren

 

[Laie0815]

Vielen Dank schon mal. Das sind alles gute Einwände, die sich hoffentlich ausräumen oder lösen lassen.

du meinst irgendeine Software, welche dann auf einer VM auf dem PVE-Host läuft? Steam bietet sowas ja (meine ich) auch an. Das Problem wird dann aber vermutlich sein, dass immer nur eine Person gleichzeitig streamen kann. Welche Software wolltest Du diesbezüglich denn einsetzen?

Bisher ging es per Steam Link. Unter Proxmox bin ich absoluter Neuling, habe aber gesehen, dass wohl mehrere Möglichkeiten des GPU Sharing gibt (Auf VM Ebene wohl vGPU von Nvidia und auch von Intel gibt es was sowohl für diskrete als auch iGPU).
Unter Proxmox direkt kann man wohl LCX Containern Teile der GPU/iGPU zuteilen und so mehrere gleichzeitige Streams an verschiedene Clients zu ermöglichen. Prinzipiell geht es wohl.

Je nachdem, wenn beide spielen wollen, muss die CPU auch beide VMs bedienen können und jede VM bräuchte ihre eigene Grafikkarte (ausser man setzt auf vGPU, was aber auch nicht jede Grafikkarte unterstützt), wobei da allerdings die Ressourcen auch wieder geteilt werden).

Ja, um das Teilen und Zuteilen von Ressourchen kommt man wohl nicht herum. Wenn man aber sieht, wie eine i5-6500 nur mit der iGPU 4 Streams gleichzeitig transcodiert, mache ich mir um die i5-14500T erst mal weniger Sorgen. Die RTX3050 gibt es ja auch noch. Der 24/7 Streaming Server soll ja ohnehin nur das für unterwegs taugliche 1080p streamen. Erst wenn der Bedarf darüber hinaus geht würde der GPU Server unterstützen um seine Laufzeit in Grenzen zu halten. So zumindest die Idee.

Denke daran, dass "alle" beteiligten Kompontenten mit VLANs umgehen müssen. Wenn Du zu den 3 APs noch einen Router hast - welcher klassischerweise die Gatewayrolle intus hat und div. Funktionen zur Verfügung stellt (z.B. DHCP+DNS) - muss dieser auch VLAN unterstützen. Alternativ machen die APs ihr eigenes Netz auf, nur dann hast Du Dein primäres LAN und halt noch die extra Netze auf den APs (welche dann aber wiederum auch durch das LAN müssen).

Das Router Update war mein erster Schritt. Der Tenda TEM2010X kann das. Weitere Router sind bisher nicht vorgesehen.

Umsetzbar ist vieles, ist aber auch immer die Frage, wie praktikabel sowas dann ist. Einfach nur "Thinclient" + Server ist bei 2 Personen schon etwas heftig. Thinclient kann man machen, aber wenn der Server "nur" beim spielen genutzt werden soll, müssten die Thinclients halt auch nicht ganz so "thin" sein, da anderweitige Applikationen halt auch div. Ressourcen brauchen.

Gut, der Thin Client oder gar das Handy wie in meinem Entwurf ist nicht so asketisch wie es aussieht. Wenn per Moonlight Client wahlweise ganze Desktops, Steam Big Picture und mehr gestreamt werden können, sehe ich nicht wirklich die Askese. Man hätte ja die Wahl zwischen Minimal Android oder Thin Client Power aber zum Starten von Moonlight wird es wohl in beiden Fällen reichen direkte Verbindung der BT Peripherie ist über beide möglich.
Zusätzlich werde ich weder meinem Sohn seinen heiligen PC wegnehmen, noch mein Laptop verschrotten. Beide bieten ausgewachsene Desktops ans Alternative zum oben genannten. Es sollte nur die Möglichkeiten zur Entschlackung aufzeigen, die die Zentralisierung der Rechenpower ermöglicht.

Wenn es denn wirklich um 2 gleichzeitig laufende Games inkl. Streaming geht... vielleicht hast Du ja noch ein Testgerät (als Thinclient). Irgendwas als Platte mal in Deinen Rechner gepackt, PVE installiert (ggf. vorher die eigentliche Platte abklemmen, damit auch sicher nichts passiert), Dein Wunschsetup mal hochziehen und dann mal mit beiden Clients testen.

So wird es wohl werden. Zwiebelprinzip. Erst mal die APs und die Firewall zum Laufen bringen. Dann anfangen mit Proxmox rumzuspielen.

 

[blurrrr]

mehrere Möglichkeiten des GPU Sharing gibt

Kannst auch zwei GPUs einbauen und jeweils eine komplett an eine VM durchreichen.

Wenn per Moonlight Client wahlweise ganze Desktops, Steam Big Picture und mehr gestreamt werden können, sehe ich nicht wirklich die Askese.

Der 24/7 Streaming Server soll ja ohnehin nur das für unterwegs taugliche 1080p streamen.

Die Latenzen und Bandbreiten hast du dabei bedacht? Also ich meine Deinen Internetanschluss bzw. die Verbindung zwischen "mit was auch immer irgendwo unterwegs" hin zu Deinem Server und wieder zurück. Grade das "wieder zurück" aka "Dein Upload" könnte" ggf. noch ein Thema sein, muss aber nicht. Viel wesentlicher dürften die Latenzen sein, aber da kommt es wohl auch eher primär auf das entsprechende Spiel an. Wenn Du allerdings Dinge auf ein Mobilgerät streamst, dürften es vermutlich keine Spiele sein, wo ein niedriger Ping entscheidend ist (also keine Shooter, etc.).

Es sollte nur die Möglichkeiten zur Entschlackung aufzeigen, die die Zentralisierung der Rechenpower ermöglicht.

Ich bin auch ein Freund von "weniger" Baustellen, aber man nicht vergessen, dass die Dinge vom PVE-Host auch entsprechend gesichert werden, ansonsten sind direkt 2 Personen betroffen, falls mal etwas schief läuft.

Erst mal die APs und die Firewall zum Laufen bringen. Dann anfangen mit Proxmox rumzuspielen.

Jo, klingt nach einem vernünftigen Plan Zumal kann PVE die VMs auch in entsprechende VLANs packen, da ist es dann schon sinnvoll, wenn zuerst die Netzwerk-Infrastruktur steht.

 

[the other]

Moinsen,
ich grätsche ja nur ungern in die laufenden Pläne, habe aber zu deinem Vorhaben ein, zwei vielleicht nicht ganz unwichtige Fragen:
du sagst, dass du mit VLAN vorhast zu arbeiten (zumindest interpretiere ich das so aus dem Text), als Router wird eine Fritzbox genannt. Später dann ggf. ein Umstieg auf pfsense.
Frage 1: soll die 'sense auf dem proxmox Server virtualisiert laufen?
Frage 2: du sagst

Das Router Update war mein erster Schritt. Der Tenda TEM2010X kann das. Weitere Router sind bisher nicht vorgesehen.

Öhm...du hast dich da sicher verschrieben, denn das genannte Gerät ist ein SWITCH und kein Router. Davon ab kann das Modell meines Wissens eben ausgerechnet NICHT mit VLANs umgehen, da unmanaged.
https://www.tendacn.com/product/specification/TEM2010X
Zumindest nicht mit den typischen tagged VLANs nach IEEE 802.1Q Standard, so wie ich das Datenblatt interpretiere. Sieht eher nach rein portbasierten VLANs für mich aus und macht dann auch den Bezug zu Frage 1 deutlicher...

Damit wäre die Netzwerkstruktur für VLANs bisher weder durch einen VLAN-fähigen Router vorhanden noch durch einen (mehrere) VLAN-fähige switche.
Ist dir das bewusst oder verwechselst du da etwas?

 

[Laie0815]

Kannst auch zwei GPUs einbauen und jeweils eine komplett an eine VM durchreichen.

Beim kleinen reicht die Power auch so für den Hausgebrauch. Auch wäre ich wegen der Anzahl der Steckplätze begrenzt und es würde aus Stromverbrauchssicht keinen Sinn machen.
Für den Großen könnte man das für die Zukunft mal im Hinterkopf behalten.

Die Latenzen und Bandbreiten hast du dabei bedacht?

Ja, im Hintergrund läuft wohl Tailscale (Latenz ok). Ein 1080p Stream soll 10 - 15Mbit brauchen. 85Mbit Upload liefert mein Glasfaser.

Ich bin auch ein Freund von "weniger" Baustellen, aber man nicht vergessen, dass die Dinge vom PVE-Host auch entsprechend gesichert werden, ansonsten sind direkt 2 Personen betroffen, falls mal etwas schief läuft.

Ich denke Proxmox beherscht Snapshots von jeder VM bzw. Container. Der Schaden sollte sich in Grenzen halten. Konfigurationen sollen ohnehin zentral auf dem NAS gespeichert sein, der Große im Havariefall die Klondienste migrieren kann. Sieht zumindest lösbar aus.

Frage 1: soll die 'sense auf dem proxmox Server virtualisiert laufen?

Ja.

Öhm...du hast dich da sicher verschrieben, denn das genannte Gerät ist ein SWITCH und kein Router.

Ja, leider. Du hast völlig recht.
Spielt aber nicht pfsense auf der VM die Rolle des Routers und speist dann erst den Tenda Switch?

• Fritzbox: reines WAN-Gateway → kein VLAN-Support
• pfSense-VM:
  • 1× NIC für WAN (Fritzbox)
  • 1× NIC für LAN (Trunk-Port zum TEM2010X)
  • VLANs werden auf dem LAN-Trunk aufgeschaltet
• TEM2010X Switch:
  • VLANs werden per 802.1Q weitergeleitet
  • Ports sind tagged/untagged je nach Client
• Clients (APs, PCs, IoT):
  • erhalten IPs und Regeln über pfSense

Das obige spuckt die Ki aus. Kann ich den SWITCH also am Ende behalten?
Wenn wir schon dabei sind - die APs sind Asus 90IG0880-MO3C00 EBA63. Ist hier auch ein potentieller Klops versteckt?

Danke an alle für die kritische Kontrolle. Dafür bin ich ja hier.

 

[the other]

Moinsen,
ich sag mal so: was die KI da auskot...äh ausspuckt ist manchmal toll, manchmal eher nicht und manchmal einfach Quatsch. Generell finde ich den aktuellen Umgang mit KI für jede piepelige Kleinigkeit eher...aber naja. Für den wirklich wissenschaftlichen Gebrauch, klaro. Aber was zB die üblichen Suchmaschinen KIs so abliefern...eher wenig überzeugend, find ich. Aber anderes Thema.

Erinnert mich heutzutage immer an die ersten Jahre (bzw, gibt es ja auch heute noch...) mit Navis: "Das Navi hat gesagt, ich soll in den Eisenbahntunnel fahren / ins Hafenbecken / durch den Fluss...!! Ich konnte ja nicht ahnen, dass...!!"

Ich selber orientiere mich bei sowas eher am Datenblatt des Herstellers...und da finde ich zumindest nix bzgl VLAN nach 802.1Q. Damit kann es dann eben auch nicht über ein LAN Kabel per tagged VLANs gehen, sondern imho nur portbasiert. Hier nochmal kurz was zu den beiden Varianten: https://www.thomas-krenn.com/de/wiki/VLAN_Grundlagen

Die APs sehen dagegen (nach Datenblatt) geeignet aus.

Problem: wenn das ein portbasiertes VLAN only ist beim switch, dann ist da nix mit alle VLANs via einem Port / Kabel. Bedeutet dann auch: Problem für die Pfsense (die ja am Server lediglich 2 Ports hat > WAN und LAN...)

 

[Laie0815]

Problem: wenn das ein portbasiertes VLAN only ist beim switch, dann ist da nix mit alle VLANs via einem Port / Kabel. Bedeutet dann auch: Problem für die Pfsense (die ja am Server lediglich 2 Ports hat > WAN und LAN...)

Da hast Du wohl recht und ich würde auf den TRENDnet TEG-3284WS 28 umsteigen. Der einzige im dreistelligen Preisbereich, den ich auf die schnelle finden konnte.

Spielt aber nicht pfsense auf der VM die Rolle des Routers...?

Tut sie doch, oder?

Danke erneut