Übertragungsrate trotz 10 GB nur 65 MBits

[RudiP]

Ich habe einen QNAP TS-431KX. Auf dem Weg zum Rechner dann einen QSW-M408S Switch und dann halt der PC.
Diese Geräte sind mittels 10 GBss verbunden.
Anfangs auch alles prima. Transferraten um die 120 MB/s waren vorhanden.
Im NAS sind 3 1/2 " HDD verbaut, im PC SSD.

Seit längerem, genau kann ich es nicht mehr sagen, sind die Transferraten nur noch um die 60 MB/s und auch in beide Richtungen. Also egal ob ich auf den NAS kopiere oder von diesem lese.
Eine Bereinigung läuft bei mir jede Woche einmal, habe die aber gestern auch mal manuell angestupst, leider keine Verbesserung.
Dateisystemüberprüfung auch ohne Fehler.

Da ich keine anderen Geräte mit 10 GBs verbunden habe, kann ich da auch nicht mit was anderem testen, an welchem Gerät es den nun liegt, das es so langsam ist.
Hat jemand ne Idee, was ich noch nachgucken könnte ?

 

[RudiP]

Was vielleicht noch Interessant ist, wenn ich im Ressourcenmonitor auf dem QNAP unter Speicherressourcen gucke.
Beim kopieren vom QNAP auf den PC werden alle 4 HDD gleichmäßig belastet. Also aktuell bei jeder Platte Lesen 35/s bzw. gesamt 138/s
Im Leerlauf sinkt der Wert auf ca. 10/s bis auch mal auf 0/s

Sieht für mich soweit erst mal OK aus, das alle HDD noch vernünftig angesteuert werden, also nicht das eine da irgendwie ausbricht.
CPU Auslastung während kopieren ca. 40%, RAM 21%

 

[blurrrr]

Hi

Sind es viele kleine Dateien, oder wenige große? Nimmste einfach mal eine etwas grössere Datei (falls Du grade keine zur Hand hast, halt eben was runterladen, z.B. die Linux-Mint-ISO) und teste es nochmal damit. Ebenso solltest Du ggf. nochmal sämtliche Steckverbindungen prüfen (Stecker raus, durchpusten, Stecker wieder ordentlich rein).

Ansonsten kannst Du die Geschwindigkeiten intern auch nochmal via iperf testen. Habe kein QNAP, aber vielleicht ist iperf ja schon vorhanden. Hier noch ein Artikel dazu: https://www.dell.com/support/kbdoc/de-de/000139427/poweredge-testen-der-netzwerkbandbreite-mit-iperf

EDIT: Wie ist das eigentlich, wenn Du dauerhaft einen Ping auf das NAS laufen lässt - Paketverlust ersichtlich?

 

[RudiP]

Die Dateien, mit denen ich getestet habe, sind um die 7 GB groß.

iperf3 gibts nicht und leider auch kein apt oder opkg.
Muß aber gleich zur Arbeit, muß ich nochmal suchen, wie das auf dem QNAP gehen soll.

 

[the other]

Moinsen,
ich kenne QNAP nicht, halte es aber für möglich, iperf3 da zu installieren (das wäre für ein NAS ja sonst wirklich albern). Allerdings, wie bei synology, nicht aus den "normalen" Quellen. QNAP selber sagen dazu auch: https://www.qnap.com/de-de/how-to/faq/article/wie-installiere-ich-iperf3-in-qts-und-quts-hero
Geht also (über einen kleinen Umweg)...

 

[Barungar]

Anfangs auch alles prima. Transferraten um die 120 MB/s waren vorhanden.

Das nennst Du bei durchgehenden 10 GBit/sec "prima"? Bei diesen Transferraten würde ich in schlimmste Heulkrämpfe ausbrechen.
Alles unter 1.000 MegaByte die Sekunde (aka ein GigaByte pro Sekunde) ist für einen Transfer über eine durchgehende 10G-Strecke jämmerlich.

120 MB/s schafft man ja schon auf einer sehr guten 1GBit/sec-Strecke.

Das Bild hier ist gemessen in meinem LAN... wie man sieht "Lesegeschwindigkeit" vom NAS 1.234 MegaByte pro Sekunde. Beim Schreiben bricht dei Leistung vom RAID leider etwas ein, da kommt es nur auf 580 MegaByte pro Sekunde.

(P.S.: Das Bild ist aus einem alten Thread hier im Forum, da ging es um die Sinnhaftigkeit von 10G im LAN. Mein Kommentar war damals sinngemäß, muss sein, weil sonst schläft das NAS sein.)

Achja, "gemessen" habe ich das mit "CrystalDiskMark" auf dem PC, einfach auf einem gemappten Netzwerk-Volumen vom NAS. Was man ggf. am Laufwerksbuchstaben P: erkennt. Aufgabe war: Lesen und Schreiben von 100 GB-Datei. Damit der Cache vom NAS es nicht zu sehr verfälscht, kleine Datein (7 GB) passen in den Cache.

 

[RudiP]

Interessante Werte, aber ich denke, da hast Du Mist gemessen.
SATA III 6 GBit/s = 600 MB/s
Wie Du auf das mehr als doppelte kommen willst, weiß der Geier, erscheint mir aber definitiv nicht realistisch.
Auf meiner NVMe im Rechner erreiche ich Werte von 1783 MB/s. Ist jetzt auch nicht das maximum, aber war damals halt auch eine Preisfrage.
Von daher denke ich, das dein Test oben, irgendwas aussagt, aber sicher nicht die Lesegeschwindigkeit von einer SATA Festplatte im 10 G Netzwerk.

 

[RudiP]

So, habe iperf mal auf dem QNAP und dem PC installiert und laufen lassen.

Connecting to host 192.168.178.9, port 5201
[ 4] local 192.168.178.2 port 2875 connected to 192.168.178.9 port 5201
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-1.00 sec 409 MBytes 3.43 Gbits/sec
[ 4] 1.00-2.00 sec 364 MBytes 3.05 Gbits/sec
[ 4] 2.00-3.00 sec 368 MBytes 3.09 Gbits/sec
[ 4] 3.00-4.00 sec 409 MBytes 3.43 Gbits/sec
[ 4] 4.00-5.00 sec 393 MBytes 3.30 Gbits/sec
[ 4] 5.00-6.00 sec 379 MBytes 3.18 Gbits/sec
[ 4] 6.00-7.00 sec 396 MBytes 3.32 Gbits/sec
[ 4] 7.00-8.00 sec 364 MBytes 3.05 Gbits/sec
[ 4] 8.00-9.00 sec 376 MBytes 3.16 Gbits/sec
[ 4] 9.00-10.00 sec 416 MBytes 3.49 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 3.78 GBytes 3.25 Gbits/sec sender
[ 4] 0.00-10.00 sec 3.78 GBytes 3.25 Gbits/sec receiver

iperf Done.

Bestätigt mir ja jetzt nur, das da irgendwo was zu langsam ist, denke ich. Aber wo, das sehe ich nun immer noch nicht.

 

[Barungar]

@RudiP Es ist ein RAID aus 8 HDD... abzüglich der RAID-Informationen wird also mit 6x600 MB/sec (3,6 GB/sec) gelesen oder 36 GBit/s. Ich habe mal zwei Platten abgezogen, weil das die gelesenen Parity sind, die nicht zum Nutzdatentransfer beitragen. Und selbst die theoretische 3,6 GB/sec werden nicht erreicht sondern...Aber die 1,2 GigaByte / sec sind korrekt...

Edit: Vielleicht glaubst Du ja einen Screenshot aus einem "ungenauen" Windows-Explorer mehr...


Selbst Windows liest die Datei, es ist ein Copy vom NAS auf die SSD im PC .... mit 0,98 GigaByte/Sec,

 

[RudiP]

@Barungar 8 Platten im RAID mögen sicher eine höhere Leistung bringen. Ich habe aber nur 4 im RAID 5.
Als ich damals das System zusammengebaut hatte, hatte sich meine Übertragungsrate etwas mehr als Verdoppelt im Gegensatz zum 1 GBit Netzwerk. Von daher war ich eigentlich zufrieden.
Wie auch immer, das Grundproblem bleibt.
Wie finde ich heraus, welches der Geräte nun der Flaschenhals ist.

 

[Barungar]

Meine erste Vermutung... PC ist Bottleneck.

In welchem und vor allem, was für einen Port steckt Deine 10G Netzwerk-Karte im PC?
Es ist eine Sache, ob die 10G zum Switch aushandelt, aber kann sie die 10G auch im PC selbst abgeben?
Und selbst wenn der PICe-Slot physisch "groß genug" ist, musst Du prüfen mit wieviel Lanes erbeschaltet ist.
10G NICs brauchen meist zwischen 2x bis 4x Lanes.

Meine 10G NIC steckt in einem 16x PCIe Slot, der allerdings nur mit 8x Lanes beschaltet ist, da ist die Karte auf jeden Fall happy und liefert Durchsatz.

Achja, noch was... ich habe ein eigenes Storage-VLAN... ausschließlich für High Speed NAS-Zugriffe. Das ist losgelöst vom allgemeinen VLAN in dem das NAS, der PC und die Server auch nochmal sind. In meinem Storage-VLAN gibt es keine Routen rein oder raus. Und es sind wirklich nur die Geräte angeschlossen, die exklusive 10G Karten dafür haben.

Die 10G Netzwerkkarte des NAS wird ausschließlich für Storage Transfers genutzt, für den Rest hat das NAS 2.5 G... Genauso der PC, eine 2.5 G Netzwerkkarte für Internet und LAN sowie eine 10G Karte nur für Storage. Ähnlich sind meine Server gestaltet.

Das "Problem" ist auch, dass das Hintergrundrauschen (Multicasts und Broadcasts) anderer Netzwerk-Teilnehmer Dich Ressourcen auf dem 10G Interface kosten... Interrupts, usw. daher trenne ich "Storage" vom Rest des Netzes.

 

[blurrrr]

Vielleicht mal die Treiber der NIC im PC aktualisieren (direkt vom Hersteller, nicht die Microsoft-Treiber).

 

[Barungar]

Zusätzlich zur Abschottung des Storage-VLANs... auch das fällt mir gerade noch ein... läuft mein Storage-VLAN sowie die Netzwerkkarten der Geräte (NAS, PC, Server...) im Jumbo-Frame Modus. Da ist ein Ethernet-Rahmen nicht mehr nur 1500 Byte sondern 9000 Byte lang, also extra auf größere Transfers optimiert.

 

[RudiP]

Ich habe die Netzwerkkarte mal in den anderen Slot gesteckt, brachte aber nichts. Die anderen verfügbaren Slots werden von der Grafikkarte belegt.
Ich habe mal den MTU Wert auf 4088 angehoben, brachte aber auch nichts.
Jumbo Frame kann ich nicht auf 9000, dann fragmentiert er.
Ich habe die Geschwindigkeit und Duplex mal fest auf 10 Gbit/s gesetzt, brachte auch nichts.
Flusssteuerung deaktiviert, nichts.
Interrupt Drosselung deaktiviert. Upps. 5 GBit/s statt bisher nur 3.2 GBit/s.
Das kopieren einer Datei vom NAS auf den PC ist aber nicht schneller geworden.
Vom Rest der Einstellungen habe ich mal die Finger gelassen, da habe ich zu wenig Ahnung von.

Für die Intel 82599 10 GBit Netzwerkkarte gibt es keine Windows 11 Treiber. Dafür ist die wohl schon zu alt.
Erklärt aber alles immer noch nicht, warum früher mal die doppelte Übertragungsrate möglich war.