Azure Stack HCI – Performance Benchmark 6 Node Dell AX-740XD Cluster

Einleitung

Hyperkonvergente Systeme sind immer weiter im Trend und erobern auch die deutschen Rechenzentren. Eher neu ist die HCI Lösung von Microsoft: Azure Stack HCI, die (erst) seit Ende Dezember 2020 auf dem Markt ist. Hierbei handelt es sich um ein eigenes Betriebssystem (auf Basis von Server 2019) welches rein für die Hyper-V Dienste ausgelegt ist und sich funktional von den klassischen Windows-Server Varianten in Zukunft auf die Virtualisierung abheben soll. So gibt es Azure Stack HCI nur als Core-Installation (also ohne GUI) – die Bedienung soll per Windows Admin Center oder rein per Powershell erfolgen. Neu ist auch das Lizenzierungsmodell, wo Microsoft auf eine Gebühr von 10€/Monat pro CPU Kern veranschlagt. Hier möchte man anscheinend ähnlich der Konkurrenz auch am Hypervisor verdienen.

Da die Software relativ neu ist, findet man aktuell leider relativ schwer Benchmarks oder Performancedaten von Systemaufbauten, die nicht rein für Marketingzwecke ausgerichtet sind. Daher habe ich mich entschieden hier einige Ergebnisse als Orientierung zu präsentieren. Getestet wird ein für Azure Stack HCI zertifiziertes System von Dell in Form von AX-740XD Systemen, die nach Best-Practise konfiguriert wurden. Das Betriebssystem der Server war die zum Zeitpunkt aktuellste Azure Stack HCI Version. (Patchstand Mai 2021).

Hardwareaufbau

Als Aufbau dienen 6 Dell AX-740XD Server mit folgender SSD/Fullflash Konfiguration:
Für das OS werden die BOSS Karten verwendet. Als Cache Karten werden je 2 x NVME verwendet. Für den Kapazitäts-Tier werden je 6 x SSD verwendet.

MediaType BusType Usage Model FriendlyName Kapazität Anzahl Insgesamt Anzahl  pro Server
SSD SATA Boot-Drive SSDSCKKB240G8R DELLBOSS VD 223.57 GB 12 2
SSD SAS Auto-Select (Capacity) KPM5XRUG3T84 TOSHIBA KPM5XRUG3T84 3.49 TB 36 6
SSD PCIe Journal (Cache) Dell Express Flash NVMe P4610 1.6TB SFF Dell Express Flash NVMe P4610 1.6TB SFF 1.46 TB 12 2

Herstellerangaben und theoretische max-Werte

Da es kaum Vergleichswerte bei solchen Systemen gibt, ziehen wir als Vergleich die Herstellerangaben heran. So haben wir zumindest einen Richtwert, der uns hilft das System zu validieren. Um nähere Spezifikationen zu den möglichen Schreib/Lesewerten und IOPS zu bekommen, müssen wir uns nun die Modelle etwas genauer anschauen. Die 3,49 TB SSD ist zwar laut Beschreibung von TOSHIBA – hinter dem Namen versteckt sich aber der Hersteller Kioxia und genau folgendes Modell: PM5-R Series. Auf der Herstellerseite finden wir dann auch Angaben zu den theoretischen Werten:

Technische Daten vom Hersteller
Man beachte, dass die Herstellerangaben unter Verwendung von Dual Port 12GB SAS gemessen wurde, was in unserem S2D/Azure Stack HCI Konstrukt nicht der Fall ist und die SSD „lediglich“ über einen SAS Port angeschlossen ist. Daher sind unsere Ergebnisse in der Praxis etwas geringer. Als einzelne SSD eingebunden und Formatiert mit 64k ReFS haben wir mit CrystalDiskMark für die KPM5XRUG3T84 folgende Werte erhalten:

Crystaldisk Benchmark SSD Crystaldisk Benchmark SSD

Für die P4610 von Dell finden wir direkt bei Dell in einem DataSheet die vergleichbaren Daten:

Technische Daten Dell NVME

Netzwerk

Netzwerkseitig sind die Systeme mit 4 x 25GB über 2 Dual Port „Mellanox ConnectX-4 Lx 25GbE SFP28“ Karten mit je einem DELL SF5212F verbunden.
Als Technologie für die Storagereplikation verwenden wir RDMA.

Storageübersicht

Windows Admin Center Storagepool

In Summe haben wir einen Storagepool den wir auf 6 Volumes (1 pro Host) aufteilen. Für alle Volumes verwenden wir einen Three-Way-Mirror, für maximale Performance.

Windows Admin Center Volumes

Testmöglichkeiten

Es gibt 2 verschiedene Testmöglichkeiten um den Cluster auf Herz und Iops zu testen.

VMFleet war früher das gängige Tool und es gibt dazu auch gute Beschreibungen wie von DataOn. Es ist etwas umständlich zu konfigurieren, aber hat es mehrere VM’s erzeugt und in diesen dann diskspd ausgeführt. Dies wäre meiner Ansicht nach zumindest ein Test wo der Realität am nächsten kommt. Laut Microsoft (Azure Stack HCI Support) ist VMFleet allerdings nicht mehr supported was Benchmarks angeht.

Präferierte Variante: StartWorkload.ps1
Hier muss lediglich DiskSpd heruntergeladen werden und keinerlei extra VM’s erzeugt werden. Das Tool verschiebt die ClusterStorage’s und verteilt diese auf die Hosts und startet dann DiskSpd auf jedem Host für sein Cluster-Volume.

Zu Beginn müssen wir erstmal 3 benötigte Tools herunterladen:

watch-cluster.ps1
start-workload.ps1
diskspd.exe

Alle Tools packen wir in einen Ordner, diskspd muss zuvor noch entpackt werden.

Watch-Cluster

In einem Powershellfenster auf dem Host starten wir Watch-Cluster, welches uns die Storagewerte live liefert. Das Tool ist deutlich genauer als z.B. das Windows Admin Center.
Um alle Daten in einem Fenster angezeigt zu bekommen muss man in der Regel die Schriftgröße des Powershellfensters auf 10 oder 11 herabsetzen 🙂

 .\watch-cluster.ps1 -sets *

Start-Workload

Mit Start-Workload können wir nun verschiedene Szenarien durchprobieren. Wenn man diese aufzeichnen möchte, lohnt sich ggf. auch die Aufnahme der Performancecounter .

4K 100% Read with minimal Latency to identify if we have a latency issue

.\Start-Workload.ps1 -DiskSpdpath "C:\Temp\Diskspd.exe"

BenchmarkBenchmark  Benchmark

4K 100% Read (Maximize IOPS), we don’t care too much about Latency:

.\Start-Workload.ps1 -DiskSpdpath "C:\Temp\DiskSpd" -o 32

BenchmarkBenchmark

4K 100% Write  – Expect to have much less IOPS then 100% Read

Die Daten werden bei einem Three-Way-Mirror noch auf 3 weiteren Fault Domains geschrieben, nicht zu vergessen…

.\Start-Workload.ps1 -DiskSpdpath "C:\Temp\DiskSpd" -w 100

BenchmarkBenchmarkBenchmark

128K 100% Read –  Maximize Throughput on Reads

Nun testen wir mit der Blockgröße von 128K und einer Queuetiefe von 32 (Outstanding IO’s). Hier haben wir dann zwar nicht unbedingt viele IO’s jedoch einen sehr hohen Durchsatz.

.\Start-Workload.ps1 -DiskSpdpath "C:\Temp\DiskSpd" -B 128K -o 32

BenchmarkBenchmark Benchmark Benchmark Benchmark

128K 100% Write-  Maximize Throughput on Writes

Gleiches Spiel nur schreibend.

.\Start-Workload.ps1 -DiskSpdpath "C:\Temp\DiskSpd" -B 128K -o 32 -w 100

BenchmarkBenchmark  Benchmark Benchmark Benchmark

Netzwerkauslastung

Kombinierte Auslastung aller 25GbE Ports der beiden Switches (pro Switch):

Benchmark Benchmark

In Summe kommen wir beim Lesen (4k) auf ungefähr 234 Gbit/s über alle Ports gerechnet. Das wären pro Server 39 Gbit/s die dann auf die 4 Karten verteilt werden.

Die Switche & Netzwerkkarten haben wir in Tests nur durch Livemigrationen höher ausgelastet bekommen. Ein guter Test ist eine Blanko VM mit 80% der maximal verfügbaren Ram-Menge des Hosts auszustatten (z.B. 500GB) und dann per Livemigration auf einen anderen Host zu migrieren. Das funktioniert per RDMA ziemlich gut und flott – speziell wenn die SMB Limits korrekt richtig gesetzt sind. In unserem Fall haben sich so VM’s mit 500 GB Arbeitsspeicher in wenigen Sekunden per Livemigration auf einen anderen Host migrieren lassen, was die Netzwerkkarten an ihr Limit bringt 😉

Auffälligkeiten

Bei kleinen Blockgrößen (4K) haben wir es immer geschafft die CPU’s der Hosts auf Vollast (80-100%) zu fahren, was bei 2 Sockel Xeon(R) Gold 6248R Systemen schon ganz ordentlich ist. Die CPU ist in diesem Fall der Flaschenhals – zumal noch kein anderer Workloud (VM’s) auf dem Cluster läuft. Im Realbetrieb ist hier natürlich eine etwas geringere Leistung zu erwarten. Bei den großen 128K Blöcken war die CPU nur zu ca. 20% ausgelastet. Hier haben wir gesehen, dass die SSD’s dann auch an ihre Grenzen gekommen, was sich auch gut an den höheren Latenzen auf SSD Ebene bestätigt hat.

Fix: 'Couldn't create a new Partition' für Dell PowerEdge Server

Da packte ich einen neuen Dell PowerEdge R730 aus und wollte für Benchmarks direkt Windows Server 2012 R2 installieren, doch das klappte nicht – das Windows Setup konnte keine Boot Partition erstellen:
partition_dell

"We couldn't create a new partition or locate an existing one. For more information, see the Setup log files."

sdcard
In diesem Fall hat der Server 2 SD-Slots eingebaut – welche anscheinend intern als HDD0 auftauchen, welche aber durch das Setup nicht partitioniert werden können.
Die Lösung war relativ simpel: Im Bios kurzfristig die internen SD-Slots deaktivieren, und rebooten. Anschließend lies sich Windows auch fehlerfrei installieren.
Danach kann man übrigens die SD-Slots wieder aktivieren, gibt keine weiteren Einschränkungen.
Da die Server ja alle sehr ähnlich strukturiert sind tritt das Phänomen vermutlich auch auf den PowerEdge R720, oder R730xd etc. auf.

Dell Inspiron 17 (3721) – Vorstellung

Ich habe gerade ein neues Dell Inspiron 17  – 3721 zum Testen in meinen Händen gehabt. Ein Notebook der unteren Preisklasse was es derzeit ab 349€ bei Dell zu kaufen gibt.
Von der Verarbeitung her gefallen mir Dell Notebooks bisher immer noch am besten. Machen einen guten und stabilen Eindruck, was auch bei diesem Modell so ist.
Kommen wir zu den Technischen Details:
LCD-Monitor: 44 cm (17.3″)-Display mit Hintergrundbeleuchtung, TrueLife und HD+-Auflösung (1.600 × 900)
Processor: Intel® Pentium® 2117U Prozessor (2 MB Cache, 1,8 GHz)
Arbeitsspeicher:4.096 MB Dual-Channel DDR3 SDRAM mit 1.600 MHz [1 x 4.096]
Grafikkarte: Intel® HD-Grafik
Festplatte: 500GB-Serial ATA-Festplatte (5.400 U/min)
Laufwerk: 8x DVD+/- RW optisches Laufwerk
Tastatur: Interne Tastatur – Deutsch (QWERTZ)
Netzwerk: Dell Wireless 1704 (802.11n + BT 4.0) Minikarte
Hauptakku: Lithium-Ionen-Hauptakku mit 4 Zellen und 40 Wh
Betriebssystem: Windows 8 64bit , Deutsch
Service und Support: 1 Jahr Abhol- und Reparaturservice
Zusätzlicher Service: 90 Tage Next Business Day Service mit Premium Phone Support


Bei dem günstigeren Modell für 349€ ist ein Intel Pentium 2177U mit 1.8 Ghz verbaut. Für nur 50€ mehr bekommt man den in Benchmarks wesentlich Leistungsstärkeren Intel Core i3-3227U mit 1,9 Ghz den ich empfehlen würde.
Zur Verfügung stehen insgesamt 2 Ram-Bänke wobei einer noch frei ist. Eingebaut ist ein Riegel à 4.096 MB Dual-Channel DDR3 SDRAM mit 1.600 MHz
Der Arbeitsspeicher lässt sich also ohne Probleme noch auf 8GB aufrüsten… (2 Schrauben auf der Rückseite lösen, Plastik Abdeckung entfernen und Riegel reinstecken)
Wie sieht es mit Anschlüssen aus?
Zur Verfügung stehen insgesamt 4 USB Anschlüsse. Davon 2x USB 3.0 und 2X 2.0.
Vorne in der Front befindet sich ein 8in1 SD-Kartenleser.
Für den Anschluss eines externen Monitors oder TV’s gibt es an der Seite einen HDMI 1.4 Anschluss sowie eine Klinke Buchse für externe Lautsprecher oder ein externes Mikrofon.
Natürlich gibt es auch noch für den normalen Netzwerkanschluss eine Rj45-Buchse für die klassischen Netzwerkkabel.
Für die Freunde von Skype und Co: Ja es gibt eine integrierte HD-Webcam mit 1MP (mit Mikrofon)
Das Notebook kommt mit einem vorinstalliertem Windows 8 daher, das erste Starten dauert wie üblich ein paar Minuten…
Solltet ihr noch das Problem haben, dass der Lüfter durchgehend auf hoher Drehzahl läuft, obwohl der Rechner sich langweilt? Ist ein bekannter Bug, den ihr mit einem Bios Update beheben könnt. Wie das geht – schrieb ich bereits vor ein paar Tagen.
Die Leistungsbewertung von Windows bringt die Note 4,9 auf die Skala. (Geht von 1,0 bis 9,9 – höher ist besser!) Den Screenshot dazu reiche ich noch nach.

Im Großen und Ganzen gefällt mir das Notebook sehr gut. Für den Preis von unter 400€ kann man da mit Sicherheit nichts falsch machen, wenn man was zum Arbeiten und Surfen sucht, aber auch keine Mega-Performance benötigt. Die Vollwertige Tastatur (mit Numpad!) hat mich persönlich Überzeugt, ebenso wie das restliche sehr griffige Design.

Howto: Dell Inspiron 17 (3721) – lauten Lüfter korrigieren

Ich habe zum Testen ein Dell Inspiron 17 bei mir und als erstes ist mir der durchgehend auf volllast-drehende Lüfter aufgefallen. Von wegen leise, das Teil mäht wie mein Rasenmäher 😉
In den Kundenbewertungen im Dell Shop spiegelt sich das Problem „Lüfter läuft auf voller Drehzahl“ auch in den Bewertungen negativ wieder.
dell-5
Abhilfe schafft ein Bios Update auf V6 in welchem laut Changelog der Algorithmus zur Berechnung der Lüfterdrehzahl angepasst wurde.
Ich habe das Update bereits eingespielt und kann mit Freude berichten: Das Notebook ist leise 🙂
Ladet euch dazu das aktuelle Bios von der Dell Support Seite herunter. Den „Service Tag“ findet ihr auf der Unterseite des Notebooks.
Anschließend das Notebook an den Strom hängen und das Update starten.  Ihr bekommt folgenden Bildschirm:
dell-6
Mit klick auf OK startet der Computer automatisch neu und der Updatevorgang wird fortgesetzt:
arxZBHsLBjFQqpF8b_5qvJ1WQ7Ui_dPxdHUhJaN0vhI

Nachdem das Update abgeschlossen ist bootet das Notebook nochmal neu und startet wie gewohnt euer Betriebssystem.
Ab jetzt sollte euer Lüfter kaum noch zu hören sein 😉
Fertig.

Latitude E6510 und Windows 8 – die Treiber

Wer auf seinem DELL Latitude E6510 versucht Windows 8 zu installieren, wird erstmal keine Probleme haben. Installation geht natürlich. Allerdings werden von Haus aus nicht direkt alle Treiber installiert.
Bei mir hat z.B. der Treiber fürs integrierte UMTS-Modem (Dell Wireless 5540 HSPA Mini-Card Device) gefehlt. Ebenso fürs Touchpad und noch ein paar Geräte.
Dell bietet offiziell noch keine Treiber an – und die Windows 7 Treiber kann man in manchen Fällen nicht installieren wegen einer eingebauten OS-Überprüfung. (Dieses Betriebssystem wird nicht unterstützt…)
Der einfachste Weg alle Treiber wieder zu installieren ist, wenn man noch eine Windows 7 Installation hat, wo die Treiber installiert sind. Dann muss man lediglich im Gerätemanager die Geräte einzeln auswählen und den Pfad zum alten Windows-Verzeichnis angeben und die Treiber werden von dort installiert.
Da ich zum Testen erstmal Windows 8 im Dual-Boot installiert habe also kein Problem.  Ich habe noch kein komplettes Treiberpaket gefunden.
Lediglich fürs UMTS-Modem gibt es die extrahierten Treiber zum Download. (Danke @ baskura)
Dieser funktioniert auch ohne das „Dell Broadband Manager Utility“ – man kann sich direkt via Windows verbinden. (Siehe Screenshots).