Die meisten Rechenzentren wurden nicht für das ausgelegt, was heute von ihnen verlangt wird. Eine Anlage, die für 5–8-kW-Racks mit Luftkühlung konzipiert wurde, ist nicht automatisch in der Lage, 30–80-kW-GPU-Cluster zu unterstützen – nur weil die elektrische Leistung verfügbar ist. Die Kühl-Infrastruktur muss das leisten können, und bevor Sie die Kühl-Infrastruktur verändern, müssen Sie wissen, was sie aktuell tatsächlich macht.
1. Warum Nachrüstungen Instrumentierung vor Kapazitätsänderungen benötigen
Eine Nachrüstung der Kühlung bringt neue thermische Lasten, neue Durchflussanforderungen und neue hydraulische Bedingungen in ein bestehendes System. Ob Rear-Door Heat Exchangers an bestehenden Racks, eine CDU-Installation zur Versorgung eines neuen GPU-Clusters oder der vollständige Ausbau von Liquid Cooling auf einer neuen Flächensektion – die bestehende Kaltwasser-Infrastruktur ist das Fundament, auf dem alles andere aufbaut.
Wenn Sie den Ausgangszustand dieser Infrastruktur nicht kennen – die tatsächlichen Durchflussraten, das tatsächliche ΔT, die tatsächlichen Pumpen-Betriebspunkte und die tatsächliche Verteilung in den Abzweigen – dann planen Sie die Nachrüstung auf Basis von Annahmen. Diese Annahmen stammen aus den ursprünglichen Planungsunterlagen, die widerspiegeln, was das System bei der Inbetriebnahme leisten sollte – möglicherweise vor zehn Jahren. Filter verschmutzen, Strangregulierventile driften, Laufräder verschleißen und Sollwerte werden im Laufe von zehn Betriebsjahren angepasst. Das System auf dem Papier ist selten das System, das Sie tatsächlich haben.
Die Installation von Durchflusssensoren und Thermoenergie-Messung vor jeglichen Kapazitätsarbeiten liefert Ihnen drei Dinge, die Sie anders nicht bekommen: eine reale Baseline als Planungsgrundlage, aussagekräftige Abnahmetestkriterien und einen Vorher/Nachher-Vergleich, der belegt, ob die Nachrüstung funktioniert hat.
Die Kosten für die Instrumentierung sind gering im Vergleich zur Nachrüstung selbst – und sehr gering im Vergleich zu den Kosten einer falschen Auslegung: überdimensionierte Anlagen, Sekundärkreise mit zu geringer Leistung oder eine Kälteanlage, die die neue Last nicht tragen kann.
2. Baseline des bestehenden Kaltwassersystems erstellen
Beginnen Sie im Werk. Bevor Sie irgendetwas anderes anfassen, installieren Sie Durchfluss- und Temperaturmessung an den Hauptsammelleitungen (Headern) für Kaltwasser-Vorlauf und -Rücklauf.
Damit legen Sie den tatsächlichen Betriebsbereich der Kälteanlage fest: wie viel Durchfluss sie liefert, bei welcher Vorlauftemperatur und welches ΔT das System zurückliefert. Vergleichen Sie das mit der Design-Spezifikation – und Sie werden fast immer mindestens eine Überraschung finden.
Typische Feststellungen in dieser Phase sind:
· Niedrigeres ΔT als im Design. Das System zirkuliert mehr Wasser als notwendig, um die Wärme abzuführen. Das bedeutet: Pumpen arbeiten stärker als nötig und die Chiller-Effizienz ist schlechter als sie sein sollte.
· Ungleichmäßige Durchflussverteilung. Manche Header bekommen mehr als ihren Anteil, andere zu wenig.
· Chiller-Staging, das nicht zur tatsächlichen Last passt. Zwei Chiller mit jeweils 40% statt einer mit 80% ist eine häufige Ineffizienz, die erst mit Echtzeitdaten zur Thermoenergie deutlich wird.
Erstellen Sie diese Baseline nach Möglichkeit mit permanenten Messgeräten oder für die erste Bewertung mit temporären Ultraschall-Clamp-on-Messgeräten. Die Daten aus einer zwei- bis vierwöchigen Aufzeichnung unter variierenden IT-Lastbedingungen sind deutlich wertvoller als eine einzelne Momentaufnahme. Sie zeigen das dynamische Verhalten des Systems und wie es auf Laständerungen, Schwankungen der Umgebungstemperatur und tageszeitabhängige Nachfrageprofile reagiert.
3. CRAH- und Strangdurchfluss messen, bevor die Leistungsdichte erhöht wird
Computer Room Air Handlers bilden die bestehende Verteilung der Kühlung ab. Bevor Sie sie durch Liquid-Cooling-Infrastruktur ersetzen oder ergänzen, messen Sie, was sie tatsächlich leisten.
Jeder CRAH bezieht Kaltwasser aus dem Gebäudekreislauf und führt Wärme aus der Raumluft ab. Der Durchfluss durch jeden CRAH, kombiniert mit Vorlauf- und Rücklauftemperaturen des Wassers, zeigt die tatsächliche Kühlleistung. Dieser Wert unterscheidet sich häufig von der Typenschildleistung – manchmal niedriger durch Verschmutzung der Register oder Degradation des Regelventils, manchmal höher, wenn das Gerät bei niedriger IT-Last überkühlt betrieben wird.
Für die Retrofit-Planung noch wichtiger: die Stranghydraulik bzw. der Abgleich der Abzweigdurchflüsse. Die Rohrabzweige, die einzelne CRAHs versorgen, wurden bei der Inbetriebnahme abgeglichen. Das bedeutet nicht, dass sie abgeglichen geblieben sind. Ein Strang, der für 20% des Gesamtdurchflusses der Anlage ausgelegt war, kann heute 28% bekommen – weil ein Strangregulierventil weiter oben aus einem anderen Grund verstellt wurde oder weil bei einem CRAH in einem benachbarten Strang das Regelventil geschlossen ausgefallen ist und niemand bemerkt hat, dass sich der Durchfluss umverteilt hat.
Die Installation von Kaltwasser-Durchflussmessern an jedem CRAH-Strang vor der Nachrüstung zeigt:
· Welche CRAHs durchflussbegrenzt sind versus ventilbegrenzt
· Welche Stränge Kapazitätsreserven für zusätzliche Last haben
· Wo ein sekundärer Liquid-Cooling-Kreis eingefügt werden kann, ohne den speisenden hydraulischen Strang zu überlasten
· Ob eine neue CDU-Installation ein Rebalancing des gesamten Verteilerkreises erfordert oder nur eine lokale Anpassung
Diese Informationen beeinflussen direkt, wo Sie CDUs platzieren, wie Sie Sekundärkreis-Pumpen dimensionieren und ob die bestehenden Regelventile in jedem Strang die zusätzliche Durchflussanforderung bewältigen können, die das Liquid-Cooling-Equipment mit sich bringt.
Ein Durchflussmesser an jedem CRAH-Strang muss keine permanente Instrumentierung sein – auch wenn es sich für die laufende betriebliche Transparenz lohnt. Mindestens sollten Sie jeden Strang zwei bis vier Wochen lang aufzeichnen, bevor Sie das Retrofit-Design finalisieren.
4. Monitoring rund um Wärmetauscher und Sekundärkreise ergänzen
Viele Anlagen, die bereits Rear-Door Heat Exchangers, In-Row-Cooler oder eine CDU-Installation früherer Generation besitzen, haben Sekundärkreise mit zu wenig Messtechnik.
Ein Rear-Door Heat Exchanger (RDHx) an einer bestehenden Rackreihe entnimmt dem Gebäudekreislauf Kaltwasser und führt Wärme aus der Serverabluft ab. Ohne Durchflussmessung an der RDHx-Zuleitung und ein ΔT über den RDHx wissen Sie nicht, wie viel der thermischen Racklast er tatsächlich übernimmt – und wie viel in den Raum geht und bei den CRAHs landet. Für die Retrofit-Planung ist diese Aufteilung entscheidend, weil sie beeinflusst, wie Sie die Restlast der CRAHs modellieren, nachdem die neue Liquid Cooling ergänzt wurde.
Für jeden bestehenden Sekundärkreis – eine kleine CDU-Installation, ein Laborkühlkreis oder ein Legacy In-Row Liquid Cooler – ergänzen Sie Durchfluss- und Temperaturmessung auf beiden Seiten des Wärmetauschers:
Primärseite (Gebäudekaltwasser rein/raus): zeigt, was der Gebäudekreislauf diesem Sekundärsystem tatsächlich liefert und ob ausreichend Durchfluss aus der Kälteanlage ankommt.
Sekundärseite (Kühlmittelkreis zu den Servern): zeigt, was die Server tatsächlich erhalten und zurückführen. ΔT über den Sekundärkreis, kombiniert mit dem Sekundärdurchfluss, ergibt die tatsächlich abgeführte Wärme. Gegenprüfen Sie das mit der IT-Leistungsaufnahme aus den Rack-PDUs – die Werte sollten sich decken; wenn nicht, stimmt entweder die Messung oder der Kühlpfad nicht.
Dieser Primär-/Sekundär-Abgleich ist eines der nützlichsten Diagnosewerkzeuge während einer Retrofit-Bewertung. Er identifiziert Wärmetauscherverschmutzung (niedriges ΔT auf beiden Seiten bei konstanter Last), hydraulische Einschränkungen im Sekundärkreis (korrekter Primärdurchfluss, aber niedriger Sekundärdurchfluss) und Probleme mit Regelventilen (Primärdurchfluss, der nicht mit Änderungen der IT-Last korreliert).
5. RDHx- und CDU-Zuleitungen instrumentieren
Die neue Liquid-Cooling-Ausrüstung in der Nachrüstung – RDHx-Units, CDUs zur Versorgung von GPU-Racks, Manifold-Verteilsysteme für Direct-to-Chip Cooling – benötigt vor der Inbetriebnahme eine Durchflussinstrumentierung an den gebäudeseitigen Anschlusspunkten.
RDHx-Zuleitungen.
Jede Rear-Door-Einheit oder Gruppe von Einheiten, die aus einem gemeinsamen Strang gespeist wird, benötigt einen Durchflussmesser sowie Temperatursensoren im Vor- und Rücklauf. Das ist das Minimum, um zu verifizieren, dass jede Einheit ihren Auslegungsdurchfluss bei der richtigen Vorlauftemperatur erhält, und um die tatsächliche Wärmeabfuhr pro Einheit zu berechnen. Ohne das ist die RDHx-Performance unbekannt; Sie wissen lediglich, dass die Temperaturen der IT-Geräte im Soll liegen – was bestenfalls ein nachlaufender Indikator ist.
CDU-Primäranschlüsse.
Jede CDU ist auf der Primärseite an den Kaltwasserkreislauf des Gebäudes angeschlossen. Ein Durchflussmesser und ein Temperaturpaar an diesem Anschluss liefern die Messung des thermischen Inputs der CDU. Zusammen mit der internen Sekundärkreis-Instrumentierung der CDU erhalten Sie eine vollständige Energiebilanz dieser Kühleinheit. Jede Abweichung zwischen primärseitigem Wärmeeintrag und sekundärseitigem Wärmeabtrag weist auf einen Messfehler oder einen Energieverlust in der CDU selbst hin.
Manifold-Verteiler-Header.
In Installationen, in denen ein zentrales Manifold Kühlmittel auf mehrere CDUs oder Rackkreise verteilt, liefern Durchflussmessung im Manifold-Vorlauf und -Rücklauf sowie die einzelnen Strangdurchflüsse Transparenz über den Verteilabgleich. Das entspricht der CRAH-Strangmessung auf der Luftseite – die gleichen Unwuchtprobleme treten auch in Flüssigkeits-Verteiler-Headern auf, wenn sie nicht aktiv überwacht werden.
Diese Anschlusspunkte eignen sich für Ultraschall-Durchflussmessung: keine beweglichen Teile im Kreislauf, praktisch kein zusätzlicher Druckverlust und ein Gerät, das sowohl das Gebäude-BMS (über Modbus RTU) als auch den CDU-Controller (über analog oder Puls) bedienen kann. Allengra's ALSONIC ist ein Beispiel, bei dem Wandler, Elektronik und Kommunikations-Stack im eigenen Haus entwickelt werden – das reduziert eine Integrationsrisiko-Schicht bei der Inbetriebnahme.
6. BMS- und DCIM-Integration vor der Inbetriebnahme planen
Instrumentierung entfaltet ihren vollen Wert nur, wenn die Daten dort ankommen, wo sie genutzt werden. Das bedeutet: die Integration planen, bevor die Sensoren installiert werden – nicht danach.
Die Entscheidungen in dieser Phase:
Was geht ins BMS versus DCIM? Standortweite Thermoenergiedaten (Anlagen-Header, Hauptverteilstränge) gehören typischerweise ins BMS. Rack- und CDU-Daten – insbesondere in Hybridumgebungen mit Luft- und Flüssigkeitskühlung – gehören oft ins DCIM, wo sie mit IT-Last- und Leistungsdaten korreliert werden können. Einige Daten gehören in beide Systeme. Definieren Sie das, bevor Sie Ausgangsprotokolle festlegen.
Protokollauswahl: Modbus RTU (oder Modbus TCP) ist der Standard für die BMS-Integration. IO-Link wird zunehmend für OEM-CDU-Controller-Anbindungen verwendet. Klären Sie, was das Zielsystem unterstützt, und spezifizieren Sie die Sensorausgänge entsprechend. Ein falsches Ausgangsprotokoll bedeutet einen Protokollkonverter dazwischen, ein zusätzliches Bauteil, eine weitere Fehlerquelle und zusätzliche Latenz.
Datenpunkte pro Messgerät. Ein Durchflussmesser kann Durchflussrate, Temperatur (wenn ein abgestimmtes Temperaturpaar enthalten ist), ΔT, momentane thermische Leistung, kumulierte Energie, Status der Signalqualität und Status der Blasendetektion liefern. Nicht jede BMS-Integration nutzt all diese Werte, aber definieren Sie die Datenpunktliste im Vorfeld, damit die Modbus-Registermap vollständig ist, bevor die Inbetriebnahme startet.
Alarmdefinitionen. Welche Bedingungen erzeugen BMS-Alarme? Niedriger Durchfluss an einer CDU-Primärzuleitung. Hohe Rücklauftemperatur in einem GPU-Rack-Sekundärkreis. Blasendetektion in einem kritischen Kühlstrang. Das muss vor der Inbetriebnahme definiert, auf BMS-Alarmkategorien abgebildet und der richtigen Instandhaltungsgruppe zugewiesen werden. Ein Alarm, der bei niemandem ankommt, ist kein Alarm.
Historian und Trending. Energiereporting, PUE- und WUE-Berechnungen sowie die Verifizierung der Retrofit-Performance erfordern historische Daten. Stellen Sie sicher, dass der BMS-Historian so konfiguriert ist, dass er die neuen Datenpunkte in geeigneten Intervallen protokolliert – eine Minute für Energiereporting, eine bis zehn Sekunden für transiente Diagnostik – bevor das System live geht.
7. Nutzung von Durchfluss-, Temperatur- und Blasendaten für Abnahmetests. Die Abnahmeprüfung der Nachrüstung ist das formale Sign-off, dass das neue Kühlsystem wie geplant funktioniert. Ohne Baseline-Instrumentierung und Live-Metering ist die Abnahme meist visuell: sieht alles richtig aus, liegen die Temperaturen im Soll – statt quantitativ.
Mit der richtigen Instrumentierung können Sie gegen reale Performance-Kriterien testen.
Thermische Energieabgabe. Das CDU- oder RDHx-System sollte bei definierter Vorlauftemperatur und definierten Durchflussbedingungen eine festgelegte kW-Leistung liefern. Messen Sie das. Eine Einheit, die die thermische Performance bei Auslegungsbedingungen erfüllt, aber bei reduziertem Primärdurchfluss versagt, sagt Ihnen etwas über die hydraulische Reserve im Gebäudekreislauf.
ΔT bei Auslegungsdurchfluss. Der Sekundärkreis sollte unter repräsentativer IT-Last mit seinem Auslegungs-ΔT zwischen Vor- und Rücklauf arbeiten. Das Low-ΔT-Syndrom – das gleiche Problem, das die Luftkühlung betrifft – zeigt sich hier, wenn der Sekundärdurchfluss höher ist als nötig. Bestätigen Sie, dass ΔT im Designbereich liegt, bevor Sie abzeichnen.
Strang-Durchflussabgleich. Nach Rebalancing-Arbeiten an CRAH-Strängen oder Liquid-Cooling-Verteiler-Headern verifizieren Sie jeden Strangdurchfluss gegenüber seinem Auslegungswert. Dokumentieren Sie die bei der Inbetriebnahme gemessenen Durchflüsse als neue Baseline für spätere Vergleiche.
Baseline für Blasendetektion. Nehmen Sie die Ausgänge der Blasendetektion in Betrieb und legen Sie während der initialen Einlaufphase eine Baseline des Normalbetriebs fest. Das akustische Signal des ALSONIC zeigt, wie sich das System stabilisiert, während die anfängliche Luft aus dem Kreislauf ausgetragen wird. Der Zeitpunkt, an dem das Blasensignal auf Hintergrundniveau stabil bleibt, ist ein aussagekräftiger Inbetriebnahme-Meilenstein – informativer als ein rein zeitbasiertes Kriterium.
Vorher/Nachher-Vergleich. Mit Baseline-Daten aus der Messphase vor der Nachrüstung und Live-Daten aus dem in Betrieb genommenen System können Sie exakt zeigen, was sich geändert hat: Anlagen-ΔT, Strang-Durchflussabgleich, gelieferte Thermoenergie pro kW IT-Last und Pumpen-Betriebspunkte. Diese Dokumentation schließt das Projekt ab und definiert den Startpunkt für den weiteren Betrieb.
8. Retrofit-Checkliste und nächste Schritte
Arbeiten Sie das ab, bevor irgendeine physische Installation beginnt:
Baseline-Bewertung
· Anlagen-Header-Durchfluss und -Temperatur mindestens zwei Wochen lang protokolliert
· Bestehendes Kaltwasser-ΔT mit Design-Spezifikation verglichen
· Alle CRAH-Strangdurchflüsse gemessen und dokumentiert
· Bestehende Sekundärkreis-Wärmetauscher auf beiden Seiten gemessen
· Pumpen-Betriebspunkte (Drehzahl, Strom, Differenzdruck) aufgezeichnet
· Bestehende RDHx- oder CDU-Installationen instrumentiert und Baselinedaten erfasst
Eingaben für das Retrofit-Design bestätigt
· Verfügbarer Durchfluss je neuem CDU- oder RDHx-Strang gegenüber der Anlagenkapazität bestätigt
· Hydraulische Strangreserve vor dem Hinzufügen neuer Last verifiziert
· Vorlauftemperatur des Wassers als ausreichend für die Spezifikationen der Liquid-Cooling-Ausrüstung bestätigt
· Glykolkonzentration gemessen und mit den Werkstoffen der neuen Ausrüstung kompatibel
Spezifikation der Instrumentierung
· Einbauorte der Durchflussmesser für alle neuen CDU-Primäranschlüsse festgelegt
· Messpunkte zur RDHx-Strang-Durchflussmessung bestätigt
· Temperaturfühlerpaare für alle ΔT-Messpunkte spezifiziert
· Bedarf an Blasendetektion auf Sekundärkreisen mit dem CDU-Lieferanten abgestimmt
· Ausgangsprotokolle gegenüber den empfangenden BMS- und DCIM-Systemen bestätigt
· Modbus-Registermaps vor der Inbetriebnahme beim Sensorlieferanten angefordert
BMS- und DCIM-Integration
· Datenpunktliste definiert und mit dem MSR-Team abgestimmt
· Alarmschwellen und Alarmrouting vor der Inbetriebnahme definiert
· Historian-Logging in den erforderlichen Intervallen bestätigt
· Eingaben für PUE- und WUE-Berechnung identifiziert und gemappt
Abnahmekriterien
· Zielwerte für thermische Energieabgabe je CDU oder RDHx definiert
· ΔT-Bereich bei Auslegungsdurchfluss als Pass/Fail-Kriterium dokumentiert
· Toleranz für Strang-Durchflussabgleich definiert
· Aufbau der Blasendetektions-Baseline in das Inbetriebnahmeprotokoll aufgenommen
· Format des Vorher/Nachher-Vergleichsberichts abgestimmt
Die hier beschriebene Instrumentierung ist kein großer Teil eines Retrofit-Budgets – aber sie ist der Teil, der bestimmt, ob der Rest des Projekts sauber ausgelegt, in Betrieb genommen und verifiziert werden kann. Eine Liquid-Cooling-Nachrüstung in ein unzureichend charakterisiertes Kaltwassersystem ist ein Risiko, das erfahrene Facility Engineers schon häufig in schlechter Form erlebt haben. Die Durchflusssensoren und Thermoenergie-Zähler, die dieses Ergebnis verhindern, lassen sich unkompliziert spezifizieren, installieren und integrieren – insbesondere mit einem Ultraschall-Durchfluss-/Energiezähler wie dem ALSONIC, der Durchfluss, Blasendetektion und Modbus-Ausgang in einem Gerät kombiniert.
Allengra ist ein Entwicklungsunternehmen und fertigt und entwickelt Ultraschall-Durchflussmesser im eigenen Haus. Wir können jedes einzelne Produkt aus unserem Portfolio für KI-Rechenzentrumskühlungsanwendungen und OEMs individuell anpassen und speziell entwickeln – mit Clamp-on- oder benetzter Ausführung.
