La maggior parte dei data center non è stata progettata per ciò che oggi viene loro richiesto. Un impianto concepito per rack da 5–8 kW con raffreddamento ad aria non è automaticamente in grado di supportare cluster GPU da 30–80 kW – solo perché è disponibile la potenza elettrica. Deve essere l’infrastruttura di raffreddamento a riuscirci e, prima di modificarla, è necessario sapere che cosa stia effettivamente facendo oggi.
1. Perché nei retrofit è necessaria l’instrumentazione prima delle modifiche di capacità
Un retrofit del raffreddamento introduce nuovi carichi termici, nuovi requisiti di portata e nuove condizioni idrauliche in un sistema esistente. Che si tratti di Rear-Door Heat Exchangers su rack esistenti, dell’installazione di una CDU per alimentare un nuovo cluster GPU o della piena estensione del Liquid Cooling su una nuova sezione di superficie, l’infrastruttura di acqua refrigerata esistente è il fondamento su cui si basa tutto il resto.
Se non si conosce lo stato iniziale di questa infrastruttura – le portate reali, il ΔT reale, i punti di funzionamento reali delle pompe e la distribuzione reale nelle derivazioni – si pianifica il retrofit sulla base di ipotesi. Queste ipotesi provengono dai documenti di progetto originali, che riflettono ciò che il sistema avrebbe dovuto fornire al commissioning – magari dieci anni fa. I filtri si sporcano, le valvole di bilanciamento derivano, le giranti si usurano e i setpoint vengono regolati nel corso di dieci anni di esercizio. Il sistema su carta raramente coincide con quello che si ha davvero.
Installare sensori di portata e misuratori di termoenergia prima di qualsiasi intervento sulla capacità offre tre cose che altrimenti non si ottengono: una baseline reale come base di progettazione, criteri significativi per i test di accettazione e un confronto prima/dopo che dimostra se il retrofit ha funzionato.
Il costo dell’instrumentazione è contenuto rispetto al retrofit stesso – ed è molto contenuto rispetto al costo di un dimensionamento errato: impianti sovradimensionati, circuiti secondari con prestazioni insufficienti o un impianto frigorifero che non riesce a sostenere il nuovo carico.
2. Creare la baseline del sistema di acqua refrigerata esistente
Iniziate dall’impianto. Prima di toccare qualsiasi altra cosa, installate la misura di portata e temperatura sui collettori principali (header) di mandata e ritorno dell’acqua refrigerata.
In questo modo definite l’intervallo operativo reale dell’impianto frigorifero: quanta portata eroga, a quale temperatura di mandata e quale ΔT restituisce il sistema. Confrontatelo con le specifiche di progetto – e quasi sempre troverete almeno una sorpresa.
Le evidenze tipiche in questa fase sono:
· ΔT più basso rispetto al progetto. Il sistema fa circolare più acqua del necessario per asportare calore. Questo significa: le pompe lavorano più del necessario e l’efficienza dei chiller è peggiore di quanto dovrebbe essere.
· Distribuzione di portata non uniforme. Alcuni header ricevono più della loro quota, altri troppo poco.
· Staging dei chiller non coerente con il carico reale. Due chiller ciascuno al 40% invece di uno all’80% è un’inefficienza comune che diventa evidente solo con dati di termoenergia in tempo reale.
Create questa baseline, se possibile, con strumenti permanenti oppure, per una prima valutazione, con misuratori a ultrasuoni clamp-on temporanei. I dati di una registrazione di due-quattro settimane con condizioni di carico IT variabili sono molto più preziosi di una singola istantanea. Mostrano il comportamento dinamico del sistema e come reagisce a variazioni di carico, oscillazioni della temperatura ambiente e profili di domanda dipendenti dall’orario.
3. Misurare la portata di CRAH e derivazioni prima di aumentare la densità di potenza
I Computer Room Air Handlers rappresentano la distribuzione di raffreddamento esistente. Prima di sostituirli o affiancarli con un’infrastruttura di Liquid Cooling, misurate cosa stanno effettivamente fornendo.
Ogni CRAH preleva acqua refrigerata dal circuito dell’edificio e asporta calore dall’aria della sala. La portata attraverso ciascun CRAH, combinata con le temperature di mandata e ritorno dell’acqua, indica la potenza frigorifera reale. Questo valore spesso differisce da quello di targa – talvolta più basso per sporcamento delle batterie o degrado della valvola di regolazione, talvolta più alto se l’unità è gestita in sovraraffreddamento a basso carico IT.
Per la pianificazione del retrofit è ancora più importante: l’idraulica delle derivazioni, ovvero il bilanciamento delle portate nei rami. Le derivazioni che alimentano i singoli CRAH sono state bilanciate al commissioning. Questo non significa che siano rimaste bilanciate. Un ramo progettato per il 20% della portata totale dell’impianto oggi può ricevere il 28% – perché una valvola di bilanciamento a monte è stata regolata per un altro motivo o perché la valvola di regolazione di un CRAH in un ramo vicino è rimasta guasta in chiusura e nessuno si è accorto che la portata si è redistribuita.
L’installazione di misuratori di portata dell’acqua refrigerata su ogni derivazione CRAH prima del retrofit mostra:
· Quali CRAH sono limitati dalla portata rispetto a quelli limitati dalla valvola
· Quali rami hanno riserve di capacità per carichi aggiuntivi
· Dove può essere inserito un circuito secondario di Liquid Cooling senza sovraccaricare il ramo idraulico di alimentazione
· Se una nuova installazione di CDU richiede un ribilanciamento dell’intero circuito di distribuzione o solo un adattamento locale
Queste informazioni influenzano direttamente dove collocare le CDU, come dimensionare le pompe del circuito secondario e se le valvole di regolazione esistenti in ciascun ramo possono gestire il requisito di portata aggiuntivo che l’equipaggiamento di Liquid Cooling comporta.
Un misuratore di portata su ogni ramo CRAH non deve necessariamente essere un’instrumentazione permanente – anche se è utile per la trasparenza operativa continua. Come minimo, registrate ogni ramo per due-quattro settimane prima di finalizzare il design del retrofit.
4. Integrare il monitoring attorno a scambiatori di calore e circuiti secondari
Molti impianti che già dispongono di Rear-Door Heat Exchangers, In-Row-Cooler o di una installazione CDU di generazioni precedenti hanno circuiti secondari con troppo poca strumentazione.
Un Rear-Door Heat Exchanger (RDHx) su una fila di rack esistente preleva acqua refrigerata dal circuito dell’edificio e asporta calore dall’aria di espulsione dei server. Senza una misura di portata sull’alimentazione RDHx e un ΔT attraverso l’RDHx, non sapete quanta parte del carico termico del rack stia effettivamente gestendo – e quanta finisca nella sala e arrivi ai CRAH. Per la pianificazione del retrofit questa ripartizione è decisiva, perché influisce su come modellate il carico residuo dei CRAH dopo l’integrazione del nuovo Liquid Cooling.
Per ogni circuito secondario esistente – una piccola installazione CDU, un circuito di raffreddamento di laboratorio o un Legacy In-Row Liquid Cooler – integrate la misura di portata e temperatura su entrambi i lati dello scambiatore di calore:
Lato primario (acqua refrigerata edificio in/out): mostra cosa il circuito dell’edificio fornisce realmente a questo sistema secondario e se arriva sufficiente portata dall’impianto frigorifero.
Lato secondario (circuito del refrigerante verso i server): mostra cosa i server ricevono e restituiscono realmente. Il ΔT sul circuito secondario, combinato con la portata secondaria, fornisce il calore effettivamente asportato. Verificate questo con la potenza IT assorbita dalle rack-PDU – i valori dovrebbero coincidere; se non coincidono, c’è un problema nella misura o nel percorso di raffreddamento.
Questo confronto primario/secondario è uno degli strumenti diagnostici più utili durante una valutazione retrofit. Identifica sporcamento dello scambiatore (ΔT basso su entrambi i lati a carico costante), vincoli idraulici nel circuito secondario (portata primaria corretta, ma portata secondaria bassa) e problemi delle valvole di regolazione (portata primaria che non correla con le variazioni del carico IT).
5. Strumentare le alimentazioni RDHx e CDU
La nuova dotazione di Liquid Cooling nel retrofit – unità RDHx, CDU per alimentare rack GPU, sistemi di distribuzione manifold per Direct-to-Chip Cooling – richiede, prima del commissioning, un’instrumentazione di portata nei punti di connessione lato edificio.
Alimentazioni RDHx.
Ogni unità Rear-Door o gruppo di unità alimentate da un ramo comune richiede un misuratore di portata e sensori di temperatura su mandata e ritorno. È il minimo per verificare che ogni unità riceva la portata di progetto alla giusta temperatura di mandata e per calcolare la reale asportazione di calore per unità. Senza questo, le prestazioni RDHx sono sconosciute; sapete solo che le temperature delle apparecchiature IT sono nei limiti – che, nel migliore dei casi, è un indicatore a posteriori.
Connessioni primarie CDU.
Ogni CDU è collegata sul lato primario al circuito di acqua refrigerata dell’edificio. Un misuratore di portata e una coppia di sensori di temperatura su questa connessione forniscono la misura dell’input termico della CDU sul lato primario. Insieme alla strumentazione interna della CDU sul circuito secondario, ottenete un bilancio energetico completo di questa unità di raffreddamento. Qualsiasi scostamento tra apporto di calore lato primario e asportazione lato secondario indica un errore di misura o una perdita di energia nella CDU stessa.
Header di distribuzione manifold.
Nelle installazioni in cui un manifold centrale distribuisce il refrigerante a più CDU o circuiti rack, la misura di portata su mandata e ritorno del manifold, insieme alle portate dei singoli rami, offre trasparenza sul bilanciamento della distribuzione. È l’equivalente della misura delle derivazioni CRAH sul lato aria – gli stessi problemi di sbilanciamento si verificano anche negli header di distribuzione dei liquidi quando non vengono monitorati attivamente.
Questi punti di connessione si prestano alla misura di portata a ultrasuoni: nessuna parte mobile nel circuito, praticamente nessuna perdita di carico aggiuntiva e un dispositivo in grado di servire sia il BMS dell’edificio (via Modbus RTU) sia il controller della CDU (via analogico o impulso). ALSONIC di Allengra è un esempio in cui trasduttori, elettronica e stack di comunicazione sono sviluppati internamente – riducendo uno strato di rischio di integrazione durante il commissioning.
6. Pianificare l’integrazione BMS e DCIM prima del commissioning
L’instrumentazione esprime il suo pieno valore solo se i dati arrivano dove vengono utilizzati. Questo significa: pianificare l’integrazione prima di installare i sensori – non dopo.
Le decisioni in questa fase:
Cosa va nel BMS rispetto al DCIM? I dati di termoenergia a livello di sito (header dell’impianto, rami principali di distribuzione) di norma vanno nel BMS. I dati di rack e CDU – soprattutto in ambienti ibridi con raffreddamento ad aria e a liquido – spesso vanno nel DCIM, dove possono essere correlati ai dati di carico e potenza IT. Alcuni dati devono andare in entrambi i sistemi. Definitelo prima di fissare i protocolli di uscita.
Scelta del protocollo: Modbus RTU (o Modbus TCP) è lo standard per l’integrazione BMS. IO-Link è sempre più utilizzato per le connessioni ai controller OEM delle CDU. Chiarite cosa supporta il sistema di destinazione e specificate di conseguenza le uscite dei sensori. Un protocollo di uscita errato significa inserire un convertitore di protocollo, un componente in più, un’ulteriore fonte di guasto e maggiore latenza.
Data point per strumento. Un misuratore di portata può fornire portata, temperatura (se è inclusa una coppia di sensori abbinata), ΔT, potenza termica istantanea, energia cumulata, stato della qualità del segnale e stato della rilevazione bolle. Non tutte le integrazioni BMS usano tutti questi valori, ma definite in anticipo la lista dei data point, in modo che la register map Modbus sia completa prima dell’avvio del commissioning.
Definizioni di allarme. Quali condizioni generano allarmi BMS? Portata bassa su un’alimentazione primaria di CDU. Alta temperatura di ritorno in un circuito secondario di rack GPU. Rilevazione bolle in un ramo di raffreddamento critico. Questo deve essere definito prima del commissioning, mappato sulle categorie di allarme del BMS e assegnato al giusto gruppo di manutenzione. Un allarme che non arriva a nessuno non è un allarme.
Historian e trending. Il reporting energetico, i calcoli PUE e WUE e la verifica delle prestazioni del retrofit richiedono dati storici. Assicuratevi che l’historian del BMS sia configurato per registrare i nuovi data point a intervalli adeguati – un minuto per il reporting energetico, uno-dieci secondi per la diagnostica transiente – prima che il sistema vada live.
7. Uso dei dati di portata, temperatura e bolle per i test di accettazione. Il collaudo di accettazione del retrofit è il sign-off formale che il nuovo sistema di raffreddamento funziona come previsto. Senza instrumentazione di baseline e metering live, l’accettazione è spesso visiva: tutto sembra corretto, le temperature sono nei limiti – invece che quantitativa.
Con la giusta instrumentazione potete testare rispetto a criteri di prestazione reali.
Potenza termica evacuata. Il sistema CDU o RDHx dovrebbe fornire una potenza in kW definita, a una temperatura di mandata e condizioni di portata definite. Misuratela. Un’unità che soddisfa la performance termica alle condizioni di progetto ma fallisce con una portata primaria ridotta vi dice qualcosa sulla riserva idraulica del circuito dell’edificio.
ΔT alla portata di progetto. Il circuito secondario dovrebbe operare, sotto un carico IT rappresentativo, con il suo ΔT di progetto tra mandata e ritorno. Il fenomeno low-ΔT – lo stesso problema che colpisce il raffreddamento ad aria – si manifesta qui quando la portata secondaria è più alta del necessario. Confermate che il ΔT rientri nell’intervallo di progetto prima di firmare l’accettazione.
Bilanciamento delle portate di ramo. Dopo attività di rebalancing su rami CRAH o sugli header di distribuzione del Liquid Cooling, verificate ogni portata di ramo rispetto al suo valore di progetto. Documentate le portate misurate al commissioning come nuova baseline per confronti futuri.
Baseline per la rilevazione bolle. Mettete in servizio le uscite di rilevazione bolle e definite una baseline del funzionamento normale durante la fase iniziale di avviamento. Il segnale acustico dell’ALSONIC mostra come il sistema si stabilizza mentre l’aria iniziale viene espulsa dal circuito. Il momento in cui il segnale bolle si stabilizza sul livello di fondo è una milestone di commissioning significativa – più informativa di un criterio puramente basato sul tempo.
Confronto prima/dopo. Con dati di baseline dalla fase di misura pre-retrofit e dati live dal sistema messo in servizio, potete mostrare con precisione cosa è cambiato: ΔT dell’impianto, bilanciamento delle portate di ramo, termoenergia erogata per kW di carico IT e punti di funzionamento delle pompe. Questa documentazione chiude il progetto e definisce il punto di partenza per l’esercizio futuro.
8. Check-list retrofit e prossimi passi
Completate quanto segue prima che inizi qualsiasi installazione fisica:
Valutazione baseline
· Portata e temperatura degli header dell’impianto registrate per almeno due settimane
· ΔT dell’acqua refrigerata esistente confrontato con le specifiche di progetto
· Tutte le portate dei rami CRAH misurate e documentate
· Scambiatori di calore dei circuiti secondari esistenti misurati su entrambi i lati
· Punti di funzionamento delle pompe (velocità, corrente, pressione differenziale) registrati
· Installazioni RDHx o CDU esistenti strumentate e dati di baseline acquisiti
Input per il design del retrofit confermati
· Portata disponibile per ogni nuovo ramo CDU o RDHx confermata rispetto alla capacità dell’impianto
· Riserva idraulica del ramo verificata prima di aggiungere nuovi carichi
· Temperatura di mandata dell’acqua confermata come sufficiente per le specifiche dell’equipaggiamento di Liquid Cooling
· Concentrazione di glicole misurata e compatibile con i materiali della nuova dotazione
Specifica dell’instrumentazione
· Posizioni di installazione dei misuratori di portata definite per tutte le nuove connessioni primarie CDU
· Punti di misura per la misura di portata dei rami RDHx confermati
· Coppie di sonde di temperatura specificate per tutti i punti di misura ΔT
· Necessità di rilevazione bolle sui circuiti secondari allineata con il fornitore CDU
· Protocolli di uscita confermati con i sistemi BMS e DCIM riceventi
· Register map Modbus richieste al fornitore del sensore prima del commissioning
Integrazione BMS e DCIM
· Lista dei data point definita e allineata con il team MSR
· Soglie di allarme e instradamento degli allarmi definiti prima del commissioning
· Logging Historian confermato agli intervalli richiesti
· Input per il calcolo PUE e WUE identificati e mappati
Criteri di accettazione
· Valori target per la potenza termica evacuata per ogni CDU o RDHx definiti
· Intervallo ΔT alla portata di progetto documentato come criterio Pass/Fail
· Tolleranza per il bilanciamento delle portate di ramo definita
· Costruzione della baseline di rilevazione bolle inclusa nel protocollo di commissioning
· Formato del report di confronto prima/dopo concordato
L’instrumentazione descritta qui non rappresenta una parte rilevante del budget di un retrofit – ma è la parte che determina se il resto del progetto può essere dimensionato correttamente, messo in servizio e verificato. Un retrofit di Liquid Cooling su un sistema di acqua refrigerata non sufficientemente caratterizzato è un rischio che i Facility Engineer esperti hanno già visto spesso manifestarsi in modo negativo. I sensori di portata e i contatori di termoenergia che evitano questo risultato si possono specificare, installare e integrare con facilità – in particolare con un misuratore/contatore di energia a ultrasuoni come ALSONIC, che combina portata, rilevazione bolle e uscita Modbus in un unico dispositivo.
Allengra è un’azienda di sviluppo e produce e sviluppa misuratori di portata a ultrasuoni internamente. Possiamo adattare e sviluppare in modo personalizzato ogni singolo prodotto del nostro portfolio per applicazioni di raffreddamento di data center AI e per OEM – in versione clamp-on o a contatto con il fluido.
