Ausgangssituation im Forschungszentrum Jülich

Bereits vor JUPITER wurden campusweit über 120 Power Quality Analyzer eingesetzt, unter anderem in JUWELS. Darunter PQI-DA smart und PQI-DE, mit zentraler Auswertung und latenzarmem Datenzugriff für Simulationsserver, um einen digitalen Zwilling des campusweiten Mittelspannungsnetzes zu erzeugen. Mit JUPITER wurde das Spannungsqualitäts-Monitoring um weitere 17 Messstellen erweitert.

Ausgangssituation - Kurzüberblick:

• Exascale Betrieb mit sehr hohen Anforderungen an Spannungsqualität und Verfügbarkeit
• Campusnetz mit gemischten Last und Einspeiseprofilen
• Über 120 Messstellen als Basis, erweiterbar für JUPITER
• Latenzarmer Datenzugriff zur Forschung und Modellvalidierung

Technische Kerndaten - Netzaufbau und Messarchitektur

Diese Daten bilden die Grundlage für die kontinuierliche Spannungsqualitäts-Erfassung im Campusnetz Jülich.

Herausforderungen in Hochleistungs­rechenzentren

Rechenzentren reagieren empfindlich auf Spannungseinbrüche, Flicker, transiente Ereignisse, Oberschwingungen und Supraharmonische.
GPU intensive Jobs und Kühlung erzeugen schnelle Lastsprünge. Die Integration von BHKW, PV, Speichern und V2G Ladesäulen verändert Lastflüsse und Spektren bis 20 kHz.
Neben der technischen Beherrschung sind eine IEC-61000-4-30 Klasse A konforme Spannungsqualitäts-Erfassung und eine wirtschaftlich skalierbare Dokumentation erforderlich.

In HPC Infrastrukturen wie JUPITER treten hochfrequente Stromänderungen durch Takt und Lastsprünge der GPU Cluster auf. Diese führen zu kurzzeitigen Oberwellen Überhöhungen und frequenzselektiven Kopplungseffekten zwischen Mittel und Niederspannungsebene.
Eine kontinuierliche, hochauflösende Power-Quality-Analyse ermöglicht es, solche transienten Phänomene frühzeitig zu erkennen und gezielt zu bewerten - ein entscheidender Faktor für die Energieversorgung und Betriebssicherheit in Rechenzentren und industriellen Campusnetzen.

Herausforderungen - Kurzüberblick

• Hohe Lastdynamik durch HPC-Jobs und Kühlung
• PQ-Einflüsse bis 20 kHz durch Leistungselektronik
• Pflicht zur normkonformen Spannungsqualitäts-Messung und Dokumentation
• Skalierbares Power-Quality-Monitoring bei vertretbaren Opex

Messdaten - HPC-spezifische Power-Quality-Effekte

Diese Parameter charakterisieren die typischen Netzphänomene im Exascale-Betrieb.

Projektziele und Anforderungen

Zentral sind vollständige Transparenz über Lastflüsse, Validierung von Simulations- und Netzmodellen, ein wirksames Frühwarnsystem für kritische Ereignisse sowie Flexibilität für spätere Erweiterungen im Campusnetz.

Projektziele - Kurzüberblick

• Spannungsqualitäts-Analyse für Transparenz, Validierung, Frühwarnung, Flexibilität, Compliance
• 10-Minuten-Mittelwerte plus eventbasierte Störschriebe
• Präzise Zeitbasis und zentrale, rollenbasierte Auswertung

Die erhobenen Messdaten dienen nicht nur der Betriebsüberwachung, sondern fließen direkt in die Validierung digitaler Zwillinge des Campusnetzes ein.
So kann das Forschungszentrum Reaktionszeiten, Spannungsstabilität und Netzrückwirkungen realitätsnah simulieren und die Ergebnisse mit Live Daten aus den Power Quality Analyzer Systemen abgleichen.

Technische Lösung für Power Quality Monitoring im Rechenzentrum

Das Forschungszentrum Jülich setzt auf ein abgestuftes Konzept für Power Quality Monitoring im Rechenzentrum mit PQI-DE, PQI-DA smart und WebPQ®.
An wichtigen Knotenpunkten sind PQI-DE installiert, deren großes Display direkten Live Zugriff auf Spannungsqualitäts-Daten erlaubt.
In der Tiefe des Netzes wurden PQI-DA smart auf Hutschienen eingesetzt, die kompakt, kosteneffizient und für flächendeckende Spannungsqualitäts-Erfassung optimiert sind.
WebPQ® bündelt alle Messstellen, Reports und Alarme in einer zentralen Browseroberfläche.

Das Power Quality Messsystem ist zeitsynchronisiert über GPS oder NTP basierte Zeitserver. Dadurch lassen sich Ereignisse über mehrere Spannungsebenen präzise korrelieren - entscheidend für die Analyse von Ursache Wirkungs Zusammenhängen zwischen Mittel- und Niederspannungsebene

IT-Security in WebPQ®

Gerade im Umfeld von Hochleistungsrechenzentren ist die IT-Sicherheit der Power Quality Monitoring Plattformentscheidend.
WebPQ® erfüllt aktuelle Anforderungen an Datensicherheit und Cyber-Resilienz:

• Verschlüsselte Kommunikation über HTTPS und TLS
• Rollenbasierte Benutzer- und Rechteverwaltung
• Sichere Authentifizierung (inkl. 2FA-Optionen)
• Audit-Trails und revisionssichere Protokollierung
• Optionale Netzwerksegmentierung

Zudem unterstützt WebPQ® die Anbindung an SIEM-Systeme, sodass sicherheitsrelevante Ereignisse in das Gesamt-Sicherheitskonzept des Netzbetreibers integriert werden können.

IT-Security und Integrationspfade in WebPQ®

Die Implementierung gewährleistet sichere Datenwege und kompatible Anbindung an bestehende IT-Security-Konzepte.

Beispiel: Zeitsynchrone Datenabfrage (PostgreSQL)

-- pgsql
SELECT timestamp, voltage, frequency
FROM pq_measurements
WHERE device = 'PQI-DE'
AND frequency BETWEEN 49.9 AND 50.1
ORDER BY timestamp DESC;

Zweck: Abfrage normnaher Frequenzwerte (EN 50160) eines PQI-DE zur schnellen Lagebeurteilung.

Beispiel: WebPQ® API hinter NGINX-Proxy

# nginx
location /webpq/api {
    proxy_pass http://localhost:8080/api/measurements;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header Host $host;
    proxy_set_header X-Forwarded-Proto $scheme;
}

Zweck: Sicherer, zentraler Zugriffspfad auf Messdaten (Reverse-Proxy).

Beispiel: Programmatic Fetch (Java)

/* java */
HttpResponse<String> response = Unirest.get("https://webpq.example.org/api/v1/measurements")
  .header("Authorization", "Bearer <API_TOKEN>")
  .asString();
System.out.println(response.getBody());

Zweck: Automatisierter Abruf für Reporting / Forschung / Digital Twin.

Beispiel: Visualisierungsstil im Dashboard (CSS)

/* css */
.graph-voltage {
  stroke: #0073e6;
  stroke-width: 2;
  fill: none;
}

Zweck: Lesbarer Spannungsverlauf in SVG/Canvas-Charts.

Messergebnisse und Erkenntnisse

Lastflüsse und Trendanalysen

Langzeittrends zeigen Veränderungen im Lastverhalten, etwa durch Softwareupdates, Servererweiterungen oder Kühlstrategien, und ermöglichen frühzeitige Maßnahmen zur Sicherstellung normkonformer Spannungsqualität.

Transienten und Reaktionszeiten

Ereignisgetriggerte Aufzeichnungen mit bis zu 200 kHz Abtastrate ermöglichen eine präzise Spannungsqualitäts-Analyse transienter Ereignisse im Millisekundenbereich.
So lassen sich Auswirkungen auf USV Systeme oder empfindliche Verbraucher in Energieversorgungsnetzen quantifizieren.

Oberschwingungen und Supraharmonische

Die Analyse der Oberschwingungen und Supraharmonischen bis 20 kHz zeigt spektrale Cluster und Resonanzen, die auf Schaltfrequenzen bestimmter Netzteile hinweisen.
Diese Erkenntnisse fließen direkt in die Power-Quality-Optimierung, Filterdimensionierung und EMV Bewertung ein.

Beispiel: Mathematische Trendabschätzung (Mathematica).

(* mathematica *)
Fit[data, {1, x, x^2}, x]

Zweck: Schnelle Kurvenanpassung (Trend, Krümmung) für Zeitreihen.

Nutzen für den Betreiber

Das kombinierte PQI-DE PQI-DA smart WebPQ® Konzept schafft durchgängige elektrische Netztransparenz von der Zuleitung bis zur Unterverteilung, belegt Normkonformität und liefert belastbare Entscheidungsgrundlagen.
Darüber hinaus liefert das System Kennzahlen für Energiemanagement, Spannungsqualitäts-Trends und Kapazitätsplanung.
Durch kontinuierliche Power-Quality-Analyse von Blindleistung, Spannungsasymmetrien und Netzrückwirkungen lassen sich Betriebskosten senken und Netzkomponenten gezielt optimieren.

Fazit und Ausblick

Das Projekt zeigt, wie Exascale Anforderungen und Energiewende gemeinsam beherrscht werden können mit Klasse A Power-Quality-Monitoring im Rechenzentrum, abgestufter Architektur und zentraler WebPQ® Auswertung.
Der Ansatz ist auf andere Rechenzentren, Energieversorger und Campusnetze übertragbar.
Die kontinuierlich erfassten Messdaten schaffen eine belastbare Grundlage für Trendanalysen, technische Bewertungen und die frühzeitige Erkennung kritischer Netzereignisse. Damit unterstützt das System Betreiber von Rechenzentren und Industrienetzen bei Betriebssicherheit, Dokumentation und langfristiger Netzplanung.

Normen, Messverfahren und Integration

Messungen nach IEC-61000-4-30 Ed. 4 Klasse A, Harmonische nach IEC-61000-4-7, Flicker nach IEC-61000-4-15 und Supraharmonische bis 20 kHz.
Dokumentation gemäß EN 50160.
Über standardisierte Schnittstellen CSV, OPC UA, REST API werden Spannungsqualitäts-Daten direkt in MATLAB Simulink oder DIgSILENT PowerFactory importiert.
Das ermöglicht den Abgleich zwischen realem und modelliertem Netzverhalten und die Kalibrierung von Lastfluss- und Stabilitätsmodellen im Campusnetz.

Normen und Messverfahren im Überblick

Beispiel: SQL-Export nach CSV (PostgreSQL)

-- sql
COPY pq_measurements
TO '/var/data/pq_exports/pq_jupiter.csv'
WITH CSV HEADER;

Zweck: Normkonformer Datenauszug für Audit/Analyse.

Produktneuheit PQI-LV

FAQ zum Power-Quality-Monitoring im Rechenzentrum