Aufbau eines dezentralen 100k-Node Edge-Grids: Flüssigkeitsgekühlte Server in Wohngebäuden. Suche Architektur-Rat.

[Hansolo1978]

Hallo zusammen,

ich entwickle derzeit HeliOSCLOUD, ein Projekt aus Darmstadt mit dem Ziel, 100.000 dezentrale, flüssigkeitsgekühlte Edge-Nodes direkt in den Kellern von Wohngebäuden zu platzieren.

Das Konzept:Wir integrieren Hochleistungs-Serverhardware (in Zusammenarbeit mit etablierten Herstellern) in die bestehende Gebäudeinfrastruktur. Der Clou: Wir nutzen einen Flüssigkeitskühlkreislauf, um die „Abwärme“ aufzufangen und sie dem Gebäude als thermisches Nebenprodukt zur Verfügung zu stellen.

Die Hardware:

• Maßgeschneiderte, flüssigkeitsgekühlte Nodes (Fokus auf KI-Inferenz und High-Density Computing).
• Zielgröße: 100.000 Einheiten regional/global.
• Kein User-Interface für den Hausbesitzer – es handelt sich um ein reines "Black-Box" Infrastruktur-Asset.

Die Herausforderung:Ich suche Experten-Insights zur optimalen Orchestrierung und Wartung eines so massiven, geografisch verteilten Clusters.

Konkret interessieren mich eure Gedanken zu folgenden Punkten:

1. Orchestrierung im großen Stil: Würdet ihr bei einem 100k-Node-Deployment eher auf eine leichtgewichtige K8s-Distribution wie K3s setzen oder eher auf einen spezialisierten P2P-Orchestrierungs-Layer, um hohe Latenzen und schwankende Node-Verfügbarkeit zu managen?
2. Thermal-Aware Scheduling: Hat jemand Erfahrung mit Workload-Schedulern, die den „thermischen Bedarf“ berücksichtigen? (Beispiel: Mehr Rechenlast an einen Node schieben, weil der physische Standort gerade mehr Wärmeabfuhr benötigt).
3. Remote Maintenance & Provisioning: Was ist der robusteste Weg für ein „Zero-Touch-Provisioning“ durch Techniker vor Ort (kein IT-Fachpersonal), um sicherzustellen, dass der Node sicher ins Grid integriert wird?
4. Sicherheit/Isolation: Abgesehen von TEE (Trusted Execution Environments) – was sind die größten Fallstricke beim Betrieb sensibler KI-Workloads in einer physisch „unsicheren“ Wohnumgebung?

Das Projekt befindet sich derzeit in der Prototyping-Phase. Ich möchte mich gerne mit Architekten und Ingenieuren vernetzen, die Erfahrung mit großflächig verteilter Hardware haben.

Ich freue mich auf euer Feedback und eine spannende Diskussion darüber, ob das die Zukunft der Cloud ist oder ein logistischer Albtraum! Danke!

 

[pajaa]

Spannendes Thema. Hast du bereits Antworten auf Frage, warum dezentrale Nodes besser sind als ein RZ am Fernwärmenetz? Nutzt ihr die Abwärme im Sommer zur Kälteerzeugung?

 

[JumpingCat]

Würdet ihr bei einem 100k-Node-Deployment eher auf eine leichtgewichtige K8s-Distribution wie K3s setzen oder eher auf einen spezialisierten P2P-Orchestrierungs-Layer, um hohe Latenzen und schwankende Node-Verfügbarkeit zu managen?

Das kannst du locker simulieren.

Sicherheit/Isolation: Abgesehen von TEE (Trusted Execution Environments) – was sind die größten Fallstricke beim Betrieb sensibler KI-Workloads in einer physisch „unsicheren“ Wohnumgebung?

Du willst an die Heizung und Strom dran, aber gleichzeitig sicherstellen das dir niemand den Server über Nacht klaut. Was sind deine Ideen für dieses Problem?

Zusätzlich ist es im Keller notorisch dreckig. Und Krach sollten deine Server auch nicht machen.

Was ist der robusteste Weg für ein „Zero-Touch-Provisioning“ durch Techniker vor Ort (kein IT-Fachpersonal), um sicherzustellen, dass der Node sicher ins Grid integriert wird?

Wie willst du das Zeug da überhaupt hinbekommen? Da brauchst du schon eine Spedition und Techniker vor Ort.

 

[tRITON]

Ich habe heute danke dem Post echt was zum Lachen gehabt.

 

[eRacoon]

Wenn ich das richtig verstehe willst du quasi z.B. in Einfamilienhäuser so eine Kiste in den Keller/Technikraum stellen mit Anschluss an den Heizungskreislauf und damit z.B. einen Pufferspeicher warm halten?

Damit das im Winter wirklich was bringt müsste man da ja irgendwas mit 2-5kw Minimum hinstellen um irgendwie einen Effekt zu haben.
Mit so einer Kiste wirst du dann aber nur wenige Monate im Jahr "ertrag" haben, im Sommer will ja keiner einen Server mit 5kw Abwärme in seinem Technikraum haben. Da steht Worst Case eh schon der PV Wechselrichter der schön den Raum bei 30°C hält.

Ein Server der nur 50% der Zeit auf Vollast laufen kann und den Rest der Zeit aus oder stark gedrosselt ist verdient kein Geld. Habt ihr das wirtschaftlich wirklich mal durchgerechnet ob sich sowas lohnt.

Bin zwar ein Freund von Wärmerückgewinnung, aber ich kenne das Hosting Business und da ist knallhart jeder Cent durchkalkuliert.

Oder reden wir hier von großen Wohnkomplexen? Dann ist das aber kein "ich werf das in den Keller" sondern dann reden wir ja schnell über kleine RZs oder eigene Räume in dem Komplex. Da hast du dann wieder so gigantische deutsche Themen wie Brandschutz, Lärmschutz, Passagierschein 38A etc... hoffe das ist alles geklärt, denn sowas ist meist der größte Showstopper.

 

[kachiri]

Brandschutz, Lärmschutz

Und das sind halt Themen. Server sind nicht leise - und die Brandgefahr ist halt auch real. Und das dauerhaft im Keller eines Wohnkomplexes? Hat schon seinen Grund, warum Rechenzentren meist irgendwo in der Pampa sind. Wobei "irgendwo" auch wieder relativ ist. Dass das erwähnte Datenzentrum von OVH direkt am Rhein gelegen ist, war sicher auch keine zufällige Entscheidung.
Ein anderer Faktor dürfte aber durchaus auch die Anbindung ans Netz sein.

Wobei es in Frankfurt-Westville ja ein solches Modellprojekt gab. Wobei das Rechenzentrum hier nicht in den Kellern angesiedelt war, sondern quasi auf der anderen Straßenseite am Rand der Wohnbebauung. Wobei die Fertigstellung gerade "läuft". Dunno was aus den Plänen von 2020 während des Projektes bis heute geworden ist und ob es wirklich genau wie geplant umgesetzt wurde.

 

[Das MatZe]

oder ein logistischer Albtraum

So interessant und sinnvoll ich die Idee finde, die Abwärme dezentral gleich dort zu zu nutzen, wo sie gebraucht wird, so viele Hürden sehe ich hier auch.

Das fängt bei den Basics wie z.B. dem Strom an. Bezahlt den der Wohneigentümer, bekommt der eine Art Entschädigung? Server sind so betrachtet nichts anderes als Stromdirektheizungen, sprich mit einem kW Strom bekommt man auch erst mal nur ein kW Wärme. Das ist teuer und würde somit kein Immobilienbesitzer mit tragen, sofern man das nicht attraktiver (z.B. der verbrauchte Strom wird von euch bezahlt und der Kunde kann die Abwärme dann für geschenkt nutzen.) gestaltet.

Wie soll die Integration in ein Heizsystem geschehen? Sowas kann allenfalls in modern(isiert)en Gebäuden mit sehr niedrigen Vor- und Rücklauftemperaturen im Heizkreis überhaupt direkt genutzt werden. Andernfalls wäre sonst nur eine Wärmepumpe möglich, welche die Wärme aus dem Kühlkreislauf der Server abnimmt, auf ein höheres Niveau anhebt und so in den Heizkreis befördert. Ohne große Ahnung von Heizsystemen zu haben müsste sowas auch wenigstens durch einen Plattenwärmetauscher hydraulisch getrennt werden - es sind Eingriffe ins Heizsystem im Gebäude also unumgänglich.

Was passiert, wenn mehr Wärme als benötigt zur Verfügung gestellt wird? Diese muss irgendwo hin abtransportiert werden. Zudem - wenn das Modell wie oben von mir Skizziert wäre - würde der Immobilienbesitzer für Strom und Wärme bezahlen, was aber nirgends benötigt wird. Einen Brauchwasserspeicher könnte man wenn überhaupt nur zusammen mit einer Wärmepumpe beladen.

Wie sieht's mit Lärm aus? Luftgekühlte Server machen ne Menge krach, Flüssigkeitsgekühlt bedeutet aber nicht implizit, dass Luftstrom (z.B. für Netzteile) entfallen kann.

Wie schaut die Netzwerkanbindung aus? Die sicherste Variante wäre vermutlich ein von dem/den Bewohner(n) vollständig getrennter Businessinternetanschluss.
Bei einem EFH könnte ein von euch gezahlter Internetanschluss, den der Kunde mitnutzen kann/darf sicherlich ein reizvolles Bonbon - birgt aber auch wieder Haftungsfragen/Risiken und das Potenzial, dass eine intensive Nutzung durch den Kunden euren Server ausbremst.

Dann kommen noch so Dinge dazu wie etwa, dass ein Server auch einfach mal ausfallen kann und von euch niemand dran kommt, weil der Kunde gerade im Urlaub ist. Ein Server, der nicht läuft, verdient auch kein Geld.

Generell sehe ich hier leider zu viele Risiken durch Regularien oder mögliche Verdienstausfälle, weil zu viele Fehlerquellen nicht mehr (direkt) in eurer Hand liegen.


Nochmal - die Idee an sich finde ich spitze aber ich fürchte, das wird zumindest in Deutschland nix.

 

[madmax2010]

Es gab in den Niederlanden eine Firma, die zum scheduling solcher Infrastruktur Abschlussarbeiten betreut hat. Ist glaube ich insolvent, aber wenn du sie findest, findest du ihre Publikationen.
sie haben auf der kubecon in Kopenhagen auch einen Vortrag dazu gehalten. Gerade dein 2. Punkt war ihnen wichtig.

In Dresden sitzt auch noch die cloud and heat. Mit denen kann man auch mal reden.

Es gab sicher schon 10 Unternehmen, die was ihr vorhabt probiert haben.

3 und 4 sind halt Fleißarbeit. Das müsst ihr Stumpf abarbeiten.
3 ist vor allem Doku Und support.
4 ist was man in jeder cloud braucht. Geh davon aus, dass du niemandem trauen kannst und Bau die Infrastruktur entsprechend.

Sicher, dass ihr das helioscloud nennen wollt? Ich kenne einige Firmen, die den Namen wohl für sich beanspruchen wollen würden.
Mindestens in der Schweiz und in Deutschland kenne ich sogar Leute die bei passenden Firmen arbeiten

Hast du nen link zum Projekt?
Wie viel funding habt ihr? Ich gehe mal vorsichtig von 10-50k pro Server aus, damit seid ihr bei 1-5 Milliarden Kapitalbedarf.
Plus personal, Wartung, uplink..
Gaia x war billiger.

Normal ist bei Projekten der Größenordnung ein Pilotprojekt das nur 7 stellig kostet.

 

[Janush]

Frag doch gleich die KI mit der auch dieser Post erstellt wurde.

 

[DrDubios]

https://www.helios.de/web/DE/loesungen/cloud-collaboration.html << ?? wenn schon die erste suche sowas ausspuckt, sollte man den namen wirklich überdenken.

 

[Samez]

Ich würde fast empfehlen sich mit einem der Heizungshersteller zu einem Förderprojekt zusammen zu tun, um dort sinnvolle Hardwareschnittstellen zu haben - die meisten modernen Warmwassererzeuger sind ja auch nicht mehr reine Dumb Geräte - von Wärmepumpen, echter Fernwärme und Passivhäusern mal nicht gesprochen. Zusätzlich sind natürlich die entsprechenden Gesetze zu beachten (Thema Legionellen usw.)
Wir hatten vor >10 Jahren mal ein Projekt in der Arbeit wo mit Brennstoffzellen sowohl Wärme als auch Strom erzeugt werden sollte - eine der unüberwundenen Hürden war damals das Thema Lastzyklen - es gibt am Morgen einen kurzen aber heftigen Peak, wenn die Leute aufstehen, Duschen usw. und dann Abends einen etwas länger gezogenen zwischen Feierabend und etwa Tagesschau. Dazwischen ist die Grundlast meist relativ niedrig und auch noch Saisonal abhängig.

 

[Looniversity]

Es gibt kleine "Quartierswärme" (glaube ich) genannte Modelle mit Biogas- oder Holzblockheizkraftwerk, die über ein lokales Wärmenetz auch 5-500 Wohnungen mit Wärme versorgen und auch Strom einspeisen.
Bei sowas könnte man die Wärme von 100k Servern direkt "halbzentral" einspeisen und du musst dir nur über einen Sicherheitsbereich Sorgen machen, nicht über 1000 Gebäude. Ob du ein existierendes Projekt findest das noch ein paar Megawatt Wärme gebrauchen kann und Netzanschluss-Kapazität frei hat oder selbst ein neues (mit-)initiierst ist beides möglich.

 

[Tensai44]

Lautstärke, Brandschutz, Temperatur, Klima, Luftfeuchtigkeit, Schimmel, Staub, Versicherung, Stromversorgung, ......

 

[Looniversity]

Btw HeliosCloud ist auch eine Firma in Zürich. Nicht, dass da ein Streit über Namensrechte zur Insolvenz deines Projektes führt.

 

[madmax2010]

https://www.reddit.com/user/Technical_Basket9870/

Dude.
Man kann seine neuen Ideen und Namen auch mal googlen anstatt sie mit der Schrotflinte in Foren zu verteilen

 

[Hansolo1978]

Hallo zusammen,

erst einmal ein riesiges Dankeschoön für die rege Beteiligung und die harten, aber berechtigten Fragen! Genau diesen „Realitätscheck“ habe ich gesucht. Dass das Thema polarisiert und Skepsis hervorruft, ist völlig verständlich – dezentrale Infrastruktur in Deutschland ist ein Endgegner-Level.

Hier ein paar Antworten zu den wichtigsten Punkten:

1. Wirtschaftlichkeit & Sommerbetrieb: Wir planen kein „Heizungsprojekt“, sondern ein KI-Inferenz-Netzwerk. Die Rechenleistung ist das Produkt, die Wärme das Abfallprodukt. Da wir auf Brauchwasser (Duschwasser) koppeln, haben wir auch im Sommer eine Grundabnahme. Wenn der Speicher voll ist, wird die Leistung gedrosselt oder über einen kleinen Not-Kühler geführt.
2. Lärm & Dreck: Die Nodes sind vollständig flüssigkeitsgekühlt (geschlossenes System). Es gibt keine Gehäuselüfter, die Staub fressen oder Lärm machen. Die Pumpe ist leiser als eine Standard-Umwälzpumpe im Heizungskreis.
3. Brandschutz & Versicherung: Absolut kritisch. Die Hardware wird als abgeschlossenes System nach Industriestandard zertifiziert. Da keine brennbaren Materialien (wie bei Luftfiltern) und keine Batterien verbaut sind, ist die Brandlast kalkulierbar. Das wird ein Kernteil der Zertifizierung.
4. Diebstahl & Sicherheit: Wir setzen auf Full-Disk-Encryption (LUKS) und Trusted Execution Environments (TEE). Bei physischer Manipulation (Tamper-Detection) oder Trennung vom Netz werden die Keys sofort verworfen. Die Hardware ist für den Dieb wertlos, die Daten bleiben sicher.

Der Hinweis auf Nerdalize und die KubeCon 2018 war goldwert – wir analysieren deren Geschichte sehr genau, um die Fehler (speziell die Hardware-Kosten und die Internet-Latenz) nicht zu wiederholen.

Ich werde mich jetzt erst einmal wieder in die technische Konzeption vertiefen.

Beste Grüße und DANKE!

 

[Thomrock]

Also das Konzept erschließt sich mir nicht. Wer lässt sich so etwas in die Bude schrauben? Die Wärme von von Serverhardware ist doch nicht in einem Temperaturbereich und Leistungsbereich wo sich z.B. ein Warmwasserspeicher ordentlich betreiben lässt. Dann noch die Brandschutz und Bauvorschriften wie kann das geschäftlich ein Erfolg werden? Ich glaube das ist sinnlos.

 

[TorenAltair]

vollständig flüssigkeitsgekühlt (geschlossenes System)

Wie willst Du das bei Netzteilen und allen Kondensatoren erreichen?

 

[madmax2010]

Wer ist denn wir?

 

[Khorneflakes]

Serverspezialist mit Jahrzehnten Erfahrung im Bereich Serverbetrieb und Rechenzentren hier. Was du dir vorstellst funktioniert nicht. Begrab dein Projekt bevor du noch mehr Geld verbrennst.