4x RTX 4090 / 5090 KI-Server im Keller an 25 kWp Solar (DIY) + Heizungs-Puffer. Sinnvoll?

  • Ersteller Ersteller CN_2026
  • Erstellt am Erstellt am
FreshLemon schrieb:
@Der_Dicke82 Doch, Ollama ist hervorragend geeignet für Multi-GPU, sonst würden meine Modelle doch gar nicht funktionieren. Eine einzelne P5000 hat nur 16G VRAM.

Halbe Wahrheit...
Tensor-Parallelität geht nicht
Leistungseinbrüche durch Pipeline-Parallelität
Was der Threadhersteller auch vergisst, den KV-Cache muss er auch noch einrechnen, vor allem bei Multi Sessions, was er ja machen will, wenn er es vermieten will.
 
  • Gefällt mir
Reaktionen: Der_Dicke82
FreshLemon schrieb:
Ollama ist hervorragend geeignet für Multi-GPU, sonst würden meine Modelle doch gar nicht funktionieren. Eine einzelne P5000 hat nur 16G VRAM
Nee, zwischen "funktionieren" und "hervorragend" gibt es doch noch einen großen Unterschied! Wären die Tools von Nvidia und vLLM Tensor-Parallelismus auf hohem niveau können, kann Ollama das nur rudimentär und verliert hier deutlich an Performance (Bei deinen alten P5000 ohne Tensor ist das aber egal)

Wenn du Ollama lokal nur alleine nutzt und ohne viel "API" Zugriffe dann ist der Zuwachs durch vLLM wahrscheinlich eher gering, aber wenn da mehrere Leute zeitgleich dranhängen, oder n8n oder openclaw anfragen im sekundentakt ankommen dann wäre vLLM wegen seines besseren Continuous Batching deutlich im Vorteil.
 
@CN_2026
Ich würde an deiner Stelle einen High Performance Desktop kaufen. Das Ding darf auch ruhig eine Consumer-Grafikkarte wie eine 5090 haben. Damit kannst du dann erstmal ein Gefühl dafür bekommen wie dieses ganze AI-Zeug so funktioniert.

Vor allem kannst du damit dann auch mal ein paar Daten sammeln. Wieviele Token pro Sekunde kannst du mit einer gegebenen Rechenleistung überhaupt generieren. Und dann kannst du mal rechnen wieviel Geld du pro Token verlangen mußt um in endlicher Zeit in die Gewinnzone zu kommen.

Ich lehne mich mal etwas aus dem Fenster und sage, wenn du weißt wieviel Geld du nehmen müßtest und wieviel Geld du im Vergleich zur Konkurrenz nehmen kannst, das ist dann der Zeitpunkt an dem du glücklich bist die Kiste wenigstens noch zum Spielen benutzen zu können.
 
Probier es aus und schreibe uns in einem Jahr einen Leserartikel / Erfahrungsbericht. Ich finde das Thema sehr interessant, glaube aber dass es an einigen Punkten wie z.B. der Verfügbarkeit, Vorlauftemperatur, Leistungsfähigkeit, etc. scheitern wird bzw. zumindest nicht rentabel sein wird.
 
Welche Temperatur hat denn dein Heizungspuffer, wenn er zu "100%" geladen ist an der Stelle / in der Schicht, an der du die Kühlung anschließen willst?
 
CN_2026 schrieb:
Was kannst du mir da empfehlen?
Zum ausprobieren würde ich keine Profi-Workstation mit einer 5090 oder vergleichbar kaufen. Zum Testen reicht auch ein gebrauchter Rechner plus gebrauchter 3060 mit 12GB RAM.
 
  • Gefällt mir
Reaktionen: von Keks
Der_Dicke82 schrieb:
Das geht tatsächlich nur wenn die GPUs das auch unterstützen zum Beispiel mit NVLink aber der wurde nach der 30XX Reihe gestrichen.
Wimre geht das auch über PCIe, dann halt nur langsamer, vLLM ist aber wohl Pflicht, selbst llama.cpp wäre suboptimal und man braucht natürlich für jede Karte einen PCIe 5.0 x16 Steckplätze, damit die Kommunikation der Karten optimal ist.

Die RTX 6000 Blackwell mit 96 GB wäre sogar eine gute Alternative, ein 120B Modell in Q4 passt komplett ins RAM und das Teil ist sogar noch günstiger als die 4x 5090. Damit kann man sich den Konfigurationsaufwand sparen.
Ergänzung ()

FreshLemon schrieb:
Gibt es Open-Source Alternativen, die das besser können?
vLLM ist doch open source!?
 
  • Gefällt mir
Reaktionen: Der_Dicke82, Schwachkopp und AAS
Kommen wir zur eigentlichen Frage zurück:

Nein. Macht keinen Sinn.
 
  • Gefällt mir
Reaktionen: d3nso
DukNukem schrieb:
Welche Temperatur hat denn dein Heizungspuffer, wenn er zu "100%" geladen ist an der Stelle / in der Schicht, an der du die Kühlung anschließen willst?
Wenn der Puffer vom Holzvwrgaser komplett durch geladen ist ca 70 Grad...
 
HerrRossi schrieb:
Die RTX 6000 Blackwell mit 96 GB wäre sogar eine gute Alternative, ein 120B Modell in Q4 passt komplett ins RAM und das Teil ist sogar noch günstiger als die 4x 5090. Damit kann man sich den Konfigurationsaufwand sparen.
Ergänzung ()
KV Cache nicht vergessen, er will es Shared nutzen, der KV-Cache wird explodieren...
 
  • Gefällt mir
Reaktionen: HerrRossi
Du willst mit Strom den du noch nicht hast (sondern erst wenn die PV-Anlage steht) mit Grafikkarten die nicht deine sind mit einer Internetverbindung die eher eine Behelfslösung ist ein Produkt anbieten von dem du (selbst gesagt) keine Ahnung hast.
Um mit deiner zukünftigen PV-Anlage weniger Strom (zu günstig) ins Netz einzuspeisen und nebenbei deinen Hof zu heizen.

Bist du wirklich sicher, dass das die richtige Lösung ist?!

Alternativen sind Batteriespeicher für die PV, Wärmepumpe(n) statt Holzvergaser, jedes erdenkliche andere Business welches aus Strom ein Produkt oder eine Dienstleistung macht... einen Brennofen für ne Töpferei, eine Wäscherei mit großen Trocknern etc...
 
  • Gefällt mir
Reaktionen: HtOW, Skudrinka, HerrRossi und 2 andere
@iSight2TheBlind Nein sicher bin ich mir nicht. Deswegen stelle ich ja hier auch solche doofen Fragen. 😅 Ich möchte einfach zu meinem produzierten Strom nicht für 7 Cent einspeisen.

Was würdet ihr mir für eine KI-Worksstation zum testen empfehlen?
 
CN_2026 schrieb:
Wenn der Puffer vom Holzvwrgaser komplett durch geladen ist ca 70 Grad...
Das musst du dann im Winter auf jeden Fall auch bei der Wasserkühlung der Grafikkarten beachten, bzw zu den Zeiten anders kühlen.
Falls dich das mit der Wasserkühlung wirklich interessiert. Es gibt hier einen Leserartkel, bei dem jemand seinen Radiator in einen Gewölbekeller verbaut hat.
 
@DukNukem OK, vielen Dank für die Info. Jetzt würde ich erst mal mit einer Workstation ohne Wasserkühlung in eine Testphase gehen, um zu sehen und zu lernen...
 
CN_2026 schrieb:
Geht ab vielleicht 4k los. Vielleicht wäre es besser, Du nutzt erstmal Deinen jetzigen Rechner und schaust, ob Du das Aufsetzen von Linux mit allem drum und dran dafür hinbekommst.
 
  • Gefällt mir
Reaktionen: redjack1000
CN_2026 schrieb:
Ich möchte einfach zu meinem produzierten Strom nicht für 7 Cent einspeisen.
Dann solltest du dir die Frage stellen wie sinnvoll die Investition in eine 25 kWp Anlage überhaupt ist. Offensichtlich hast du ja bereits eine PV Anlage für deinen eigenen Verbrauch. Allein bis sich die Investition der neuen Anlage selbst rechnet vergeht sehr viel Zeit, wenn das überhaupt noch sinnvoll ist.

Das Thema DIY hast du ja komplett ignoriert, da gabs im Juni eine große Rechtliche Thematik die dich betreffen könnte.

Nochmal, nach dem von dir geposteten muss man sagen: Lass es. Ausser Geld spielt am Ende des Tages doch keine Rolle, dann viel Spaß beim basteln.
 
  • Gefällt mir
Reaktionen: iSight2TheBlind
Bei HW Kosten jenseits von 20.000 Euro kann die Rechnung nicht aufgehen. Du hast eine Rieseninvestition und viel Arbeitszeit. Investiere die 20K direkt in Wärmepumpe und Dämmung. Oder leg sie als Festgeld 4% sind 800€ im Jahr. Hol dir ein e-auto und fahr in der gegend rum mit pv strom
 
  • Gefällt mir
Reaktionen: iSight2TheBlind, Scirca, JuanBoccas und eine weitere Person
Zurück
Oben