Geplanter KI‑Build mit 2× RTX 5090

[interesTED]

Ich habe für verschiedene Themen, die immer mit PDFs und Word Dokumenten bei der Arbeit zusammenhängen, recht intensiv mit den 14b Modellen getestet. Für so Themen wie Dokumentenabgleiche und orthographische Checks sind die ausreichend. Für inhaltliche Bewertungen von Sachverhalten merkt man schon, dass eine quantisierte Variante von Ministral 14b schlechter abschneidet als die, die man über die Mistral API erreicht (in meine private 4060 Ti 16 GB passt halt nicht mehr). Wenn ich jetzt als Kontext 50-100 Seiten mit reinnehme, bin ich bei 32GB echt knapp dran. Deswegen finde ich die Pro 6000 max Q so interessant, weil man da zur Not auch zwei in einen Tower packen kann und mutmaßlich trotzdem noch kein Kühlungsproblem habe.