JumpingCat schrieb:
Die aktuellle Intel B60 mit 24GB gibt ab 860€. Kaufste 2 davon hast du 48GB wenn du nur den RAM benötigst:
https://geizhals.de/sparkle-arc-pro-b60-blower-1a1-s00442200g-a3603827.html
Ist das nicht unsinn! Haut mir auf den Kopf, wen ich mich irre, aber die B60 soll kein Memory Pooling supporten. Damit sind 2 B60, auch nur 2 x 24, nicht aber 48! Aber gerne dürft ihr mich korregieren. weil das wäre wichtig! Weil auch fundamental ist wen das Model die Menge x Speicher braucht oder nicht. Weil laut Heise ist das aktuelle Snäpchen mit Pooling nur die 3090!? Oder ist das falsch?
Deiser geheimtipp, wo man 3 3090 zusammenschnallt, damit auch wirkliche 72gb pool hat, wo sein Model auch reinpasst, sollen ca 50token sein. Sprich man gibt so 2k, 2,5k aus, hat aber dennoch gut 30% mehr leistung, als die NV DGX "Konsumenten" Lösung für 4k, die so mit etwas 40 T/s rum gurken soll...
Die MI50 soll angeblich best case nur auf 24 token kommen... finde leider ncihts was das bestätig oder wiederlegt... aber uralte archtekutr... kein int4 oder? bekomm dan bestcas 24 token, stromverbrauch der hölle und hat die hälfte von 3 3090 und knap das doppelte wien mac.... ich weiß nicht... aber ich bin da auch nicht der falchman. Wen es einsatz Szenarien gibt, bitte her damit. Weil billig ist sie.
Was man aber auch ergänzen muss, haut mir auch gern auch da auf den Kopf wen ich mich irre, aber auch die 9700 soll kein Link/pooling unterstützen.... wer das will, günstig... muss zu 3090 greifen...
Aber auch ohnen Pooling habe ich halt 32 nich 24gb.... ! Kenn die anforderung der Modele nicht. Aber 30 % hört sich schon nach nen Nachteil an...
Um so weniger Speicher ich habe, um so dümmer und schlechter sind die antworten.... . Will ich günstig und schnell große modele laufen, muss ich mir ohnehin 3090 holen, aslo präziser 3 davon. richtig?!?
nachtrag/korrektur:
die 9700/B60 soll doch "Pooling" supporten, aber halt kein richtiges echtes.... #SharedMemory(UMA) , #DistributedMemory , #DisaggregatedMemory
