lynx007
Vice Admiral
- Registriert
- Feb. 2011
- Beiträge
- 6.465
konkretor schrieb:Das Beste an Open Source Modellen, wenn es auf eigener Hardware läuft, schaltet es niemand einfach mal so ab.
Weil das halt auch noch "nichts" taugt! On Edge kann man halt keine Datencenter-Modelle laufen lassen... da ist bei spätestens 4x 3090 Schluss... und schon da legt man dann ein Vermögen hin, für viele unerreichbar ist, für das man ein Auto kaufen kann. Von Stromkosten, optionätskosten noch nicht mal eingepreist... da muss ich direkt an nen Vid auf einem von mir geschätzten Science-Kanal denken, wo sich jemand selber auf die Schulter klopft, weil er sich nen Batteriespeicher von 100 kWh besorgt, um "autark" zu sein um dann seinen gespeicherten SolarStrom on Edge als Token zu verkaufen. Wo es aber nicht unwahrscheinlich sein könnte dass das totaler Nonsens sein könnte, wenn man das genauer durchrechnet und TCO von diesen riesigen Datencenter gegenüberstellt.
Ich bin da selber einer, der da hofft und sich da was wünscht.... Problem ist ja nur, die Leute die Datencenter pushen, die "Schaufelverkäufer" sind ja die gleichen, die nicht wirklich konkurierbaren Edge-Lösungen verkaufen. Und was willst du Edge laufen lassen, mit 20 GB, oder mit 128gb infinty? Was?
Zum Vergleich, Achtung nur Annäherung und Beispiel, weil kein LM Monoblock... Aber nur damit man die größenordnungen begreift, das gesperrte Claude soll angeblich bis zu 2 Billionen (eng Trillion) Parameter verwenden! Das sollen etwa 4-5 mal so viele Parameter wie bei Llama 3.1 405B! 405B sein. D die wiederum stehen für 800 GB Int16, 405 GB Int 8 Parameter! Zeig mir mal wie du 400 Gigabyte mittels einer GPU oder nen GPU-Verbund auf Edge realisieren willst! Nur damit alle begreifen können in welchen Größenordnungen da Claude in etwas spielt! Und Claude nutzt ncoh mal 5 mal, also 500% soviele parameter... also wie sprechen also von nem Model (achtung nur ein beispiel, weil nciht Mono) was "nur" eine GPU mit 2,5 Terabyte, braucht um lokal zu laufen. Nur als Beispiel.
Ja, es geht auch Int4, Int2 usw... kann es Quantisiersieren. Aber ab spätestens Int 2 soll vieles seinen Sinn verlieren... und selbst da bewegen wir uns noch bei 300GB! Wie willst du das bei ner 5090 laufen lassen?
Achtung das heist jetzt nicht das ich nicht glaube das es nicht auch kleiner geht. Aber bis man sowas wie Claude mit "2,5TB" on Edge laufen lassen wird... da braucht es wohl noch sehr viel Zeit, sehr viele und sehr Kluge Köpfe und vielicht auch etwas mehr als 16, 32GB GPUs.... also wir reden über fakor 2000 bzw 1000? Bis sowas in den Desktop, Notbook kommt.... da kommt vorher vermutlich noch vorher Pathtracing bei 60 FPS im EntryLevel an!
Daher für mich, gerade für den Consumer, sieht on Edge auf AI doch sehr sehr düster aus.... Das heist jetzt nciht das ich on Edge AI tothalte.... aber es zwingt mich schon etwas in den Pesimismus, einfach wen ich mir die Rohdaten, den erfordlichen Rohspeicher anschaue. Vieleicht lasse ich mich aber auch von den Daten zu sehr beeindrucken udn verstehe davon zu wenig. Aber 2,5 TB, um die 2 Billionen Paramete laufen zu lassen, das ist einfach wahnsinn!
Zuletzt bearbeitet: