News Hinweis von Amazon: Wie es zur Sperre von Mythos 5 und Fable 5 kam

konkretor schrieb:
Das Beste an Open Source Modellen, wenn es auf eigener Hardware läuft, schaltet es niemand einfach mal so ab.

Weil das halt auch noch "nichts" taugt! On Edge kann man halt keine Datencenter-Modelle laufen lassen... da ist bei spätestens 4x 3090 Schluss... und schon da legt man dann ein Vermögen hin, für viele unerreichbar ist, für das man ein Auto kaufen kann. Von Stromkosten, optionätskosten noch nicht mal eingepreist... da muss ich direkt an nen Vid auf einem von mir geschätzten Science-Kanal denken, wo sich jemand selber auf die Schulter klopft, weil er sich nen Batteriespeicher von 100 kWh besorgt, um "autark" zu sein um dann seinen gespeicherten SolarStrom on Edge als Token zu verkaufen. Wo es aber nicht unwahrscheinlich sein könnte dass das totaler Nonsens sein könnte, wenn man das genauer durchrechnet und TCO von diesen riesigen Datencenter gegenüberstellt.

Ich bin da selber einer, der da hofft und sich da was wünscht.... Problem ist ja nur, die Leute die Datencenter pushen, die "Schaufelverkäufer" sind ja die gleichen, die nicht wirklich konkurierbaren Edge-Lösungen verkaufen. Und was willst du Edge laufen lassen, mit 20 GB, oder mit 128gb infinty? Was?

Zum Vergleich, Achtung nur Annäherung und Beispiel, weil kein LM Monoblock... Aber nur damit man die größenordnungen begreift, das gesperrte Claude soll angeblich bis zu 2 Billionen (eng Trillion) Parameter verwenden! Das sollen etwa 4-5 mal so viele Parameter wie bei Llama 3.1 405B! 405B sein. D die wiederum stehen für 800 GB Int16, 405 GB Int 8 Parameter! Zeig mir mal wie du 400 Gigabyte mittels einer GPU oder nen GPU-Verbund auf Edge realisieren willst! Nur damit alle begreifen können in welchen Größenordnungen da Claude in etwas spielt! Und Claude nutzt ncoh mal 5 mal, also 500% soviele parameter... also wie sprechen also von nem Model (achtung nur ein beispiel, weil nciht Mono) was "nur" eine GPU mit 2,5 Terabyte, braucht um lokal zu laufen. Nur als Beispiel.

Ja, es geht auch Int4, Int2 usw... kann es Quantisiersieren. Aber ab spätestens Int 2 soll vieles seinen Sinn verlieren... und selbst da bewegen wir uns noch bei 300GB! Wie willst du das bei ner 5090 laufen lassen?

Achtung das heist jetzt nicht das ich nicht glaube das es nicht auch kleiner geht. Aber bis man sowas wie Claude mit "2,5TB" on Edge laufen lassen wird... da braucht es wohl noch sehr viel Zeit, sehr viele und sehr Kluge Köpfe und vielicht auch etwas mehr als 16, 32GB GPUs.... also wir reden über fakor 2000 bzw 1000? Bis sowas in den Desktop, Notbook kommt.... da kommt vorher vermutlich noch vorher Pathtracing bei 60 FPS im EntryLevel an!

Daher für mich, gerade für den Consumer, sieht on Edge auf AI doch sehr sehr düster aus.... Das heist jetzt nciht das ich on Edge AI tothalte.... aber es zwingt mich schon etwas in den Pesimismus, einfach wen ich mir die Rohdaten, den erfordlichen Rohspeicher anschaue. Vieleicht lasse ich mich aber auch von den Daten zu sehr beeindrucken udn verstehe davon zu wenig. Aber 2,5 TB, um die 2 Billionen Paramete laufen zu lassen, das ist einfach wahnsinn!
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: derMutant und DerBandi
MelbarKasom schrieb:
Man mag sich kaum ausmalen wenn statt der US-Regierung die EU diese Entscheidung getroffen hätten (und die Macht dazu hätten). Hier würde es toben mit EU "rant-postings" und der Faden wäre schon sechs Seiten lang innerhalb 1 Stunde...

Erstaunlich ruhig hier. :D:D:D
Die EU ist zusammen Habeck immer Schuld. An allem. Ohne Ausnahme.

Das stand heute morgen in der Bild.
Ergänzung ()

Sebbi schrieb:
aber selbst hier sollte man aufpassen, nicht das da Code mit eingefügt wird, der Daten Richtung Heimatland schickt oder das ein oder andere Türlein öffnet.
Woher sollen die Leute wissen oder verstehen was in dem Code steckt den sie in ihren Vibe sessions generiert haben?

Laut Ai Anbietern braucht man keine Kenntnisse mehr um zu programmieren.
Das ist Hilfsarbeit für Bots.

Wir werden alle zu Ai Nurses umgeschult solange die Ergebnisse der Agents noch kontrolliert werden müssen.

Wenn die Technik ausgereift ist, gibt's das bedingungslose Grundeinkommenn für alle welches knapp über der Sozialhilfe liegt.

So stellen die Tech Bros sich das vor...
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: MelbarKasom, Premiumlike, derMutant und eine weitere Person
Sebbi schrieb:
Nun die Frage ist dann beim lokalen Modell, ob das dann nicht auch einen Rapport gen Heimat sendet, wenn solche Anfragen gestellt werden, auch wenn die Anfragen unzensiert durchlaufen
Ein Modell ist kein Programm oder Code und kann daher auch keine derartigen Aktionen auslösen.
 
Habt ihr auch Probleme mit Claude Sonnet 4.6 Bilder zu erstellen?
Bekomme ständig die Meldung
"Ich kann es gerade leider nicht erzeugen, weil die Bildgenerierung in dieser Region blockiert ist."
 
DaLexy schrieb:
Aber im Kern sind alle anbieter an einer Wand, der progress derzeit wird auch immer langsamer
Es gibt auch immer lauter werdende Zweifel am Konzept, denen sich die AI Apologeten nicht stellen mögen.

So in etwa sieht die „Skill-Verteilung“ einer relevanten Fertigkeit in einem größeren Unternehmen aus:
1781524536926.png

… jeder kann sich denken, wer eingestellt wird (käme es nochmal dazu) und wer eben nicht mehr als, sagen wir mal, 50T pro Jahr erwarten kann. So wie ich niemandem das große Geld zahlen würde, der nur Yeoman bedienen und if-then-else in JS/PHP/X schreiben kann, so wenig “value-proposition” beweisen wald-und-wiesen LLMs. Yeoman hat weder den Senior- noch Staff Engineer ersetzt.

DaLexy schrieb:
wenn man mal in den richtigen subs die ganzen benchmarks anschaut ist es nicht viel besser als andere - unterschied heutzutage ist lediglich der harness dem das model folgt, es werden nur finetunes derzeit geliefert mit tools on top of it.
Das sehe ich auch so.

Was ich aber auch sehe: Wie unkritisch ComputerBase “claims” übernimmt statt das in Zusammenhang mit Benchmarks zu setzen – oder gar selbst LLMs gegen Vulnerability Detectors laufen zu lassen.
 
Ja, so hab ich das noch garnicht betrachtet mit den News hier - wirkt eher wie "schnell schnell".

Ich habe ansich kein problem mit AI, man kann in gewissen bereichen mit spezialisierten Models echt tolle dinge vollbringen - aber das jetzige ist noch lichtjahre davon entfernt was propagiert und angepriesen wird.

Wenn ich dann Dario und Co sehe die nun aus heiterem himmel selber sagen das AI regulierung brauch und wir evtl. nen gang runterschalten müssen - dann ist das nicht so weil die KI auf einmal AGI wird/ist, sondern eher als Pretext genutzt wird da es keine Innovation gibt und das eher dem shareholder/Investor zu verkaufen ist als "Tja, geht nix mehr".
 
Zurück
Oben