Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
Ich frage mich gerade, ob es bei AMD CPUs Sinn macht, darauf zu achten, dass die für KI geeignet sind. Mir scheint, dass Intel CPUs da deutlich die Nase vorn haben.
Wenn ich da nach KI suche, dann finde zB ich Ryzen 7 8700F zum AMD B650.
Kann man KI bei AMD zur Zeit noch ausklammern, weil zu wenig weit entwickelt und hat damit eine größere Auswahl?
Naja die großen Desktop AMDs haben keine NPU und damit keine native Rechenleistung für AI. Das hat tatsächlich nur Intel so bisher. Bei AMD gibts bisher nur den 8700f und 8700G, das ist korrekt.
Ob man das braucht, ist die Frage. Ich weiß das bei den mobile AMD CPUs mit NPU das Video Rendering dank NPU beschleunigt werden kann.
die "KI" CPUs setzen sich einfach aus Integrierter Graphik und ggf. AVX 512 Befehlssätzen zusammen.
Intel implementiert auf ihren Consumer CPUs keine AVX 512 Instruktionen aktuell.
Die NPU Engine ist je nach Modell die integrierte GPU oder dediziertes Silikon.
Das ist genau der Punkt. Als ich mich für einen Ryzen 9 9900X entschieden habe, war mir das völlig egal. AFAIK kann der irgendwas in Richtung KI.
Nachdem ich zur Zeit CPU vergleiche, stelle ich fest, dass bei den Benchmarks die Intel CPUs bzgl. KI bei ähnlichem Preis oft deutlich besser sind.
Somit stellt sich die Frage, sollte man da jetzt schon auf KI achten oder ist das reines Marketing? Mir geht es einfach darum, ob das in 2 Jahren wichtig sein könnte.
Ich frage mich auch, warum ich bei AMD zum Ryzen 7 8700F nicht was etwas besseres zB für 50€ mehr finde. Schränkt man bei Geizhals bei AMD auf NPU ein, wird es eng, Intel bietet mehr Varianten.
Hat nicht die günstigste AMD oder Nvidia Karte, um ein vielfaches mehr KI-Leistung als die Dinger die in CPUs integriert sind? Ich hab den Sinn einer KI-Einheit in einer CPU noch nie wirklich verstanden.
Das ist reines Marketing aktuell, es gibt praktisch keine Anwendungen die ernsthaft was mit dem NPU zeug anfangen können, das Microsoft Recall ist wohl eins, war zumindest die Erklärung wieso es lange zeit nur ARM Prozessoren lief.
Aber das willst du definitiv nicht haben
wenn du wirklich NPU leistung haben willst ist aktuell Apple Silicon "king of the hill"
vor allem weil es diese Geräte mit bis zu 512 GB RAM gibt
das kostet aber soviel wie ein Auto.....
Würd ich nur kaufen wenn ich mehr Geld als Verstand hätte 😉
(ich beziehe mich auf "heimandwender" natürlich gibts diverse AI Karten von NVIDIA/AMD
aber die kriegst als normsterblicher ja gar nicht)
Gibts natürlich auch in Billiger, aber da müsstest halt genau wissen was du brauchst
Aktuell kann nur geraten werden was sinnvoll ist in den nächsten Jahren.
Beispiel:
50 TOPS von AMD Ryzen AI hören sich zwar gut an, ob das aber noch reicht, oder sowieso um Größenordnung zu wenig ist, wird sich erst zeigen.
Wenn du sowieso einen Desktop hast, dann ist eine Grafikkarte mit viel RAM noch immer das Schnellste für normal Sterbliche. Da kannst auch eine gebraucht 4080 z.B. kaufen.
Schlägt alle "NPUs" aktuell um Längen.
Ich frage mich auch, warum ich bei AMD zum Ryzen 7 8700F nicht was etwas besseres zB für 50€ mehr finde. Schränkt man bei Geizhals bei AMD auf NPU ein, wird es eng, Intel bietet mehr Varianten.
Tops sind fuer LLM Inference kaum relevant. Mit 50TOPS Kann man ein 70B Modell so schnell betreiben, wie mit einer RTX5090.
Jedoch passen solche Modelle nicht auf eine 5090, weil sie nur sehr wenig VRAM hat.
Bevor die Tops limitieren, limitieren der verfügbare (V)RAM und dessen Bandbreite.
50-100 Tops sind schon sehr gut wenn man 128GB DDR5 RAM hat.
50TOPS reichen hingegen um Echtzeit Bilderkennung in ~20 FullHD Streams @15FPS zu machen. und auch hier rennt man in der Praxis eher in Limits bei Latenz und Bandbreite.
Beim Modelltraining sieht das schon anders aus
this..
SVΞN schrieb:
…kommt halt auf den Use Case an. Gleiches gilt für solchen Käse wie Copilot+.
Probier mal die Libs aus. Tenstorrent, AMD Instinct, Cerebras, Nvidia, Huawei, Rockchip & Co sind sehr gut. AMD Endkundenkram wird ganz langsam brauchbar.
Intel verursacht Hass und Selbstzweifel.
Apple Silicon ist der billigste Weg LLMs performant zu betreiben.
welchen usecase hast du denn? was willst du tun?
Ergänzung ()
Stanzlinger schrieb:
gar nicht, aber ich könnte damit DeepSeek lokal laufen lassen
deepseek v3 habe ich gerade mit ~10 Token/s bei unter 5w verbrauch auf ARM Hardware laufen.
Perfekt zur Aufgaben-/ Heimautomatisierung und um Emails vom Sofa aus zu bearbeiten.
NPU ist für Notebooks gedacht. Es ist dafür da sehr spezielle Mathematik effizient zu berechnen, damit dein Notebook nicht in einer Stunde leer ist. Die Intel Media Engine ist auch sehr spezielle Hardware um effizient Videos zu de-/encoden.
Gar keinen, ich suche nur nach Argumenten wie ich die Kriterien für die CPU gewichten soll.
Die Frage an die KI, welche CPU ich nehmen soll, damit ich mich in 2 Jahren nicht ärgere, war nicht zufriedenstellend ;-)
Problem ist, ich habe an die CPU keine Ansprüche. Surfen, Text schreiben und Email abfragen geht mit jeder. Also muss ich einen persönlichen Kompromiss finden. "KI-sicher" wäre ein Argument gewesen, ist aber leider kein echtes Argument.
Rechenleistung braucht bei mir die GPU, die CPU ist vernachlässigbar. Man weiß aber nie wie sich Dinge entwickeln, also nicht was ganz billiges.
