neutrongummi schrieb:
Qwen3.8 auf nem M4 Pro mit 48GB RAM hier, läuft mit 15 Token die Sekunde auf Opus 4.6 Niveau.
Disclaimer vorab: ich habe mit lokalen LLMs bisher wenig bis keine Erfahrungen gemacht. Ich wage jedoch stark zu bezweifeln, dass man mit einem M4 Pro und 48 GB RAM, ein Modell geladen bekommt, welches dieselbe Antwort Qualität eines Opus 4.6 liefern kann.
Mit Sicherheit ist ein Faktor, wie groß das Projekt, in welchem man arbeitet ist - möchte sagen, wie viel Kontext man verarbeitet.
Ich habe ernsthaft überlegt, den neuen Studio mit 256 GB RAM anzuschaffen - denke jedoch, dass der Zeitpunkt noch nicht der richtige ist/meine Erwartungshaltung vermutlich zu hoch ausfallen würde.
Aktuell sehe ich mich persönlich noch an die Cloud Modelle gebunden, ich habe allerdings große Hoffnung, dass sich dies innerhalb der nächsten fünf Jahre ändert.
Vielleicht kannst du mir ein wenig Kontext (no pun intended) zu Deiner aussage geben - so dass ich dies besser für mich bewerten kann.
Online und da schließe ich YouTube im speziellen mit ein, finde ich kein nützliches Material von Menschen, die wirklich mit lokalem LLM etwas im Coding Bereich zu Stande bringen.