@futzi
Kann ich dir noch nicht sagen. Es gibt auf jedenfall Modele die drauf passen. Aber auch muss halt seine Arbeitsmethoden anpassen, weil Kontext sehr schenll voll läuft. Sprich du hast vielicht 5-6 Promts und muss dann mit Master und Context Anchor arbeiten. Sprich man hat meher Chats die mit Kontext Promts aufeinander aufsetzen. Und damit werde ich versuchen paar Github Projekte zusammen zu zimmern, ohne zu Vipecoden.
Was man bei 16gb galube ich sowieso vergessen kann. Einfach "Quen, mach mir mal nen Adobe CLone" das dürft wohl schwer werden, weil der Kontext eubfacg nicht reicht. Aber selbst das kann ich noch nicht auschliesen. Vielicht muss man anpasusngen vornehmen... und halt in vielen Paketen arbeiten... zb soll das möglich sein und gar nicht so unpoplär sein.
ich will einfach mal herausfinden was so Sache ist. Und man kann es auch kombinieren. Wen du zb Deepseek nicht deine Personen bezgoen datne geben willst, schmweist du es einfach in Quen, und begrenzt den Kontext einfach "Qwen, anyonymisiere die Daten so, das eine weiterbearbeitung in der Cloud kein Risko darstellt" Ich würde wen dich das interesiert einfach mal nen account auf Huggingface machen und mal rumspielen.
Und vielciht stimmen ja die gerüchte, und die next gen der Local AIs wird wirlkcih partiel sehr stark. Sprich die performance trobt nicht so, wen du teile des MOdels in den Ram wirfst. Das soll angeblich Qwen 4 planen. Quen3 oder GLM brauchst zumindest nicht versuchen... qantisierung max 4. Schau einfach das du modele bekomst die auf das runterdestiliert sind.
Zb zum coden auf 16gb gpus soll Qwen2.5-coder-14 b gut sein. Das passt gerade so mit kontest 32k und nen schlanken harnesh drauf. Ist halt Qwen2. Soll aber schon sehr stark sein. zwischen 80 bis 90 % rating... was halt schon bedeutet, das du prüfen muss was der ausspuckt. Aber ich will es sowieso als lern und projekt Realiserungshilfe verwenden.
Selbst wen es rotze ist. Angeblich soll Qwen4 wieder auf weniger vRam passen, angeblich sogar partiel gut performen... kann sein das es quatsch ist . vielciht lassen sich schon mit qwen2.5 gute sachen coden....
Auf jedenfall muss man sich einstellen das der Kontext viel kürze als bei cloud diensten ist. Es wird dir aber auch angezeigt. Und wen der Balken voll ist, abhängig von kontext länge und volumen, dann verliert der bot sein Gedächtnis, wie frühe GPT version! Aber angeblich soll Methodic und Anker diese Problem beherschbar machen.
@Frank
Haben wir eigentlich schon eine AI Sparte? ist vieleicht mal sowas geplannt, wo es Prefill , Inference und Local AI geht?