madmax2010
Fleet Admiral
- Registriert
- Juni 2018
- Beiträge
- 35.608
gibt es doch schonKrik schrieb:Es werden kleine KIs entstehen, die man lokal flüssig (genug) ausführen kann, sodass jeder seinen persönlichen Assistenten auf dem PC oder Handy dabei haben kann. Ei
jetbrains liefert seit mindestens einem Jahr seine IDEs mit einem Ca. 1B Parameter Modell für lokale Code completion aus.
Bei rockchip embedded NPUs geht seit einem halben Jahr die Post ab.
inzwischen kann man auf einem 70 Euros sbc 7B Modelle inklusive llama 3.2 und qwen2.5 mit 5w Stromverbrauch annehmbar schnell laufen lassen