Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsPi AI HAT+ 2: Aufsteckbare 40 TOPS Gen-AI-Leistung für den Raspberry Pi 5
Die Raspberry Pi Foundation hat ein neues KI-Aufsteckmodul für den aktuellen Einplatinencomputer Raspberry Pi 5 vorgestellt: den Raspberry Pi AI HAT+ 2. Mit einer NPU mit 40 TOPS (INT 4) und 8 GB dediziertem RAM betritt der Kleinst-PC damit das Gen-AI-Zeitalter.
An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.
Klar, ein 'general purpose' LLM der Größe ist nur mäßig hilfreich. Aber wenn das neurale Netzwerk etwas spezialisierter ist kann man mit 1,5B Parametern schon viel machen.
Texterkennung, Gesichterkennung, Erkennung anderer Objekte in z.B. dem Stream einer Videoüberwachung sind da durchaus drin.
Klar, ein 'general purpose' LLM der Größe ist nur mäßig hilfreich. Aber wenn das neurale Netzwerk etwas spezialisierter ist kann man mit 1,5B Parametern schon viel machen.
An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.
Ich bin mal gespannt, ob es das Halio-10H wie das Hailo-8L auch als M.2 A+E Key geben wird.
Letzteres ist seit ein paar Wochen ausverkauft, was ein Indiz sein könnte
Bis auf Qwen2.5-Coder liest sich die Liste nach ziemlich generischen Chatbot-LLMs. Man kann die natürlich als Basis nehmen um sie für was bestimmtes zu trainieren. Die sind nicht schlecht (für ihre Größe), aber erstmal sind die nicht spezialisiert.
Ich bin mal gespannt, ob es das Halio-10H wie das Hailo-8L auch als M.2 A+E Key geben wird.
Letzteres ist seit ein paar Wochen ausverkauft, was ein Indiz sein könnte
Interessant evtl. als lokaler Agent für Home Assistant Voice, ansonsten eher überschaubar im praktischen Nutzen. Ich schließe mich aber @Cool Master an, die Pi-5-Variante mit 16GByte universell nutzbarem RAM ist wesentlich sinnvoller.
Cool Master schrieb:
[...]
Fazit für mich: Mähh Pi 5 mit 16 GB kaufen und man ist besser unterwegs - wenn auch mit mehr Stromverbrauch.
Für den Preis des AI HAT 2 + dem Pi5 kann man sich auch gleich das NVIDIA Jetson Orin Nano Super Developer Kit für 249$ kaufen und bekommt 67 TOPS INT8, also fast 3,5-fache Leistung von den 40 TOPS INT4 hier.
Finde ich nicht super beeindruckend. Hatte hier nen alten Fujitsu Fertig PC und darin werkelt eine gebrauchte RTX3050 6GB und die schafft ca. 55-60 TOPS (int8). Klar, die 3050 ist ein Witz gegenüber größeren Karten, aber Ministral 3 8b läuft darauf sehr gut. Auch gegenüber den hier verfügbaren wesentlichen kleinere 1,5b Modellen.
Moinsen, bin am überlegen ob ich auch langsam mit dem Thema anfangen.
Ich möchte keine Fette GPU und auch kein Jetson.
So ein PI als Homeserver hat schon was, und läuft bei mir für Cloud Services, der ist so versteckt das wenn Einbrecher die Wohnung leer räumen würden, wäre der PI noch vorhanden. ,,,, Dazu halt noch die NPU
Wie ich verstehe sind es Video KI usw die mit dem Teil ganz gut laufen.
Aber geht da auch ein Text Chatbot mit? Meinen Text , meine Formulierung und Gedanken Teile ich nicht mit ChatGPT oder Gemini, auser die Bezahlen mit mein Leben
.
Ich würde aber Gerne eine Chatbot mit meinen Mails und Bewerbungen und andren von mir geschriebenene Text füttern. Weiteres Zraining aufh gerne mit GPIU.
Aber kann diese NPU auch einen Text generierer hosten?
Es geht nicht um den Universalen Chatbot der alle Fragen beantwortet. Eher um Kündigungsschreiben , Behördliche Post , oder auch ne Bewerbung schreiben kann? Ich hab halt voel geschrieben und gespeichert.
Schafft das so eine NPU? Gibt es da Empfehlungen für Modelle die einigermaßen auf gut versteckbarer Hardware wie ein PI 5 Laufen? Kein Interesse an Thin Clients die sind zu Groß.
Ergänzung ()
Wishbringer schrieb:
Da man meines Wissens nach NVMe-SSDs und AI-Hat nicht gleichzeitig betreiben kann,
stellt sich mir die Frage nach dem Einsatz des AI-Hats nicht.
Es gibt ja auch PCI Hats mt mehreren Ausgängen und das der PI nicht die super. Performance hat ist klar. Die sind halt nicht für dauerhafte Workloads oder mehere user. Die Dinger sind geil fur single users, vlt auch 2 user, um services zi nutzen die viel idle sind... PaperlessNG , StirlingPDF, Homeassistent, PiHole, Synchthing laufen gut im idle u d mam kann sie bei Bedarf benutzen.
Wenn ich ne Maschine für Wprkload benötige, ist der PI eher die schlechte Wahl.
Zumindest in meinem Scenario sehe ich im geteilten PCI kein Problem.
