INe5xIlium schrieb:
Den Teil habe ich nicht verstanden. Was machen Leute mit PDF auf dem Raspberry?
PaperlessNG höre ich auch zum ersten Mal, da kann ich mir vorstellen, dass man eine Datenbank hat, auf die man zugreifen will. Sonst kann man das ja auf dem PC oder Laptop direkt nutzen, wenn man ein PDF bearbeitet und ist vermutlich sogar schneller fertig.
PaperllsNG ist Digitale Dokumenten Verwaltung, ich schiebe alle Dokumente nach PaperlessNG. Das ist entsprechend Konfiguriert um eine Ordnerstruktur mit den Dokumenten aufzubauen so wie seit 20 Jahre gewohnt. Aber die Volltextsuche, das Filtern nach Korrespondenten mit Tags und Dokumenttypen was zählt, das verarbeiten von Dokumenten von Ordern und Mail Adressen.. Ich habe meine Dokumente, Verträge, Bescheide, Rechnung mittlerweile in PaperlessNG und greife davon von meinen Linux Laptop, Windows PC, Android Smartphone oder was auch immer einen Browser.
Bright0001 schrieb:
Ich nicht, aber ich hätte ja eher gesagt, dass es sich sogar ziemlich gut dafür eignet. Ein kleines Model angebunden an einen Telegram-Account, und du hast einen privaten und "kostenlosen" Chatbot, den du leicht in der Familie verteilen kannst, selbst wenn jene 0 technisches Know-How hat.
Hast du denn irgendein technisches Fundament oder Programmiererfahrung? Modelle trainieren ist eine andere Hausnummer als diese nur lokal laufen zu lassen, und wenn du bei 0 startest, dann machst du das nicht an einem Nachmittag.
Das Fundament sind 25 Jahre Erfahrung in Systemintegration, Administration und Support. Kein Programmieren, musste ich nie machen, Python ist aber lesbar und anpassbar. Am Nachmittag wird es nichts werden auch ein WE recht nicht....Ich nutze aber kein Gemini, oder ChatGPT, die müssten mich Bezahlen damit ich mein Wisseen.
Die Idee ist einen kleinen Chatbot zu laufen lassen, den noch zusätzlich mit weiteren Quellen füttern, wie eigene Dokument aber auch bestimmte Sites, Ist für mich privat, aber use cases sind auch Anwälte und Psychiater die Informationen über die Patienten nicht an die big5 übergeben wollen.
Die Leute sitzen im Büro wollen aber nicht die Cloud nutzen und nen fetten Rechner mit Lüfter möchte man auch nicht haben, aber privacy ist wichtig. Demn es giibt Kunden wenn was rauskommt DSVGO ein Witz.
Bright0001 schrieb:
Du kommst schneller ans Ziel, wenn du einem fertigen Modell deinen Kram im Kontext zur Verfügung stellst - aber da brauchts halt tatsächlich ordentlich Speicher, also die dicke GPU oder eine APU wie die letzten Ryzens.
OK das ist was ich hören wollte, also NPU und noch etwas warten. Ich möchte auch den Kontext vermeiden aber verstehe was du meinst. Mit den Informationen im Kontext , im Prompt zu arbeiten ist einfacher als weitere Quellen oder Informationen mit Priorität einzufügen.
madmax2010 schrieb:
absolut. Freies texten, wenn du ahnliche dokumente als beispiel lieferst geht super.
Habe das seit ~2 jahren in immer besserer form auf meinem NanoPi laufen.
Whisper+Postgres mit GPVector und PGAI, dazu ein paar skripte und Qwen3 (4B, zugegegen) und schon hast du einen ganz guten Sprachassistenten
...... TOPS/Watt bei einer RTX5090 sogar besser. Bringt halt nichts, wenn man die nicht ausreizen kann oder Das Budget nicht hat
This! Geht zwar wieder zum Kontext und Prompt, aber das hörtsich wie eine weiterer Container im PasperryPI an und wenn ich Nano gehts wohl mit dem PI5 8 GB.
Mir geht es echt um die Effizien ein non IT Freelancer wil keine 5900, aber das braucht ma nicht wenn man im kleine Rahmen , single user bleibt.
INe5xIlium schrieb:
Das ist dann ein Hat mit mehreren Anschlüssen für Peripherie, oder? Eine Möglichkeit das irgendwie zu verketten gibt es nicht? Weil oft will man ja eine SSD haben, aber dadurch verliert der Raspberry den größten Teil seiner IO-Fähigkeiten
Es gibt hats mit 4 PCI Amschlüssen selbstverständlich teoilten alle den gleiche bus aber bei single use kommt es ja nicht auf performance an. Man speicher entweder Datenb die den PCI bus belasten oder nutz den Bus anders. Ein PI für ein Büro mit gleichzeitgen Zugirffen auf die Vwerscheiedenen Amwendung ist dann doch nicht die Lösung.
Aber Ziuhause oder als Freelance reicht ein PI5 und den I/O kann manch auch zu anderen Zeiten auslagern.
Wenn der IT Beruf ist auch gerne mehr als PI und mann kann den Kompromiss finden ohne gleich die Lederjacke zu fütternn.
