Passende GPU - Erfahrubgswerte Paperless

[JustOne]

Hallo,

Ich muss sagen, ich bin noch ganz unbedarft was die ganze KI Geschichte im Sinne von lokal Einrichten etc... angeht.

Ich betreibe mehrere Dienste wie Immich oder Paperless. Für letzteres gibt es ja die Möglichkeit eine lokale KI auf die Dokumente loszulassen.

Am liebsten würde ich gerne in meinem 10Zoll low power Formfaktor bleiben. Das bedeutet maximal low profile gpu. Jetzt habe ich gelesen, dass es wohl auch NPU hats für Rpis gibt... kann mir jemand "Erfahrungswerte" für den VRAM bedarf für OCR und Inhaltserkennung geben? Ich weiss mehr ist immer besser, ich frage mich nur ob das auch ggfs. exclusiv für paperless mit 4gb schon ausreichen würde? Das würde die Auswahl groß und die Kosten niedrig halten... Und klar kommt auch Immich irgendwann daher, aber ich befürchte dieser kombinierte Bedarf an VRAM kann ich wohl in diesem Formfaktor nicht umsetzen.

Danke für eure Ideen und Gedanken.

 

[qualle]

Für letzteres gibt es ja die Möglichkeit eine lokale KI auf die Dokumente loszulassen.

Ich würde da eher zu Paperless-AI raten und eine "Online/Remote-KI" verwenden, wie beispielsweise OpenAI. Ist günstiger und genauer. Link. Paperless selbst braucht nicht viel Ressourcen für die Texterkennung.

 

[AAS]

@qualle Oder halt was mit OpenRouter, gibt genug gratis Modelle.

 

[chillking]

Ergänzend zu was @qualle sagt:
Es gibt auch noch paperless-gpt, wobei paperless-ai glaub besser für z.b. Erstellung von Dokumententitel sein soll.

Ich hab das vor mit einer kleinen Kiste als "Remote-KI", auf der die Modelle laufen (auch für andere Services). Die ist dann nur bei Bedarf an und der Server bleibt schlank und stromsparend.

 

[JustOne]

Danke für die Tipps! Meine Dokumente an einen beliebigen KI-Anbieter zu laden fühlt sich für mich nicht so stimmig an...

Es wäre kein Problem in meinem Schrank einen kleinen Server extra für KI zu betreiben. So habe ich das auch verstanden, es ging mir eher um die hardwaremäßige Anforderungen für Paperless.

 

[burnout150]

Dann bitte im Kaufberatungsbereich einen Thread erstellen.
https://www.computerbase.de/forum/forums/desktop-computer-kaufberatung.65/

 

[qualle]

es ging mir eher um die hardwaremäßige Anforderungen für Paperless.

Die sind relativ gering. 2gb Speicher sollten genügen:

Oder frag direkt eine KI

Übersicht mit KI Für Paperless-ngx benötigen Sie ein System mit mindestens 2 GB RAM (4 GB+ dringend empfohlen), einem Dual-Core-Prozessor sowie einigen Gigabyte Speicherplatz. Die CPU-Leistung ist primär für die Texterkennung (OCR) wichtig. Die Software läuft fast ausschließlich auf Linux-basierten Systemen und wird über Docker bereitgestellt.

 

[NJay]

Die sind relativ gering. 2gb Speicher sollten genügen:

Er fragt aber nach den Anforderungen von Paperless-AI, was nochmal was anderes ist als die Texterkennung und zuordnung von paperless-ngx.

 

[qualle]

Er fragt aber nach den Anforderungen von Paperless-AI

Ich dachte, das wird ausgeschlossen, wegen sensiblen Daten usw. - Für eine selbstgehostete AI sind die Anforderungen wesentlich höher. Aber das besser in einem separaten Thread unter Kaufberatung besprechen, denke ich.

 

[JustOne]

Paperless ist da und läuft - das ist nicht das Thema. Das Thema für mich wäre, wenn ich eine KI-Erweiterung verwende wie Paperless-ai oder -gpt und diese KI aber lokal auf einem extra Server lokal hosten würde. Welche Anforderungen werden an diese KI gestellt, wenn diese primär erstmal nur für Paperless Dokumente zu scannen hätte. Da geht es nicht (nur) um die Paperless eigene OCR Erkennung, sondern um eine KI-gestützte Analyse der Dokumente.

Server A - Paperless
Server B - Lokale KI

Und hier habe ich leider keine Erfahrung, ob ich für diesen Usecase der KI auch mit einer 4GB Grafikkarte für die KI auskommen, wenn keine LLM laufen sollen, oder ob man auf jeden Fall 8GB bräuchte... dahin gehend war meine Fragestellung gemeint. Sorry, ich scheine mich missverständlich ausgedrückt zu haben...

 

[qualle]

Du brauchst Paperless-AI noch als Brücke (Middleware) zwischen A und B.

 

[JumpingCat]

@qualle Warum? Eine KI kann auch direkt die REST API aufrufen.

 

[qualle]

Warum?

Um die REST-API der KI anzusteuern, Ergebnisse zu parsen und so...

Aber wie man hört, soll die KI-Anbindung bald auch in Paperless-ngx integriert werden. Dann würde PaperAI tatsächlich entfallen.

 

[JustOne]

Ich hatte gehofft, dass das jemand schonmal low Budget mäßig umgesetzt hätte und dazu was sagen könnte...

Habe mir jetzt ne 8GB Tesla P4 für ca. 100Euro geholt. Mit einer 4GB Consumer Karte wäre ich nicht günstiger gekommen und mehr speicher geht ja schnell ins unbezahlbare... Die P4 sollte für Paperless als KI mehr als ausreichen, oder später für die Immich-KI und Paperless-AI über die CPU, je nach Bedarf.