KI System für Studis

[madmax2010]

Als Unterbau wird Windows 11 mit LM Studio, Ollama und PyTorch.

auf Keinen Fall Windows. Tut euch das nicht an.
Niemand in der Branche arbeitet mit Windows.

Ollama wäre auch eher meine Letzte Wahl.
Performanter und fähiger waere llama.cpp


Alternative Ideen fuer die Hardware:
Der Wird gerade viel in dem Umfeld genutzt:
https://frame.work/de/en/desktop
alternativ
den Dell GB10- Entrpricht dem Nvidia DGX Sprak

Und was @oicfar sagt.
Dazu vielleicht noch - Dank RDMA kann man aus 4-8 Mac Minis hervorragende Inference Cluster bauen
Aber zu dem was @JumpingCat sagt

Der Mac Studio M2 Ultra in der Basisausstattung ist ansonsten noch ein wenig performanter, als der M4 Pro

Hat eure Uni keine richtige Hardware? Jede Uni kauft doch alle paar Jahre A100, V100, B100...

Ergänzung (Heute um 18:38)

ah schau, das ist doch mal ein netter Ueberblick
https://www.vikabot.com/ai-desktop-products.html

 

[lordlaschi]

Zweiter Punkt dagegen: Immer wenn LLm auf Mac mit den RTX Karten verglichen wird, dann sind die Vorteile vom Mac die Lautstärke und wie schön das Gehäuse ist. Und oft noch als Kommentar "Hey aber große Modelle passen in den RAM". Zur Geschwindigkeit findet man selten etwas, und wenn dann sind die Macs auch nicht schnell: https://www.markus-schall.de/2025/1...-funktioniert-lokale-ki-inferenz-auf-dem-mac/

Dein Link zeigt auch nen Vergleich von nem 8B model auf Nvidia vs 27B model aufm Mac. Das größere Modell braucht nicht nur 3.5x mehr Speicher sondern auch 3.5x mehr Inferenzleistung womit dann am Ende logischerweise viel weniger token/s rauskommen. Da das größere Modell besser ist (und der Mac so toll aussieht) sind das dann aber auch qualitativ ‘bessere’ tokens

 

[Chris3511]

Ich kenne mich mit dem ganzen Thema nicht so gut aus, fand aber das CT3003 wieder zur Performance verschiedener LLMs ganz interssant:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Vielleicht hilfts

 

[Backfisch]

Geh mal zum Kunden und sag ihm, "mir gefällt nicht, das Ihr Windows einsetzt, ihr müsst einfach mal alles ändern"

Studierende sind aber nicht deine Kunden, sondern in aller Regel auch nur Bittsteller

Ich frage mich warum es immer wieder Leute gibt, die so einen Stunt versuchen.

Als jemand, der sein ganzes Leben an der Uni verbracht hat (und dort auch bleiben will) und (zwecks Verstetigung der Stelle) lange Jahre Dienste im Rechenzentrum der Fakultät übernommen hat, kann ich dir die Antwort gerne geben: Personal für Bastelaktionen gibt's genug, am Geld mangelt es hingegen immer. Wenn Du für kleinere Projekte daher möglichst viel Rechenleistung zur Verfügung stellen möchtest, kaufst Du Gaming-Hardware und lebst damit, dass die Haltbarkeit untet Last eher bescheiden ist.

Hinzu kommen Beschaffungsgrenzen. Jenseits von 50 k€ kann bereits eine unglaublich aufwendige europaweite Ausschreibung nötig werden und selbstverständlich zahlen wir als Uni den Vollpreis MIT Mehrwertsteuer.

 

[Mac_Leod]

Danke für die Ideen, und Anregungen.

Ich steck nicht so tief in der Materie, was ihr wahrscheinlich schon gemerkt habt.
Dann hole ich mal etwas aus.

Es geht nicht um eine Uni sondern ein kleines Unternehmen mit 130 Angestellten.
Die Studis sind Werkstudenten, welche im Bereich IT unterwegs sind.

2 Projekte von denen ich weiß, weil sie mir gezeigt wurden:

Ein kleines Projekt, betrifft das Trainieren von Daten.
Es werden aus Archäologischen Aufzeichnungen (Bücher und auch einzelne Seiten) in TIFF gescannt woraus dann OCR und am Ende JSON erzeugt wird.
Die Daten sollen dann wohl in einer Datenbank landen, welche dann zum Trainieren verwendet wird.

Im zweiten Projekt geht es um die Unterstützung einer anderen Firma, welche bei einem einem Energie & Lastmanagement für PV-Anlagen extrem viele Berechnungen für Einsparmaßnahmen getätigt werden.

Alles aus meiner Sicht ziemlich wild, aber für euch hoffentlich etwas greifbarer für euch.
Vor allem extrem unterschiedliche Ansätze.

So sieht also Geldverschwendung aus.

Das Geld soll eben nicht verschwendet werden, nur Setup mit 100k+ bringen einem bei einem Budget von 4000€ nicht weiter.

 

[JumpingCat]

Meine Gedanken zur Hardware:

RAM	64 GB 6000er RAM	noch unbekannt (800€ geschätzt)
GPUs	3090 MSI Strix (ggf. 2x)	~750€ gebraucht

Ganz vergessen zu Posten:

Bedenke das du für Kontext auch RAM brauchst. Pauschal 3 bis 4fache an RAM gut im Vergleich zum VRAM.

für ein KI Studentenprojekt soll ein leistungsstarker Rechner bereitgestellt werden [...]
[...]
Als Unterbau wird Windows 11 mit LM Studio, Ollama und PyTorch
[...]
Nun wird aber ein weiterer Rechner vor Ort gebraucht.

Du nutzt das nicht selbst, oder?

Was sind denn die aktuellen Schmerzpunkte? Geschwindigkeit, Genauigkeit, Learning?

 

[Mac_Leod]

Studierende sind aber nicht deine Kunden, sondern in aller Regel auch nur Bittsteller

Sowas ähnliches wollte ich auch schon schreiben, sie haben Wunschlisten und das nicht besonders kurz

Ergänzung (Heute um 19:24)

Die Windows / Linux Sympathisanten sind da gleich aufgestellt, aber es spricht tatsächlich nichts dagegen, auf einer zweiten SSD was ordentliches zu installieren.

Du nutzt das nicht selbst, oder?

Was sind denn die aktuellen Schmerzpunkte? Geschwindigkeit, Genauigkeit, Learning?

Nein meine Firma hat nur die bitte bekommen, für das Budget so viel wie möglich rauszuholen.

 

[JumpingCat]

Ein kleines Projekt, betrifft das Trainieren von Daten.
Es werden aus Archäologischen Aufzeichnungen (Bücher und auch einzelne Seiten) in TIFF gescannt woraus dann OCR und am Ende JSON erzeugt wird.
Die Daten sollen dann wohl in einer Datenbank landen, welche dann zum Trainieren verwendet wird.

Im zweiten Projekt geht es um die Unterstützung einer anderen Firma, welche bei einem einem Energie & Lastmanagement für PV-Anlagen extrem viele Berechnungen für Einsparmaßnahmen getätigt werden.

Gut, das hilft schonmal etwas.

Das sind beides keine Echtzeit-Anwendungen wie Autofahren oder ein Chatbot. Das sind alles Langläufer Jobs die gut asynchron auch ruhig Nachts/etc laufen können.

Daher die nächste Frage: Baut ihr alles von Scratch oder nehmt ihr, wie angerissen, Standard Frameworks? Pauschal fahrt ihr mit CUDA von nVidia dann am besten weil das den besten Support hat. Das ist quasi die Goldlösung. Sowohl AMD auch auch Intel sind nicht so kompatibel oder so.

 

[Mac_Leod]

Ein Chatbot soll wohl am Ende, am ersten Projekt mitwirken.
Die Vision ist, so zu promten, dass die Informationen Bücher wiedergegeben werden.

Aber für genaueres werde ich in der 2. KW mal mit den beiden sprechen.
Ob und in welcher Form CUDA eingesetzt wird, weiß ich nicht.
Auf jeden Fall wird beim alten System Blender und Adobe eingesetzt.
Aus meiner Sicht reicht die AM4 Plattform dicke dafür, nur fehlt dann die zweite 3090 für das neue System, falls es so werden sollte.

Evtl. noch für das allg. Verständnis.
Nach Beschreibung vom IT-Leiters: "Es soll eine Art Innovation Lab gebaut werden. Du hast eine Idee dann hast du hier das Werkzeug dafür"

ps.: bitte nicht "Ihr" sondern der Kunde

 

[oicfar]

2 Projekte von denen ich weiß, weil sie mir gezeigt wurden:

Ein kleines Projekt, betrifft das Trainieren von Daten.

Und meine Fragen wären dann:

• Was bedeutet klein?
• Was für ein Training genau?
• usw.

Die, die das Projekt umsetzen, sollten dir schon sagen, was sie in dem 4k€ Rahmen haben wollen. Und dann kannst du das Beste daraus machen.

Es werden aus Archäologischen Aufzeichnungen (Bücher und auch einzelne Seiten) in TIFF gescannt woraus dann OCR und am Ende JSON erzeugt wird.
Die Daten sollen dann wohl in einer Datenbank landen, welche dann zum Trainieren verwendet wird.

Und hier hätte ich auch viele Fragen ...

Das Geld soll eben nicht verschwendet werden, nur Setup mit 100k+ bringen einem bei einem Budget von 4000€ nicht weiter.

Egal über wieviel Geld man spricht.

Das Problem ist, dass die, die irgendwelche Programme bauen, schon lange keine Ahnung (bis auf wenige Ausnahmen) von der Hardware haben. Und dann wollen solche Leute Hardware bereitgestellt bekommen von den, die die Software nicht verstehen. Dafür aber an der Hardware interessiert sind.

Und 4k€ ist nicht viel.

Im zweiten Projekt geht es um die Unterstützung einer anderen Firma, welche bei einem einem Energie & Lastmanagement für PV-Anlagen extrem viele Berechnungen für Einsparmaßnahmen getätigt werden.

Klingt für mich nach nix mit KI.

Und kann euch die Firma hierfür irgendwas bereitstellen?

 

[Xes]

Für private "KI-Bastelei" ist eine RTX 3090 sicherlich interessant da (gerade gebraucht) viel Leistung und VRAM für wenig Geld, aber sobald das halbwegs praxisnah Richtung Industrie genutzt werden soll, würde ich auch auf Produkte setzen, welche dafür gedacht sind und dort zum Einsatz kommen.
Sprich: "Nvidia Blackwell Pro 5000", wenn das Budget reicht. Günstiger wäre AMDs "Radeon AI PRO 9700" oder als Budgetvariante Intels "Arc Pro B60."

Die 3090 ist sicherlich verlockend, da wirklich viel Leistung für wenig Geld, bedenke aber, dass die Dinger 5 Jahre alt sind, gebraucht bekommst du keine Garantie und wer weis wie gut und zuverlässig zukünftige KI-Tasks auf den alten Consumerkarten noch laufen werden. (Nvidia optimiert dahingehend (wenn überhaupt) sicherlich nur mit Minimalaufwand, die wollen zu diesem Zweck ihre teuren Pro Karten verkaufen.)
Das kann man machen, wenn man das Maximum an Leistung für (verhältnismäßig) wenig Geld herausholen will, über dieses Risiko würde ich aber unbedingt aufklären (und schriftlich festhalten!) nicht, dass dir hinterher jemand kommt mit:
"Was hast du uns hier für alten Schrott hingestellt, das alte Consumer-Zeug macht nur Probleme."

 

[HtOW]

Vollpreis MIT Mehrwertsteuer

Kommt drauf an, in der Regel werden solche Aktionen sehr häufig über eigenständige „Forschungsdienstleister“. Bspw die Fraunhofer/DLR in Stuttgart oder einfache GbR für spezifische Projekt eröffnet die Vorsteuerberechtigt sind,…

Kann also beides sein, vermutlich sehr stark von der Verwaltung abhängig?