ottoman schrieb:
Du gehst also davon aus, dass ein Großteil der Leute mit 24GB+ GPU solche Begriffe wie LLM, WakeOnLAN, SSH, LM-Studio-Server, etc. verstehen und dann auch benutzen können und wollen? Steile These.
Jetzt wo du das so sagst, hast du schon Recht
Worauf ich hauptsächlich hinaus möchte ist, dass die Eingangshürde weitaus kleiner ist.
Sly123 schrieb:
@ottoman Ich kann dem originalem Kommentar nur zustimmen. Wer sich in die Materie einarbeiten möchte nutzt zunächst eine Cloud (OpenAI 8€) und lässt sich das initial konfigurieren und erklären. Und am Ende hat man sein passendes Setup, notfalls auch mit einer 8GB GPU.
Da gebe ich dir Recht!
Je nach Anwendungsfall kann man auch mit 8GB VRAM ordentliche Ergebnisse erhalten.
Ich habe viel herum probiert, sowohl den Unified RAM meines MacBooks (16) mit nativen MLX-Modellen genutzt, aber auch verschiedene GPUs getestet wie z.B. eine RTX 5070 mit 12GB und alternativ eine RX 9070 XT mit 16GB.
Manchmal muss man eben mit verschiedenen Modellen arbeiten und kann nicht alle parallel, sondern seriell abwickeln.
Tasks müssen dann gestückelt werden und schlau arrangiert werden, aber hier kann ein Modell wie ChatGPT oder Claude sehr hilfreich sein.
Manche wiederholenden Aufgaben können manchmal auch per Skript gelöst werden und brauchen nicht immer "das große Gehirn".
Benj schrieb:
An dieser Stelle möchte ich allen danken, die Strom verbraten und/oder ganzen Landstrichen das Wasser entziehen, damit so atemberaubende Use Cases wie Bilderkennung durch Kameras, die bei euch Zeug überwachen, das euch sowieso niemand wegnehmen will, umgesetzt werden können. Da die Leute sich nicht ändern werden, hoffe ich einfach, dass der ganze Shit bald endlich so teuer ist, wie er sein müsste.
Das denke ich mir auch sehr oft, obwohl ich auch Teil des Problems bin.
Meine Hardware habe ich mir unabhängig von künstlicher Intelligenz gekauft und versuche so viel wie möglich mit selbst produziertem Strom zu betreiben.
Das funktioniert mal besser und mal weniger.
Es wäre ja zu schön, wenn sich die größten Länder dieser Welt auf etwas mehr Weitsicht einigen würden und die Ressourcen dieses Planeten nicht dem technologischen Fortschritt opfern würden.
