News Google Gemini: Neues Punktesystem und Bilder-Tool sollen kommen

[RcTomcat]

Genrell VRAM normaler Ram kannste knicken

RAM geht auch, du brauchst keine GPU. Macht dann aber eben weniger Spaß
VRAM und GPU sind eben deutlich besser angebunden.
Apple Silikon mit dem Unified Memory sind da super geeignet.

 

[project]

Was heißt neuer Chat? Manchmal arbeite ich mich tagelang mit der KI durch irgendein Problem. Ich lade Daten, PDFs und Fotos hoch um das Problem einzugrenzen und eine Lösung zu finden. Ich möchte doch nicht jedes Mal bei Null anfangen, alles neu erklären usw.

So habe ich für diverse Projekte/Baustellen angepinnte Chats die schon Monate laufen.

Dafür gibt es "handoff´s" , erstell einfach abends oder wann auch immer ein aktuellen Stand des projekts durch deine KI mit den nachfoldenden Schritten etc. Speichere diese und lads sie im neuen Chat als erstes hoch. Sorge dafür, das alle wichtigen Prompts und Anweisungen/Regeln, als ersten drin enthalten sind. So hast du immer aktuelle Anweisungen und frischen leeren Chat zum arbeiten..

 

[Cameron]

Kann mir jemand den technischen Hintergrund auf Laien-Niveau erklären, warum man keine Software auf den eigenen PC bekommt, auf dem man die Berechnung unabhängig von Tokens durchführen kann?
Die relevanten Metadaten würden die Anbieter ja so oder so abgreifen, könnten aber die Rechenleistung / Energieverbrauch an die Nutzer auslagern.

Bitte nur den technischen Hintergrund, abgesehen von "es ist schneller".
(Was es für das Image, Marketing und die Betriebswirtschaft bedeutet, kann ich mir schon denken.)

Ich habe 32 GB VRAM und kann wirklich sehr viel KI-relevante Sachen machen wie z.B. LoRA's trainieren (in ComfyUI / FluxTrainer) und natürlich in wenigen Sekunden lokal 1024x1024 Bilder erstellen. Bei mir läuft Ollama, Pinokino und ich hatte testweise auch OpenClaw in einem Proxmox-LXC laufen gehabt mit Zugriff auf meine lokale Ollama-Instanz. Aber da hört es dann schon auf, es gibt dutzend Sachen, die man mit 32 GB VRAM (oder sogar noch weniger) nicht mehr machen kann, weil es einfach Stunden dauert. Das Thema Hardware ist schlicht und ergreifend der Grund, warum das lokal nicht unbegrenzt klappt.

 

[Syntax_41]

RAM geht auch, du brauchst keine GPU. Macht dann aber eben weniger Spaß
VRAM und GPU sind eben deutlich besser angebunden.
Apple Silikon mit dem Unified Memory sind da super geeignet.

gehen tut es schon aber man merkt es deutlich, ja deswegen behalte ich ja den Mac Studio anstatt auf m4 upzugraden

Ergänzung (Heute um 17:45)

Ich habe 32 GB VRAM und kann wirklich sehr viel KI-relevante Sachen machen wie z.B. LoRA's trainieren (in ComfyUI / FluxTrainer) und natürlich in wenigen Sekunden lokal 1024x1024 Bilder erstellen. Bei mir läuft Ollama, Pinokino und ich hatte testweise auch OpenClaw in einem Proxmox-LXC laufen gehabt mit Zugriff auf meine lokale Ollama-Instanz. Aber da hört es dann schon auf, es gibt dutzend Sachen, die man mit 32 GB VRAM (oder sogar noch weniger) nicht mehr machen kann, weil es einfach Stunden dauert. Das Thema Hardware ist schlicht und ergreifend der Grund, warum das lokal nicht unbegrenzt klappt.

Ohh ja da sagst du was, dann hast du mehr vram dann ist es auch wieder zu wenig

 

[RcTomcat]

Ohh ja da sagst du was, dann hast du mehr vram dann ist es auch wieder zu wenig

Es gibt Menschen mit 6 aktuellen GPUs und zusätzlich einem TB an RAM welche ebenfalls über Ressourcen Knappheit klagen . Einfach Mal bei Reddit schauen.
Es ist ja immer abhängig von den verwendeten Modellen. Wer 120B oder noch komplexere Modelle nutzt kommt schnell an Grenzen.

Die Frage ist ja was man als Privatperson wirklich braucht / machen will. Wer unbedingt die leistungsstärksten Modelle lokal betreiben will muss leider Geld investieren

 

[Alphanerd]

Es gibt Menschen mit 6 aktuellen GPUs und zusätzlich einem TB an RAM welche ebenfalls über Ressourcen Knappheit klagen

Schau mal in seine Signatur.

 

[Syntax_41]

Es gibt Menschen mit 6 aktuellen GPUs und zusätzlich einem TB an RAM welche ebenfalls über Ressourcen Knappheit klagen . Einfach Mal bei Reddit schauen.
Es ist ja immer abhängig von den verwendeten Modellen. Wer 120B oder noch komplexere Modelle nutzt kommt schnell an Grenzen.

Die Frage ist ja was man als Privatperson wirklich braucht / machen will. Wer unbedingt die leistungsstärksten Modelle lokal betreiben will muss leider Geld investieren

Ich weiß, in meiner Firma haben wir etwas Passendes stehen. Hätte ich gerne zuhause, aber Frau hat schon gesagt, als wir es in der Firma bekommen haben: Vergiss es. Und wir planen schon ein Upgrade aufs Doppelte. Allein die Stromkosten steigen dann von 34k geschätzt auf 70k aufs Jahr.

Ergänzung (Heute um 18:24)

Schau mal in seine Signatur.

ist aber nicht mein privater gehört der firma und deren teilhaber ( bin einer davon)