Frage, Eigenes LLM mit Mac Mini

[Domi83]

Hallo zusammen... ich bin bei meiner Recherche auf drei Themen hier aus dem Forum gestoßen...

https://www.computerbase.de/forum/t...-musik-videogenerierung-datenanalyse.2216121/
https://www.computerbase.de/forum/t...ptop-oder-amd-rtx-fuer-llm-ml-ki-etc.2215872/
https://www.computerbase.de/forum/t...empfehlung-fuer-kleines-team-gesucht.2265432/

Unter anderem hatte man von einem Mac Mini gesprochen. Ich könnte einen Mac Mini mit M4 Pro und 48GB RAM günstig bekommen.

Hat hier jemand mit so einem Gerät ein eigenes LLM im Betrieb und hat da schon Erfahrungen gemacht?

In den üblichen Youtube Kanälen sagen sie alle, wie toll das doch ist und wie schnell das geht etc., aber keiner erzählt mal was er genau für einen Mac Mini hat. Dann zeigen sie das, alles voll toll und am Ende steht da eine 128GB Knallbüchse, oder so

Vermutlich ist das jetzt so ein "was hast du damit vor?" ding... Aber ich kann es ja gar nicht sagen. Ich weiß nicht, ob ich ein Snickers haben möchte oder doch ein Mars, wenn ich den Bauchladen nicht kenne.

Daher wäre einfach mal interessant zu wissen, ob jemand so einen Mac Mini mit einem M4 Pro und 48GB RAM bei sich im Einsatz hat, was dieser tut und ob das gut läuft oder eher "so la la"? Sonst sage ich meinem Bekannten, dass er den dann lieber versuchen soll teurer zu verkaufen, als ihn mir zu einem Freundschaftspreis andrehen zu wollen.

Ich kenne die Preise, der Preis den er mir machen würde, ist gut... aber die Frage ist, ob man so etwas sinnvolle nutzen kann, oder ob man dann eher zu einem Paket von claude.ai, ChatGPT oder Mammouth tendiert, die API anzapft und glücklicher sein könnte.

Ansonsten wäre das ein teures Spielzeug für etwas was man nur zu einem Bruchteil nutzt

Gruß, Domi

Nachtrag: Und ja, ich bin einer der wirklich schon Ki verwendet... ChatGPT mit einem 20 Euro Abo ist vorhanden und auch ein claude.ai Abo im Wert von 20 Euro ist vorhanden. Klar, kann man hier drüber streiten ob sinnvoll oder nicht, aber um anonymisierte Error Logs zu durchsuchen, ist das schon mal eine gute Erleichterung für mich gewesen.

 

[chr1zZo]

Na dann OpenClaw auf MacMini. Gibt genug Anleitungen dazu im Netz!

 

[Domi83]

Jop, die habe ich auch schon alle gesehen. Hatte OpenClaw erst einmal in einer VM auf meinem Proxmox installiert, aber holy... das ding verbrennt Token von ChatCPT oder Anthropic, da schlackern einem die Ohren.

Keno von CT3003 hatte das aber auch schon erwähnt. Und mit einem OpenClaw sowie einem passenden LLM Modelle (qwen 3.5 oder andere gute), kann man sich ja schon mal ein wenig was zusammen "mixen", dachte ich mir. ABER, weil das Teil ja lokal ist, bin ich da dennoch etwas vorsichtig oder skeptisch

Natürlich reden wir hier immer noch von einer vierstelligen Summe, die mein Bekannter haben möchte, aber wenn man sich bei eBay die Preise von dem Teil anschaut, geht er gerade leicht hoch. Was aber vermutlich auch an der "Angebot" und "Nachfrage" Thematik und den aktuellen RAM Preisen liegen könnte

 

[chr1zZo]

Du sollst ja auch keine Online Token verbrennen, sondern Lokale Modelle laufen lassen, somit hast du Infinity Token Ich nutze Claude Max 20x, aber glaube mir, die verbrenne ich auch

Musst du nicht Skeptisch sein. Wenn der MacMini rein dafür Dienen soll, dann macht er nix anderes.

 

[Domi83]

Ich nutze Claude Max 20x

OK, dass ist dann preislich noch mal eine andere Hausnummer als mein kleines 20 Euro Teil. Aber unser "Use Case" ist hier vermutlich auch leicht anders

 

[Xes]

Aber unser "Use Case" ist hier vermutlich auch leicht anders

Was ist der denn? Also was erhoffst du dir davon?
Du schreibst zwar:

vermutlich ist das jetzt so ein "was hast du damit vor?" ding... Aber ich kann es ja gar nicht sagen.

Aber wenn du überlegst eine vierstellige Summe auszugeben muss da ja ein gewisser Bedarf dahinterstehen oder?
Geht es darum von einem Cloudanbieter weg zu kommen um Kosten zu sparen? Möchtest du Dinge damit tun, die mit deinen bisherigen Diensten nicht möglich waren? (z.B. aus Datenschutzbedenken, weil sie gegen die tos der Anbieter verstoßen würden, oder andere Gründe?)

In deinem Rechner steckt ja laut Signatur eine 3060 (mit vermutlich 12GB VRAM) - hast du mit der schon getestet?
-> Limitiert die dich bei der lokalen Berechnung? Wenn ja wo (VRAM oder Leistung)?

• Für mehrere hundert bis über tausend Euro könntest du bei onlineanbietern einige Token auf deutlich besserer Hardware verballern.
• Lokal bekommst du für das Geld auch ordentliche, leistungsstarke Grafikkarten mit halbwegs passablem VRAM. Vergleichsweise günstig z.B. eine Intel Arc Pro B60 oder gebrauchte RTX 3090 mit je 24GB VRAM, oder für 1400€ eine Radeon AI Pro R9700 mit 32GB. (Bald wohl auch günstiger die Arc Pro B70 mit 32GB).
• Die kleinen Macs bringen vor allem viel (shared-)Ram, der für viele KI-Aufgaben nützlich, aber längst nicht überall notwendig ist, dafür sind die dedizierten Grafikkarten oft schneller (wenn deren VRAM ausreicht).

Was davon jetzt die sinnvollste Wahl ist hängt am Ende doch wieder daran was du damit machen willst.

 

[Domi83]

Was davon jetzt die sinnvollste Wahl ist hängt am Ende doch wieder daran was du damit machen willst.

Einen wirklichen Use-Case habe ich gar nicht. Also keinen wirklich wichtigen.

Dinge wie "Hallo Chat GPT, gib mir mal kurz den CLI Befehl für xy", geht auch bedenkenlos über Chat GPT, ohne das ich Datenschutz Bedenken haben muss. Nun könnte man sagen "das findest du auch in Foren", aber nur wenn ich via Google das richtige suche und dann nicht auf andere Forenbeiträge komme wie "was willst du machen?", die am Ende eher hinderlich als förderlich sind.

Beim Auswerten von Error Logs war der Boy mir bisher eine gute Hilfe, oder wenn ich ihm mal einen PHP Code hingeschmissen habe und sagte "Claude AI, siehst du da optimierungsbedarf" und er sagt "klar, du hast da Methoden die sich doppeln, mach das weg" oder "bündle es anders".

Dann ist das schon ab und an eine nette Ergänzung zu dem was ich so mache. Vermutlich wäre es auch eher eine Spielerei, man kann viel, nutzt aber nicht alles und das für eine Summe, wo man auch locker ein, zwei oder drei Jahre ein Ki Modell hätte abonnieren können

Über meinen eigenen Rechner habe ich so ein LLM noch gar nicht laufen lassen... klar, 12GB auf der Grafikkarte sind jetzt nicht die Welt, aber eventuell könnte es das auch tun und damit es etwas segmentiert ist, könnte man OpenClaw auch sagen, dass er mit einem LLM auf meinem PC sprechen soll, während er in seiner VM die "Magie" vollbringt

Vermutlich ist der Mac Mini aber am Ende auch nur eins... ein recht teures Spielzeug.

 

[Toms]

ob jemand so einen Mac Mini mit einem M4 Pro und 48GB RAM bei sich im Einsatz hat

Kein Mini, aber habe durchaus Modelle wie Qwen 3 Coder 30B, Gemma 3 27B oder GPT-OSS 20B auf meinem Macbook Pro via LM Studio im Einsatz. Wenn man da auf Modelle die von der Größe her in den RAM passen achtet und dass sie über die MLX Schnittstelle ausgeführt werden und nicht GGUF, dann hat man durchaus eine sehr gute Performace. RAM ist hier ausschlaggebender als die rohe SoC Leistung.

Selbst auf meinem Mac Mini (M4, 24GB RAM) laufen Modelle die in den RAM passen wirklich gut in LM Studio

Ergänzung (Donnerstag um 15:57)

Vermutlich ist der Mac Mini aber am Ende auch nur eins... ein recht teures Spielzeug.

Sehe ich nicht so. Mit vernünftiger Spec und den richtigen Modellen hast du da einen sehr guten LLM Runner, weil aufgrund des Unified Memory du große Vorteile hast und keine so teuren Grafikkarten mit viel VRAM benötigst.

 

[JumpingCat]

In den üblichen Youtube Kanälen sagen sie alle, wie toll das doch ist und wie schnell das geht etc., aber keiner erzählt mal was er genau für einen Mac Mini hat. Dann zeigen sie das, alles voll toll und am Ende

Am Ende sieht man in 95% der Fälle das der Request nach ChatGPT/etc in die Cloud ging. Vorher wurde lange erzählt wie man das alles selbst hostet. 😁

 

[chr1zZo]

@Domi83 Spiel ruhig bzw. teste mal. Sich damit auseinander zu setzen ist nicht verkehrt und macht einen nur Schlauer. Wenn du Zeit und Muse hast, geh es an. Wenn es nämlich funktioniert, dann treten durchaus neue Use Cases auf

 

[Xes]

Dann ist das schon ab und an eine nette Ergänzung zu dem was ich so mache. Vermutlich wäre es auch eher eine Spielerei, man kann viel, nutzt aber nicht alles und das für eine Summe, wo man auch locker ein, zwei oder drei Jahre ein Ki Modell hätte abonnieren können

Das ist halt der Punkt: Für 1000€ bekommst du etwa 4 Jahre lang so ein aktuell übliches 20€ KI Pro-Abo bezahlt und deren Modelle sind weit leistungsfähiger als das, was man mit normaler (bezahlbarer) Consumerhardware zuhause aufbauen kann.

Ich finde das Thema lokale KI auch spannend aber nur zum herumspielen >=1000€ dafür auszugeben wäre mir dann doch zu teuer, wenn ich damit kein Geld verdiene oder es einen anderweitig sehr wichtigen/sinnvollen Zweck erfüllt.
Da bleibe ich bei meiner normalen Grafikkarte (die ich neben "mit KI herumspielen" auch für allerlei andere Zwecke gut gebrauchen kann) + Abo. (Aktuell noch ChatGPT Pro, vermutlich wechsle ich aber zeitnah zu Google AI Pro.)

 

[Limit]

Natürlich sind 48GB RAM ganz praktisch für LLMs. Aber nicht nur die Größe, sondern auch die Geschwindigkeit des RAMs ist von Bedeutung – sprich mit dem Mac kannst du größere Modelle laufen lassen, diese sind dann aber nicht sonderlich schnell. Für Batch-Workloads mag das noch egal sein, aber wenn du schnelle Anworten willst, wirst du auf kleinere Modelle setzen müssen. Dann aber wiederum würde es mehr Sinn machen die Grafikkarte deines Systems aufzurüsten. Dann würdest du auch beim Gaming profitieren. Ich nutze z.B. auf einer RX9070 mit 16GB VRAM Qwen 3 Coder 30B und GPT-OSS 20B.

 

[AAS]

@Domi83 Spiel ruhig bzw. teste mal. Sich damit auseinander zu setzen ist nicht verkehrt und macht einen nur Schlauer. Wenn du Zeit und Muse hast, geh es an. Wenn es nämlich funktioniert, dann treten durchaus neue Use Cases auf

Die Amis kaufen den MacMini auch wegen iMessage mit OpenClaw