Anzeige UGREEN NASync iDX: Neue AI NAS führen bei Leistung und Intelligenz [Anzeige]

[silentdragon95]

Genau dafür (exakt lösbare Probleme) sollte man Sprachmodelle eigentlich nicht einsetzen...

Das LLM wird ja genau genommen auch nicht dafür eingesetzt, um die Frage direkt zu beantworten, sondern um die Antwort im Internet zu finden und bei Bedarf zusammenzufassen. Deswegen nimmt man ja ein Modell, dass für Tool-Calling und das Befolgen von Befehlen (System-prompt) optimiert ist. Klar kann man das auch selber nachschauen, aber ich finde es angenehm, nicht jedes Mal das Handy in die Hand nehmen zu müssen, selbst wenn ich das LLM zu 90% nur nach dem Wetter für morgen frage.

Und bei der Smart Home Steuerung ist der große Vorteil eben, dass das LLM unterschiedlichste Formulierungen und in vielen Fällen auch Sätze mit falsch erkannten Wörtern verstehen kann - ansonsten müsste man das halt alles hardcoden oder sich jedes mal an die exakten Formulierungen und Entitätsbezeichnungen halten, was insbesondere mit mehreren Personen im Haushalt wenig praktikabel ist.

Klar könnte ich auch einfach Alexa oder Siri fragen, aber wenn ich schon ein (potenziell) jederzeit mithörendes Mikrofon in meinem Zuhause habe, dann sollten die Aufnahmen mein LAN wenigstens nicht verlassen

 

[GTR]

Ich hab die DXP6800 Pro von Kickstarter und läuft 1a seit Tag 1 ohne irgendein Problem mit mehreren Docker Containern. Ich habe auch nie ein anderes OS vermisst.
Das einzige was ich vermisse sind die dynamischen Raids mit unterschiedlich großen Festplatten. Das wäre für den Heimgebrauch nicht verkehrt. Soll aber laut UGREEN auch irgendwann kommen.

 

[andy_m4]

Naja, natürlich geht es mir um die Inferenz, die ich als Energieverschwendung bezeichne

Naja. Aber in dem Augenblick machst Du ja was. Das Modell macht ja nicht von sich aus Inferenz.
Wenn Du ein Video guckst, belastest Du die Hardware auch. Und da müsstest Du ja auch sagen: Video gucken ist Energieverschwendung.

Könnte man das nicht einfach auf dem PC ausführen, von dem man aus auf das NAS zugreift?

Ja. Kann man. Ist halt die Frage, was man will und was man machen möchte.
Auf dem NAS hat man ja vor allem Services liegen, die man allen LAN-Clients zur Verfügung stellen will. Also auch dem Smartphone, was dann i.d.R. noch weniger Leistung hat.

Davon abgesehen sind hochspezialisierte Anwendungen auf optimierter Hardware aber tatsächlich der einzige sinnvolle Anwendungsfall für kleine Sprachmodelle.

Der Vorteil von spezialisierten und entsprechend kleinen Modellen ist ja, das Du keine optimierte Hardware brauchst.

dass wir eine Lösung haben, für die wir nach Problemen suchen müssen, die mit LLM tatsächlich besser gelöst werden als ohne LLM.

Klar sollte man für eine Aufgabe immer das passende Tool nehmen.
Aber es ist ja nicht so, als wenns die nicht auch für kleine LLMs gäbe.

 

[Backfisch]

Wenn Du ein Video guckst, belastest Du die Hardware auch. Und da müsstest Du ja auch sagen: Video gucken ist Energieverschwendung.

Non sequitur. Ich habe ganz konkret gesagt: Kleine Modelle sind in aller Regel nicht die Mühe und Energie wert, die in sie investiert wird.

Also auch dem Smartphone, was dann i.d.R. noch weniger Leistung hat.

Wenn man einen sinnvollen Anwendungsfall findet, ist das zumindest mal ein Ansatz.

Der Vorteil von spezialisierten und entsprechend kleinen Modellen ist ja, das Du keine optimierte Hardware brauchst.

Der Vorteil ist kein Vorteil, wenn es keinen sinnvollen Anwendungsfall gibt.

Aber es ist ja nicht so, als wenns die nicht auch für kleine LLMs gäbe.

Momentan ist es noch überwiegend eine Lösung ohne passendes Problem.

Das LLM wird ja genau genommen auch nicht dafür eingesetzt, um die Frage direkt zu beantworten, sondern um die Antwort im Internet zu finden und bei Bedarf zusammenzufassen

Dafür braucht es kein LLM.

Und bei der Smart Home Steuerung ist der große Vorteil eben, dass das LLM unterschiedlichste Formulierungen und in vielen Fällen auch Sätze mit falsch erkannten Wörtern verstehen kann

Das ist keine Stärke des LLMs, sondern eine Stärke des Embeddings.

dann sollten die Aufnahmen mein LAN wenigstens nicht verlassen

Privacy ist eines der wenigen Argumente, die ich wirklich nachvollziehen kann.

 

[andy_m4]

Kleine Modelle sind in aller Regel nicht die Mühe und Energie wert, die in sie investiert wird.

Ja. Wenn man es nicht braucht, muss man es nicht installieren und laufen lassen.
Das ist jetzt aber eine Trivialerkenntnis, die man nicht großartig kommunizieren muss.

Momentan ist es noch überwiegend eine Lösung ohne passendes Problem.

Wieso keine Anwendungsfälle?
Man kann sich z.B. eine Sprachsteuerung basteln a-la "Schalt mal das Rotlicht im Schlafzimmer an". Man braucht dann nur ein einfaches Modell was Audio in Text umwandeln. Und ein schmales LLM was aus dem Text dann in entsprechende Befehle übersetzt die dann ausgeführt werden.

Oder auch Kommandozeilenhelfer. Ich bin jemand, der vorwiegend via Kommandozeile administriert. Nun hat man nicht immer alle Befehle parat. Insbesondere wenn man sie selten benötigt. Also kann ich das LLM dazu befragen, welches als Datenbasis die auf dem System vorhandenen Manpages inhaliert hat.

Das hat dann den Vorteil, das ich Lösungsvorschläge auf Basis der tatsächlich vorhandenen Tools bekomme und mir nicht irgendwelche Kommandos vorschlagen werden die ich gar nicht habe und erst installieren muss und auch nicht irgendwelche Kommandozeilenschalter die meine Version des Tools gar nicht hat (oder umgekehrt: schon hat, weil ich da halt die neuste Version habe).
inkl. den Verweis auf die entsprechenden Manpages, damit ich selbst überprüfen kann damit er mir nicht versehentlich ein rm -rf / unterjubelt, obwohl ich eigentlich kopieren wollte. :-)

 

[DarkGenesis]

Also auf mein Home PC läuft ein LLM OpenAI GPT‑OSS 120B‑Modell mit 10 Token/s jetzt nicht super schnell aber es reicht

 

[conpain]

Wie sieht es mit dem Stromverbrauch aus? So ein mächtiges NAS wird wahrscheinlich nicht unter 20 Watt im idle haben, behaupte ich mal ganz forsch.

Mein DXP4800 Plus mit 2x4TB 990 Pro / 4x18TB EXOS / 64GB RAM / 10G NIC Nutzung (AQC113 NIC) braucht um die 27W im Idle, wenn die HDDs im Sleep sind.

Mit ordentlich HDD Last und Docker Aktivität sehe ich schon mal 50W+.

 

[Ausbeiner]

Das ist ziemlich wenig. Ich hab vier Western Digital Red plus HDDs und zwei WD Red SSDs verbaut und nutze auch das 10 Gbit Ethernet. Idle bei mir auch 28 Watt, aber unter Last zwischen 60-90 Watt.

 

[Drakrochma]

Ich würde mir ein Angebot für ein Upgrade von den vorherigen Nas wünschen.

Ich hab das 6800pro und würde ein Upgrade machen.
Aber nicht für den Preis schon nach nur nicht mal 2 Jahren.
Für einen Wechsel mit inzahlungnahme vom bisherigen ugreen wäre ich aber offen