News „Chat with RTX“-Demo: Nvidias AI-Chatbot läuft nach Download lokal auf RTX 30 & 40

[Mr. Vega]

Der praktische Nutzen des Features ist halt auf eine sehr kleine Nutzer-Gruppe beschränkt und/oder tatsächlich interessant.
Zudem gibt es im privaten Bereich kaum sinnvolle Anwendungsfälle wenn man ehrlich ist.

Ergänzung (14. Februar 2024)

Mal sehen ob AMD da auch nach zieht.

Einen wirklichen Grund haben Sie Stand heute nicht sowas zutun. Kapazitäten Verschwendung.

Sehe für solch ein Feature derzeit nur wenig praktischen Nutzen am PC für den Großteil aller PC User.
Dazu kommt das fehlende Interesse abseits von IT Pros, Technologie Entusiasten etc.
Der 0815 PC User/Gamer interessiert sich dafür doch garnicht.

Deswegen, Stand heute nette technische Spielerei für einen kleinen Nutzerkreis der eventuell hieraus einen praktischen Nutzen ziehen kann. Mehr aber auch nicht erstmal.

Zudem gibt es bereits einige gute Alternativen am Markt.

 

[ToonPhantom]

Ist schon eine nette Sache. Für mich wäre da nun die Frage, wie kann ich Fragen via Python oder Rest API rüberschicken.

 

[Maviba]

gpt4all hat ebenso die möglichkeit, dokumente zu durchsuchen und braucht keine gpu.

Chat with RTX ist wohl auch eher für diejenigen, die eben keine ständige Verbindung zu einem AI-Server, sonder lokal damit arbeiten wollen.

Könnte interessant für die Spieleentwicklung und Offline-Anwendungen werden.

 

[0x8100]

@Maviba gpt4all ist ebenso rein lokal. du kannst auch beliebige andere modelle reinladen, siehe z.b. https://llm.extractum.io und als weiteren vorteil hat es eine api, d.h. du kannst es auch in andere projekte integrieren.

 

[Mr. Vega]

Der erste richtige Test fällt etwas gemischt aus.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[NadaSurf]

Ich habe das ganze auf meinem Win10 Rechner installiert, bisher funktioniert das Ganze ohne Probleme, wobei ich da keinerlei Vergleiche oder sonstige Erfahrungen zu haben.

 

[drmaniac]

Hab es installiert.

Frage 1: Kann man es auch deutsch umstellen? Also deutsche PDFs scheint er ja zu verstehen... Aber keine deutsche Fragestellungen?

Frage 2: Ich mag keine Zensur^^ wann gibt es sowas wie NudePatches ^^ Im Ernst: Warum müssen die da die selben Limits einbauen wie bei ChatGPT? Wenn ich das richtig verstehe, gibt es bei ChatGPT seitens OpenAI bestimmte einleitende Texte, die das Modell in gewisse Bahnen fixieren. Wo sind die denn bei diesem Model das heruntergeladen wird versteckt?

 

[mae1cum77]

wann gibt es sowas wie NudePatches

Wenn ich das richtig verstehe, ist das entweder oder. Bei den freien LLaMa-Modellen, die z.B. in oogabooga eingebunden werden können, gibt es limitierte und freie Varianten zur Installation.

Hier hatte ein User vor einer Weile die Integration in oogabooga gepostet, da habe ich beide Modelle installiert.

Das freie diskutiert mit mir, wie ich am besten eine 'Bombe' baue und weist mich auf die Gefahren im Umgang mit gefährlichen Stoffen hin. Die andere verweigert das Gespräch .

 

[drmaniac]

"verweigert das Gespräch" köstlich.

Es ist alleine schon nervend, wenn man sagt, schreibe einen bösen Witz über Trump, etc. und dann erstmal Belehrungen kommen... das will ich einfach nicht, ich fühle mich gegängelt.

Kann ich bei RTX denn ein anderes/größeres/freieres Modell einbinden oder ist das derzeit nicht vorgesehen?

 

[mae1cum77]

Nüchtern betrachtet Spielerei. Die kleinen Modelle, die auch lokal auf Mittelklasse-Consumer-Hardware laufen, sind doch sehr beschränkt. Solange der Kontext nicht persistent Teil des Modells wird (als 'Gedächtnis') taugt das nicht als persönlicher Assistent.

Letzteres wäre eine Funktion, der ich, wenn lokal gehostet, schon einen Sinn zu geben wüsste.

 

[DJ_Burn]

was für ein Schwachsinn. Dieser ganze AI Kram kann wieder weg und ab in die Tonne. Braucht kein Mensch. Du weisst irgendwann eh nicht mehr, sprech ich nun mit einem Menschen oder einer Blechdose? Oder ist eine Grafik/ein Video nun echt oder AI Fake? Es wird immer schlimmer.

 

[mae1cum77]

Braucht kein Mensch.

Langsam. Gibt durchaus Einsatzgebiete, wo eine AI Vorteile bringt. Der Gesundheitssektor ist so ein Fall.

Problemstellung: Auswertung von Aufnahmen aus Radiologie und Tomographie. Hier gilt es bisher mit 'manuellem' Einsatz die Sachen zu sichten. Da ist es wichtig auch minimalste Veränderungen zu registrieren, und das bei hunderten Bildern pro Tag.

Der Prozess ist dadurch nur sehr beschränkt flächendeckend zu gewährleisten. Viele haben garkeinen Zugriff.

Da kann AI Vorteile bringen., die hat sich als äußerst effektiv erwiesen. Sie ersetzt nicht den Menschen als letzte Kontrollinstanz, dieser stellt auch die Diagnose.

 

[Lynchtactical]

Vor allem: warum nur W11?! und nicht 10?

Habs gestern unter 10 getestet. Lief ^^

 

[V3ngeance]

Hoffentlich zieht AMD mit

 

[DaLexy]

"verweigert das Gespräch" köstlich.

Es ist alleine schon nervend, wenn man sagt, schreibe einen bösen Witz über Trump, etc. und dann erstmal Belehrungen kommen... das will ich einfach nicht, ich fühle mich gegängelt.

Kann ich bei RTX denn ein anderes/größeres/freieres Modell einbinden oder ist das derzeit nicht vorgesehen?

https://huggingface.co/TheBloke

Schau dich da mal um und teste es aus. Ich weiss nicht welches Format die nutzen bei Chat RTX, AWQ oder GPTQ vermutlich.

 

[dernettehans]

Habs grad mal ausprobiert ist ja der reinste Witz, man kann nichts einstellen. Die Antworten bestehn aus maximal paar Zeilen. Kann man damit keine längeren Tokens erzeugen lassen zb kleinere Kurzgeschichten? Da bleib ich erst mal bei https://lmstudio.ai/ die ziehn bestimmt auch bald mit, dass man Zusatzinformationen einscannen kann.

 

[Mr. Vega]

Hoffentlich zieht AMD mit

Wozu? Verschwendete Ressourcen für wichtigere Projekte.
Es gibt genug Alternativen die auch besser funktionieren wie Chat with RTX.
Das Ganze hat Stand jetzt noch keinerlei Benefit.

 

[$$coffee]

Ich verstehe den Installationsprozess überhaupt nicht von Chat with RTX.
Lasst mich erklären wieso.
1. Download von NVIDIA_ChatWithRTX_Demo als ca. 37 GB große Zip-Datei.
2. Entpacken der Zip-Datei mit Inhalt ChatWithRTX_Offline_2_11_mistral_Llama mit ca. 38 GB.
3. Ausführung der setup.exe welche mehr als 10 Minuten benötigt, irgendwelche Dependencies zusätzlich herunterzuladen und zu installieren.

 

[Haldi]

und dann so fragen stellen wie:
"ich war mal auf einer RAdtour mit Zelt.. hab in einem Wald übernachtet. Es gab einen wunderschönen Sonnenuntergang mit Sonnenstrahlen durch den Wald die das Zelt schön beleuchtet haben.

https://github.com/greyovo/PicQuery
Wäre vllt was für dich.

 

[Nooblander]

@Jan AMD hat nun wohl ebenfalls seinen "eigenen" lokalen AI Chatbot mit LLM über eine spezielle LM Studio Version veröffentlicht. Ab RX7000 oder Ryzen 7000/8000 APUs mit XDNA NPU https://wccftech.com/amd-ryzen-ai-c...lized-chatbot-llms-like-nvidia-chat-with-rtx/

https://community.amd.com/t5/ai/how...el-llm-on-your-amd-ryzen-ai-pc-or/ba-p/670709