Wenig KI Tests von GPUs und LLMs etc auf CB?

[Orodreth]

Hi, täusche ich mich? Ich hab schon länger den Eindruck, dass KI-Themen bei CB eher nur als Nachrichten vorkommen und weniger Tests mit interessanten Vergleichen.

Ich meine hier zb. Sachen wie:

• Performance GPU/CPU in LLM, Image Generation(z.B. ComfyUI) (it/s), (Token/s) (Liste)
• FP8, NvFP4, GGUF, AWQ , etc Vergleiche
• LLM Tests, Image generation checkpoint tests
• Einflüsse der RAM Bandbreite (Ram, sowie Vram) bei Layer sharing
• Quantisierungsvergleiche (Abfall der Genauigkeit vs Speicherbedarfsreduzierung und Beschleunigung)

ich denke da gibts noch viel mehr Themen zu KI die gerade wirklich interessant sind.

Ist dahingehend etwas geplant, oder täuscht mein Eindruck dass die Sachen zu wenig vorkommen auf CB?

 

[Axxid]

…täuscht mein Eindruck dass die Sachen zu wenig vorkommen auf CB?

Für meine Verhältnisse reicht die KI-Berichterstattung auf CB absolut aus.

 

[tomgit]

Ich glaube es liegt einfach darin, dass es zu viele Variablen in dem Themenbereich gibt, mal davon abgesehen, dass man auch erst einmal Expertise dazu aneignen muss.

Selbst innerhalb der Forschung ist es da ja nicht so einfach, "faire" Benchmarks aufzubauen.

Quantisierungsvergleiche (Abfall der Genauigkeit vs Speicherbedarfsreduzierung und Beschleunigung)

Und hier sehe ich halt ComputerBase kein bisschen. Woran will man auch Quantisierung evaluieren? Was ist mit Genauigkeit gemeint? Was ist mit Qualität gemeint? Liegt eine Reduktion in der Qualität an der Quantisierung, oder sind es Probleme mit dem Trainingsdatensatz, liegt es am Prompt, liegt es an den Layern, yadda yadda.

 

[Rickmer]

Bei GPU Tests gibt's auch Benchmarks in die Richtung.

Und abseits dessen...

Quantisierungsvergleiche (Abfall der Genauigkeit vs Speicherbedarfsreduzierung und Beschleunigung)

Das klingt mehr wie eine Dissertation als ein Thema für CB...

 

[Xero261286]

Es ist schön einen Platz im Netz zu haben wo man nicht ständig mit KI, entschuldigung für die Wortwahl, "Zugeschissen" wird.

 

[jodd2021]

Diese Märchenstunden dürfen gern an anderer Stelle stattfinden.

 

[SuperHeinz]

Solange noch nicht einmal bekannt ist, welche Ansatzpunkte zwischen der KI und dem Casual Gaming bestehen, und ob überhaupt, mit der jetzigen Hardware, so lange kann ich auch auf das Thema KI hier verzichten.

Es müssen doch erst einmal die Grundlagen erforscht und gefunden werden. So lange reichen doch erst einmal die Nachrichten und Berichte darüber, was in der Welt der KI gerade so passiert.

 

[trendma]

Finde den Fokus bei CB auf (Computer-)Hardware breit genug. Begrenzte Resourcen müssen auf verschiedene Bereiche aufgeteilt werden und je mehr Themen begleitet werden je weniger kann man in die Tiefe gehen.

 

[oicfar]

ich denke da gibts noch viel mehr Themen zu KI die gerade wirklich interessant sind.

Dann schaue ich mir auch die Quellen an, die den Schwerpunkt auf KI setzen. CB ist hierfür die falsche (Web-)Adresse.

 

[Orodreth]

Könnt ihr mir dann Webseiten nennen wo sowas gemacht wird? Die Themen interessieren mich wirklich. Leider landet man allzuoft auf reddit posts die dann dann irgendwie verlaufen umso mehr diskutiert wird.
Eine Webseite die all diese Sachen übersichtlich und mit Kohärenz darstellt habe ich leider noch nicht gefunden. Es ist grad ein hit und miss der einzelenen Themen die über unzähliche Posts, Webseiten, videos verstreut sind.

 

[Ayo34]

Ich meine hier zb. Sachen wie:

• Performance GPU/CPU in LLM, Image Generation(z.B. ComfyUI) (it/s), (Token/s) (Liste)
• FP8, NvFP4, GGUF, AWQ , etc Vergleiche
• LLM Tests, Image generation checkpoint tests
• Einflüsse der RAM Bandbreite (Ram, sowie Vram) bei Layer sharing
• Quantisierungsvergleiche (Abfall der Genauigkeit vs Speicherbedarfsreduzierung und Beschleunigung)

Ich glaube das ist viel zu spezifisch um überhaupt genug Leute anzusprechen. Es gibt ja immer mal wieder einfache Vergleiche, aber selbst die werden weniger geklickt/kommentiert.

99,9% der Leute hier werden wahrscheinlich noch nie GGUF gehört haben oder interessieren sich für Quantsierungsvergleiche. Gleichzeitig wäre der Aufwand aber enorm das ordentlich herauszuarbeiten. Erst mal brauchst du eine Person mit Expertise und selbst die braucht für solche Dinge Tage.

Ganz ehrlich? Da muss man eigentlich schon in den englischen Bereich reingehen und selbst da ist es nicht in den Massenmedien, sondern eine Nische. Kenne eher Gruppen in Discord wo man darüber spricht und sich austauscht. Vielleicht auch Reddit?

Am Ende wird darüber eben nicht berichtet, wenn es keiner bezahlt...

 

[konkretor]

Also ich habe auf x diverse Leute abonniert, da wirst zugelötet mit Infos. Huggingface Blog steht auch immer viel. Das Thema ist zu spezifisch, da gibt's zu wenig Klicks für den Aufwand. Was ich verstehen kann

 

[oicfar]

Könnt ihr mir dann Webseiten nennen wo sowas gemacht wird?

Googlen. Es sind viele da. Such dir aus, was dich interessiert.

Eine Webseite die all diese Sachen übersichtlich und mit Kohärenz darstellt habe ich leider noch nicht gefunden.

Wirst du auch nicht.

 

[NJay]

CB adressiert vor allem Leute, die ihren PC als Hobby verwenden und da vor allem Spieler als größte Gruppe. Hier gibt es deshalb am meisten. Es gibt abseits davon eine Menge anderer PC Hobbys, die sind aber alle deutlich „nieschiger“ und werden deshalb eher mit News beachtet. Dazu gehört KI definitiv dazu. Andere Beispiele sind Bild-und Videobearbeitung, 3D-Modellierung, Programmierung, etc.

Aus meiner Sicht ist KI als Hobby (also lokale Modelle, nicht einfach chatGPT nutzen) noch deutlich WENIGER verbreitet als es die anderen genannten Beispiele sind. Dementsprechend passt die Anzahl an News und Tests ganz gut.

 

[Rickmer]

Könnt ihr mir dann Webseiten nennen wo sowas gemacht wird?

Versuch's mal hier: https://www.findmypapers.ai/about

Was du suchst sind effektiv aktuelle Forschungsergebnisse, also ist eine Suchmaschine für wissenschaftliche Veröffentlichungen das nächstliegende.

 

[h2f]

@Orodreth

"Könnt ihr mir dann Webseiten nennen wo sowas gemacht wird?"

benutz doch einfach mal ChatGPT und lass dir die Links raussuchen.
Und zusammenfassen. Er halluziniert nur, wenn es nix passendes gibt.
Schneller bekommst du keine Antworten.

 

[JumpingCat]

@h2f Das ist jetzt nun wirklich in keiner Weise irgendwie hilfreich was du hier schreibst.

 

[h2f]

@JumpingCat
Naja, habe da doch extra noch ein ZwinkerSmiley drangesetzt...
Aber ich denke dass das wirklich effektiver ist, als Google zu fragen.

 

[Orodreth]

Versuch's mal hier: https://www.findmypapers.ai/about

Was du suchst sind effektiv aktuelle Forschungsergebnisse, also ist eine Suchmaschine für wissenschaftliche Veröffentlichungen das nächstliegende.

Na akademische/wissenschaftliche Abhandlungen such ich nicht. Ich hab tatsächlich, nach den ganzen Umfragen die letzten Jahre, wo es sich rausgestellt hat, dass viele hier auch im IT Bereich beruflich unterwegs sind, so Fragen wie die meine gleiches Interesse auf Informationen besteht.

(ohne gleich zu tief und akademisch in die Sache einzutauchen)

 

[tomgit]

Wenn du eine gute Zusammenfassung haben willst, welche ggf. auch ab und an etwas tiefer in die Materie geht, dann abonnier den Newsletter von AlphaSignal: https://alphasignal.ai/