Jan schrieb:
Ja, genau sowas schwebt mir aktuell vor. Denn da gibt es quasi nichts global und "jeder" ist andauernd auf der Suche nach Infos zum Thema.
Definitiv, man vor allem findet man zwischen den paar brauchbaren Sachen soviel LLM oder anders generierte(n) Müll / Zufallszahlen.
Jan schrieb:
Das ist aber leider nicht trivial. Modelle sind zwar "fix", aber teilweise mit den Hunderten an Forks nicht unbedingt perfekt auffindbar.
Ja, da muss man viel festnageln:
Model: Name, Quantisierung, und wahrscheinlich am besten Hash/Datum(zeigt vermutlich kein Tool per default an)
Backends: CPU/GPU, welches "Backend" (auf meinem 2. PC benutzt Ollama die GPU(Vega 56) via Vulkan, andere Tools machen das wahrscheinlich anders?)
Bei CPU-Benchmarks auch sehr wichtig: RAM-Bandbreite, am besten kurz gemessen (XMP beim letzten boot ausgestiegen? Doch beim Zusammenbau den 2. Riegel in den falschen Channel gesteckt? Vergessen, dass im PC nur ein Riegel steckt?)
OS: Welches OS/Kernel + evtl Patchlevel
Treiber: Welcher offizielle Treiber ist installiert?
Ich habe hier auf Windows 10 eine OpenCl-DLL(kein Effekt) und eine Vulkan-DLL(danach hats funktioniert) manuell drüber bügeln, wo schreibe ich das rein?
Jan schrieb:
Und die Runtimes und Inferencing Engines kriegen gefühlt täglich Updates. Das müsste man irgendwie versuchen wie mit Treibern abzugreifen.
Yes, und das könnte sowohl ändern wie das jeweilige Tool arbeitet
als auch wie es die Geschwindigkeit (Token/s) misst ^.^
Und was nimmt man überhaupt als Test?
Alle das gleiche Prompt?
Mit Temperatur = 0 oder default setting?
Wäre ein längeres Gespräch oder gar Agent Aufgabe nicht realistischer?
Bei letzterem: Welche Zugriffe bräuchte der Agent?
(
ändere alle Dateinamen in System32 so, dass die Sortierung im Explorer sowohl nach Größe als auch nach Name die gleiche Reihenfolge ergibt)