Wie prüft ihr, was ChatGPT wirklich kann?

[m4rci]

ChatGPT konnte mir Powershell Skripte schreiben ohne die ich für meine Filmdatenbank auf externe Programme hätte zurückgreifen müssen. Ich glaub für absolute Laien ist das sehr hilfreich.

 

[Ned Flanders]

für dein Beispiel braucht es leider keine neuronalen Netze.

Das habe ich auch nie behauptet.

-->

Ich finde das ehrlich gesagt etwas unterkomplex.

 

[Drewkev]

Ich finde das ehrlich gesagt etwas unterkomplex.

Ernstgemeinte Frage; warum?

 

[floTTes]

Ernstgemeinte Frage; warum?

Weil anscheinend einige gar nicht verstehen, was LLMs tatsächlich sind, das dann aber mit KI (und dem Hype) gleichsetzen.

Sieht man mal von KI als Buzzword ab, sind neuronale Netze zusammen mit Training und immenser Rechenpower sehr, sehr mächtig. Sie können mit Datenmengen arbeiten, die der Mensch sich nicht einmal mehr vorstellen kann.
Neuronale Netze ermöglichen eine partielle Entscheidung auf viel weniger Ebenen als man mit cases überhaupt abdecken könnte. Vereinfacht gesagt, wir stellen unsere Algorithmen breiter auf.

 

[Drewkev]

Sieht man mal von KI als Buzzword ab, sind neuronale Netze zusammen mit Training und immenser Rechenpower sehr, sehr mächtig. Sie können mit Datenmengen arbeiten, die der Mensch sich nicht einmal mehr vorstellen kann.

Schon, aber inwiefern steigert das die Komplexität?

 

[Micha-]

Funktioniert auch mit einem JPEG. Ich sage nicht, dass das Magie ist. Ich sage nur das die standard Erklärung die hier immer kommt unterkomplex ist.

Es ist aber so. LLM fügen nur Token mit der höchsten Wahrscheinlichkeit aneinander. Da gibt es keinerlei Verständnis. Keine Intelligenz.

Ob die Token nun Sprache, Wörter, Musik oder Bilder wiedergeben ist egal. Die Systeme haben einfach gelernt, wenn ich Pixel so und so anordne, dann bekomme ich eine Belohnung, weil das Ergebnis ein Ding namens "Katze" ist.

Frage eine KI mal Dinge die nicht irgendwo im Netz stehen oder die echtes logisches denken erfordern.

(das bedeutet nicht, daß die KI nicht hilfreich ist, aber intelligent ist sie eben nicht)

 

[floTTes]

[...] inwiefern steigert das die Komplexität?

Welche Komplexität? Die der Algorithmen? Die der Datensätze und Verstrickungen?

Die Größe und Menge der Datensätze, die wir verarbeiten können, übersteigen Denk-, Vorstellungs-, Trial-and-Error- und Nachvollziehungsvermögen der Menschen.

Der Mensch kann kaum parallel und auch nur begrenzt sequentiell denken.

Neuronale Netze ermöglichen eine partielle Entscheidung auf viel weniger Ebenen als man mit cases überhaupt abdecken könnte. Vereinfacht gesagt, wir stellen unsere Algorithmen breiter auf.

Frage eine KI mal Dinge die nicht irgendwo im Netz stehen oder die echtes logisches denken erfordern.

Mach das mal mit einem Menschen. Da wird dir auffallen, dass häufig auch echte Intelligenz mehr Schein als Sein ist.

(das bedeutet nicht, daß die KI nicht hilfreich ist, aber intelligent ist sie eben nicht)

Dieses "Missverständnis" haben dem Buzzword "KI" zu verdanken. Hier muss klar zwischen Marketing und Werkzeug unterschieden werden.

Intelligenz ist an sich ja eher philosophisch als menschlich.

 

[Drewkev]

@floTTes
Reden wir aneinander vorbei oder bist du doch der gleichen Meinung wie @Ned Flanders? Weil ich teile die Meinung von @Sandro_Suchti und Andere.

 

[floTTes]

Eben, Sandro_Suchti hat nichts Falsches gesagt, aber es stark vereinfacht und das ChatGPT-LLM mit KI gleichsetzt. die "Intelligenz" abgesprochen.

Scheint mir irgendwie "unterkomplex".

Zu KI habe ich eine ähnliche Meinung wie zu einer Kettensäge:
Mächtiges, aber gefährliches Werkzeug.

 

[Sandro_Suchti]

und das ChatGPT-LLM mit KI gleichsetzt.

Habe ich das? Wo denn? Für mich ist ChatGPT jedenfalls ebenso keine KI.

Scheint mir irgendwie "unterkomplex".

Ich fürchte Ned meint es aber so, dass ChatGPT mehr ist/kann als nur Wörter aneinanderzureihen. Mag mich aber täuschen.

 

[Looniversity]

Spätestens wenn staatliche Einflussnahme die KIs zur politischen Korrektheit umfunktioniert

Noch viel früher, warte mal ab, bis die AIs als Kernfunktion nur noch Werbung servieren wie Google heute nur noch Werbung "findet".
Es ist jetzt schon in Arbeit, dass jede Anfrage auf Monetisierbarkeit bewertet wird während sie eingeht, damit die Nutzer bei einfachen Queries direkt eine Antwort bekommen und bei komplexeren möglichst elegant an die Bezahlmodelle herangeführt werden.

 

[floTTes]

Ich fürchte Ned meint es aber so, dass ChatGPT mehr ist/kann als nur Wörter aneinanderzureihen.

Das weiß ich nicht genau.

LLMs arbeiten mit Tokens und Wahrscheinlichkeit, das ist richtig. Das scheinen viele Redakteure ähnlich zu handhaben. Da wird die "Wahrheit" schon mal an die geneigte Leserschaft angepasst.

LLMs können viele, viele, viele Themengebiete aber mit einer höheren Treffsicherheit durcharbeiten als ich es in meinem ganzen Leben könnte. Noch nie ein Lehrbuch missverstanden? Aus korrektem Material die falschen Schlüsse gezogen? Passiert mir ständig.

Dass LLMs viel Schrott erzählen, liegt nicht zuletzt auch am Trainings- und Quell-Material. Das müsste eigentlich kuratiert werden.
Man lässt die Dinger aber einfach lesen, was die Menschheit so an geistigem Nonsens von sich gibt. Das kann ja gar nicht funktionieren.

 

[blöderidiot]

ich frage mich, wie man systematisch herausfinden kann, welche Funktionen ein LLM wie ChatGPT tatsächlich hat. Mir ist aufgefallen, dass ChatGPT oft sagt, es könne etwas umsetzen, kann es dann aber nicht. Aus Neugier habe ich mal abgefragt, was wirklich möglich ist, und eine Liste bekommen aber sicher bin ich mir trotzdem nicht.

Du könntest Dich bei allen großen LLM anmelden und jedem Fragen aus der sog. "Landau-Physikprüfung" stellen (Link). Die Antworten kannst Du dann vergleichen. Beispiel:

• Betrachten Sie im Potential zweier δ-Funktions-Potentialtöpfe U = -κ[δ(x + a/2) + δ(x - a/2)] zwei Fälle: gerade und ungerade Wellenfunktionen. Zeichnen Sie einen Graphen von E(κ) für beide Fälle.

Gemini 2.5:

Spoiler

Interpretation

1. Existence of States:
   • The even solution (blue curve), which is the overall ground state, exists for any attractive potential strength (g > 0). No matter how shallow the wells are, there will always be at least one bound state.
   • The odd solution (red curve), which is the first excited state, only appears after the potential strength g reaches a critical value of 1. If the wells are too shallow (g < 1), there is only one bound state.
2. Energy Splitting:
   • For any given strength g where both states exist, the even state always has a lower (more negative) energy than the odd state. This is a general feature in quantum mechanics: the ground state wavefunction has no nodes, while the first excited state has one node, which "costs" kinetic energy.
   • As the potential wells get very deep (large g), the energy levels of the even and odd states become very close. This is because the particle is tightly trapped in either the left or the right well, and the probability of tunneling to the other side becomes very small. In this limit, the system behaves like two independent single delta-wells.
3. Comparison to a Single Well: A single delta-function well U(x) = -κδ(x) has exactly one bound state. By bringing two wells together, we see the possibility of a second bound state emerging, and we can see how the energy of the ground state is lowered compared to the single-well case.

und so weiter. Es gibt da auch richtig schwierige Fragen, an denen das eine oder andere LLM scheitern wird.
Beispiel:
"A particle with spin 1 is trapped in a 2D potential given by V(x,y) = α(x⁴ + y⁴ - 2x²y²). Find the ground state energy splitting if a magnetic field B is applied along the axis defined by the vector (1, 1, 1)."

 

[Micha-]

Spätestens wenn staatliche Einflussnahme die KIs zur politischen Korrektheit umfunktioniert hat

Es ist doch schon viel schlimmer - einzelne Menschen legen inzwischen fest wie die KI LLM zu antworten hat (Musk => Grok). Und Deepseck redet Xi nach dem Mund.

 

[dms]

bisschen Kontext prompten und nach gut einer Stunde hatte ich 30 Seite ppt, davon musste ich nur drei, vier Folien überarbeiten, der Rest ist 100% brauchbar.

ja, auf die Art "Spamwelle" freu ich mich dann auch schon - weil man dann noch mehr Seiten ins Dokument packen kann

Der Professor - Typ Folienschlächter - mit OH-Porjektor und 100 Folien nur modern in Elektronisch

 

[Ned Flanders]

Ernstgemeinte Frage; warum?

Weil die Funktion deutlich über statistische Wortketten Generation hinaus geht. Das Grundprinzip ist Wahrscheinlichkeitsmodellierung von Tokenfolgen, ja. Das Ganze ist aber kein flaches Wörterbruch, sondern ein hochdimensionales semantisches Modell, das Strukturen, Muster und Regeln gelernt hat – darunter auch mathematische Prozeduren und logische Schlussfolgerungen.

Mag mich aber täuschen.

Eine passende Analogie zur Behauptung aktuelle LLMs wie ChatGPT seien nur statistische Wortkettengeneratoren ist die Behauptung die Evolutionstheorie besage die Entstehung der Arten basiere auf Zufall.

Ich hoffe das war jetzt verständlich genug.

 

[oicfar]

ich frage mich, wie man systematisch herausfinden kann, welche Funktionen ein LLM wie ChatGPT tatsächlich hat.

Was ist dein Ziel?

Ich schaue nicht nach, welche Funktionen es hat. Ich nutze was da ist und hole das Beste für mich raus.

 

[Micha-]

und Regeln gelernt hat – darunter auch mathematische Prozeduren und logische Schlussfolgerungen.

Und das eben nicht
LLM können zum Beispiel nicht zählen

 

[Ned Flanders]

@Micha- Ich hab extra ein frei erfundenes Wort genommen

 

[Micha-]

QED