Wie prüft ihr, was ChatGPT wirklich kann?

[SoSu]

Hey zusammen,
ich frage mich, wie man systematisch herausfinden kann, welche Funktionen ein LLM wie ChatGPT tatsächlich hat. Mir ist aufgefallen, dass ChatGPT oft sagt, es könne etwas umsetzen, kann es dann aber nicht. Aus Neugier habe ich mal abgefragt, was wirklich möglich ist, und eine Liste bekommen aber sicher bin ich mir trotzdem nicht.

Neu ist mir auch aufgefallen, dass die Canva-Funktion in ChatGPT nicht mehr funktioniert. Weiß jemand, wie man solche Änderungen zuverlässig tracken oder automatisiert abfragen kann? Vielleicht über einen cleveren Prompt, der die aktuellen Fähigkeiten auflistet?

Bin gespannt auf eure Ideen, vielleicht hat ja jemand einen erprobten Ansatz.
Danke vorab

 

[stefan92x]

ChatGPT ist immer noch ein Sprachmodell. Was bedeutet, dass es eine bessere Autovervollständigung ist. Deshalb wird es immer etwas schwammig sein, was es wirklich kann - vor allem weil manche Sachen vielleicht grundsätzlich funktionieren, aber je nach konkreter Anfrage dann doch wieder schief gehen.

Das alles systematisch tracken wird verdammt schwer.

 

[Sandro_Suchti]

Das einzige was ChatGPT kann, ist, statistisch häufig(st) aneinander gereihte Wörter wiederzugeben.

 

[gman32]

Neu ist mir auch aufgefallen, dass die Canva-Funktion in ChatGPT nicht mehr funktioniert.

Mit chatGPT 5 wurden alle Funktionen so integriert dass chatGPT je nach Kontext direkt die passende Funktion nutzt oder eben explizit aufrufst. Das selbe mit Codex, Bildgenerierung und was man sonst von den alten Versionen kannte.

 

[Roesi]

Mir ist aufgefallen, dass ChatGPT oft sagt, es könne etwas umsetzen, kann es dann aber nicht.

Das ist nicht nur bei ChatGPT so, sondern auch bei Copilot etc.
Die möchten das Du länger Eingaben machst obwohl sie es nie umsetzen können.
Damit schiebt man die "Kundschaft" in die Bezahlmodelle die allerdings in der Regel diese Sachen auch nicht umsetzen können.
Gabs mal eine Doku darüber. Habe ich gerade nicht mehr gefunden.

 

[Precide]

Ich bekomme das durch die Arbeit mit was ChatGPT kann und was nicht, da das bei uns stark forciert wird. Da gibt's jede Woche eine halbstündige Vorstellung von Funktionen.
Letzte Woche wurde z.B. der Agent Mode vorgestellt, diese Woche habe ich mir damit mal zum Spaß meine Präsentation zusammengestellt, die ich demnächst halten muss.
Absolut beeindruckend, paar Confluence Pages verlinken, bisschen Kontext prompten und nach gut einer Stunde hatte ich 30 Seite ppt, davon musste ich nur drei, vier Folien überarbeiten, der Rest ist 100% brauchbar. In Summe 10 Minuten Arbeit meinerseits.
Jetzt gerade richte ich mir Jira-Automation, bin schon sehr gespannt wie gut die dann funktioniert. Dann erledigt sich nämlich vielleicht der nervige Jira-Spam über Email.

 

[Krausetablette]

Gar nicht! Frei nach dem Motto "Selbst ist der Mann“ sollten KI-Systeme, die sich in Widersprüche lenken lassen, mit Vorsicht genossen werden. Spätestens wenn staatliche Einflussnahme die KIs zur politischen Korrektheit umfunktioniert hat und sie nur noch das "Sagbare" oder gar "Falsches" generieren, sollte man sie abschalten.

 

[Ned Flanders]

Das einzige was ChatGPT kann, ist, statistisch häufig(st) aneinander gereihte Wörter wiederzugeben.

Ich finde das ehrlich gesagt etwas unterkomplex.

 

[nutrix]

Leider aber wahr. Es ist im Endeffekt nichts intelligentes in dieser Art von KI.

 

[Sinatra81]

Ich finde äußerst genial, was ChatGPT kann und nutze es regelmäßig zum rumspielen oder auch als Hilfe. 👍👍

Was ich dabei aber gelernt habe, man sollte immer die Quellen überprüfen. Diese fügt ChatGPT ja auch immer bei, oder man kann sie explizit nachfragen. Sie macht auch gern mal Fehler, weil ihre Datenbank auf Daten vom letzten Jahr beruhen.

Daher sollte man bei verschiedenen Sachen mit auf den Weg geben: „beziehe aktuelle Daten/Webseiten Computer mit ein“.

 

[User38]

Im täglichen Arbeitsleben eines Systemadministrator, ist Copilot und ChatGPT eine große Hilfe.

 

[Ned Flanders]

Leider aber wahr. Es ist im Endeffekt nichts intelligentes in dieser Art von KI.

Dann erklär mir mal mit dieser Sicht, wie es funktioniert, dass ich ein PDF hochlade und bitte es möge dieses mit editierbaren Feldern und Datumsauswahl als HTML Code nachbilden.

Good luck!

 

[Sinatra81]

„Braucht man nicht“ bzw. „kann nix“ ist typisch CBForum und war auch schon das Urteil über Autos, Fernseher und Internet. Scheint also ein Qualitätsmerkmal für Zukunftstechnologien zu sein. 🤷🏻‍♂️

 

[entropie88]

Frag einfach nach NP-Vollständigen Problemen oder Unendscheidbaren wie zb klick.

 

[Sinatra81]

Das einzige was ChatGPT kann, ist, statistisch häufig(st) aneinander gereihte Wörter wiederzugeben.

Dieses Bild hat ChatGpt mit dem Prompt:

„Erstelle mir eine Karikatur von einem Computer Nerd, der seinen Monitor statt mit einem Tuch mit einem Schleifgerät putzt.“

Dieses mit: „Zeichne mir eine Karikatur eines Desktop PCs mit Glasfenster. Innen drin soll an Stelle der Grafikkarte ein Grillhähnchen schmoren, weil es so warm drin ist.“

Das sind nur zwei Beispiele, die nicht nach einer Wörterkette aussehen. 🤷🏻‍♂️

 

[Krausetablette]

Das sind nur zwei Beispiele, die nicht nach einer Wörterkette aussehen. 🤷🏻‍♂️

Sieht eher wertlos aus. Aber wie erklärt man normal denkenden Menschen, dass Dampf nicht durch einen geschlossenen Deckel steigen kann? Wer etwas vom Erstellen von Karikaturen versteht, braucht keine KI. Wer das nicht tut, greift auf diese eher sinnfreien Karikaturen zurück.

 

[floTTes]

KNN (künstliche neuronale Netze) sind schon echt cool und werden binäres "Denken" in vielen Fällen obsolet machen.
Der Mensch selbst kann auf Grund der Datenmengen, die da reingepumpt werden, gar nicht mehr in vereinfachte Strukturen (wie z.B. Binärbaum) "übersetzen".
Wir brauchen also Kontroll-Werkzeuge für unsere Werkzeuge.

LLMs stehen noch am Anfang und werden nie verstehen, was sie da eigentlich ausgeben. Allerdings weiß die KI auch nicht, was sie gerade gemalt (Bild-Generierung) hat. Die Ergebnisse können sich aber durchaus sehen lassen.
Auch Code-Generierung basiert nur auf Snippets. Gerade einfache Sachen, die für Programmierer eigentlich nur Tipparbeit sind, können aber imho schon genutzt werden.

Dann erklär mir mal mit dieser Sicht, wie es funktioniert, dass ich ein PDF hochlade und bitte es möge dieses mit editierbaren Feldern und Datumsauswahl als HTML Code nachbilden.

Von einer Markup-Language zu einer anderen.

Ergänzung (4. September 2025)

Aber wie erklärt man normal denkenden Menschen, dass Dampf nicht durch einen geschlossenen Deckel steigen kann?

Das stört dich?

Der Monitor ist Röhre, das Keyboard TKL und der PC hat noch Laufwerke!

 

[Ned Flanders]

Von einer Markup-Language zu einer anderen.

Funktioniert auch mit einem JPEG. Ich sage nicht, dass das Magie ist. Ich sage nur das die standard Erklärung die hier immer kommt unterkomplex ist.

 

[Metalveteran]

Einfach dieselbe Frage in verschiedene Modelle eingeben und nach Widersprüchen bzw. unterschiedliche Aussagen suchen..... 🤷‍♂️

 

[floTTes]

"So vong Schlauigkeit her, kann die KI auch mit die Fehlas schon jut helfen tun."

Feature-Matrix wäre aber nett.

Einfach dieselbe Frage in verschiedene Modelle eingeben und nach Widersprüchen bzw. unterschiedliche Aussagen suchen..... 🤷‍♂️

Wäre wohl eher Community-Arbeit. Darauf dürfte es aber hinauslaufen.

@Ned Flanders,
für dein Beispiel braucht es leider keine neuronalen Netze.
Ich fürchte sogar, dass KI irgendwie tatsächlich dem Hype gerecht werden wird. LLMs sind nur ein kleiner Teil der KI-Blase. Einige "verteufeln" das Zeug noch wegen Kinderkrankheiten oder weil sie selbst keinen Nutzen daraus ziehen.
Für einige wird der Pferderücken immer bequemer sein als eine Limousine - eine Frage des Stolzes.