Test PDFs mit KI auswerten: Adobes KI-Assistent gegen NotebookLM und ChatGPT im Test

[Andy]

KI-Assistenten stecken mittlerweile in praktisch allen Tools, PDF-Reader sind keine Ausnahme. Bei Adobe kostet der „KI Assistent“ im Acrobat Reader 5,99 Euro monatlich. Lohnt sich der Aufpreis und kann der KI-Assistent mit Recherche-Tools wie NotebookLM und ChatGPT mithalten?Der Test liefert die Antwort.

Zum Test: PDFs mit KI auswerten: Adobes KI-Assistent gegen NotebookLM und ChatGPT im Test

 

[AAS]

Ich vermisse den besten:
Copilot mit Sharepoint.

 

[shysdrag]

Oh ja, bitte in Zukunft mehr Tests zu aktuellen AI Tools. Das Internet ist zwar übersäht mit allmöglichen LLM Performance Reviews von Influencern die einem alles mögliche mit verkaufen wollen, aber mit realen Aufgaben haben die meist wenig zu tun.
Klar, da kommt jede Woche ein neues Model raus und die Recherche nimmt viel Zeit in Anspruch, aber es ist auch ein sehr interessantes Ressort dass im Deutschsprachigen Journalismus zu wenig Beachtung findet.

 

[Thares]

Es wäre mal Cool wenn ihr die ganzen KI mal testen könnt so alle KI - miteinander, ich habe langsam kein überblick mehr :-)
Ich nutze aktuell aktiv ChatGPT.

So eine Ranking wäre cool wie, dieser KI ist hier gut, der andere KI dort usw.
Ich nutze viel Powershell , wäre froh welche KI dat beste für PowerShell wäre fürs Scripten usw.

 

[incurable]

Die KI des Empfängers "wertet" "komplexe" Dokumente "aus", die die KI des Absenders zugemüllt hat.

KI KI KI KI.

 

[Jan]

aber es ist auch ein sehr interessantes Ressort dass im Deutschsprachigen Journalismus zu wenig Beachtung findet.

Teilt diese Inhalte, nutzt CB mit Pro oder ohne AdBlocker. Warum das sonst niemand macht? Weil, wie du schon sagst, irgendein Mist jede Suchanfrage zum Thema abfängt. Das hier ist an der Grenze zur Liebhaberei. Sehr guter Content von @Andy, aber die Zielgruppe, die er erreicht, könnte anno 2025 leider kaum kleiner sein.

 

[RitterRost]

Danke für den sehr interessanten Artikel.

 

[the_IT_Guy]

Vielen Dank, auf jeden Fall erhellend diese Praxistests. Viel besser als diese Meldungen Model X1A ist schneller als ModelYA1 in Benchmark A38

Aus meiner Sicht sind die Ergebnisse aber eher etwas was man dem Publikum auf der CeBit vorstellen kann, mit dem Hinweis, wir sind noch in der Entwicklung. Auf keinen Fall das Niveau eines Produkts für das man Monatlich Geld bezahlen würde.

 

[Stöf]

Nicht sicher ob es jemanden aufgefallen ist, aber auf Bild 4 wird eine junge Frau (vermutlich) versehentlich gezeigt..

 

[Zornica]

So zeigt sich beim KI-Assistenten im Acrobat Reader eines der größten Probleme, was die KI-Systeme derzeit haben: Statt mitzuteilen, dass sie eine Antwort nicht finden, halluzinieren die Modelle.

ich wünschte man würde aufhören dieses Wort "halluzinieren" zu nutzen, bzw scheiße dass sich das überhaupt etabliert hat, weil des eine Art Bewusstsein und Wissen impliziert, und komplett missrepräsentiert wie diese Technologie funktionieren.
Wir mögen das Ergebnis als Fehlfunktion oder "Lüge" abtun, aber im Grunde zeigt es doch nur, dass der Algorithmus genau so arbeitet wie er gedacht ist: er generiert Text der menschlich klingt. Konzepte wie Fakten, Wahrheit etc existieren in dieser Technologie einfach nicht, weil die nie dafür geschaffen wurde. Hier wird die wahrscheinlichste Abfolge an Worten errechnet, und nichts weiter.
Es wird wirklich höchste Zeit für Aufklärung, und dazu sollte man damit anfangen die Dinge richtig zu benennen.

 

[Döspaddel]

Danke für den interessanten Artikel! Ich habe gute Erfahrungen mit NotebookLM gemacht, auch wenn mir eine lokale Open Source Lösung lieber wäre.

@Zornica „lügen“ würde den LLMs aber doch mindestens genauso viel Bewusstsein unterstellen. Dazu noch Bewusstsein über die Inkorrektheit der Aussagen. Ich finde den Begriff des Halluzinierens eigentlich ganz passend, weil die Modelle selbst ja „denken“, dass sie die Wahrheit sagen.

 

[Zornica]

@Döspaddel lies den Satz nochmal. Damit ist gemeint, dass Leute, die anscheinend nicht verstehen, wie die Technologie funktioniert das als Lüge oder bestenfalls als Fehlfunktion erkennen, weil sie glauben, dass es da ein Bewusstsein gibt das Konzepte wie Fakt versteht. Das gibt es aber nicht. Es gibt nur Wahrscheinlichkeitsrechnungen, und genau darum ist auch halluzinieren vollkommen daneben.

 

[tomgit]

Danke für den Vergleich!
Bei den Tools fehlt mir aber das "Urgestein" der Recherche-Tools: Perplexity. Damit hatte ich anfangs gute Erfahrungen gemacht und auch kurzzeitig abonniert, aber inzwischen ist es deutlich schlechter und hinkt massiv Googles Gemini hinterher.

 

[MarcBomber]

"Liebhaberei" ist oft das Beste

 

[calluna]

@Zornica

Du führst da einen Kampf, der niemals zu gewinnen ist. 😉
Jeder, der es besser wissen will, wird es mit der Zeit auch besser wissen - dem Rest ist es egal (was ja auch legitim ist) oder es fehlt anderes Wissen, um die Konzepte zu verstehen.

Da ist eine metaphorische Verwendung von „Halluzinieren“ schon ok, vor allem, wenn es um nichts wichtiges geht. Ist doch egal, ob Laien alltagspsychologische Begriffe auf unbelebte Dinge (oder Tiere) anwenden.

 

[Haldi]

Wie alles mit KI.
Ziemlich Cool aber Ziemlich Nutzlos...
Was nützt mir eine 99% Genauigkeit? Damit kann man nicht arbeiten! Es sei denn dir ist Egal das anstatt 35% der Häuser nun Glasfaser Anschluss haben nun 987% aller Häuser mit Glasfaser angeschlossen sind.

Ich hab ChatGPT unser Maschinenhandbuch zur Fanuc CNC Steuerung gegeben. Jedesmal wenn ich eine frage stelle und er mir eine Muster Antwort gibt muss ich da 3x Nach korrigieren bis es endlich funktioniert.
In der Zeit hätte ich auch selbst das Buch aufschlagen können, im Index die Seite suchen und das Beispiel Manuel auf meine Bedürfnisse anpassen.

 

[Andy]

Generell danke für das Feedback!

@tomgit

Perplexity zähle ich zu den KI-Suchmaschinen, die schaue ich mir nochmal separat an. Da geht es ja dann eher um Aspekte wie aktuelle Ereignisse.

@Zornica

Kann deine Kritik bzw. deinen Punkt nachvollziehen. Begriffe, die so etwas wie Bewusstsein suggerieren, sind immer ein Stück weit irreführend. Ist ja auch etwas, das die ganze AGI-Diskusisson so schwierig macht. "Halluzinieren" finde ich aber sehr schön, weil es anschaulich beschreibt, was vor sich geht -- man bekommt das Problem selbst für Leute, die nicht so tief in der Materie stecken, gut vermittelt. Und es ist nun mal der Branchenterminus, manchmal lässt es sich dann schlecht vermeiden.

@Haldi

Ist auch immer ein bisschen eine Workflow-Frage. Ich fand die Assistenten bspw. beim Koalitionsvertrag ganz angenehm, um bestimmte Passagen zu suchen und so ein großes Dokument systematisch durchzuarbeiten. Generell klappt es ja nicht so schlecht, wenn sich alles auf Textebene abspielt und man die Tools vor allem nutzt, um Passagen im Text zu entdecken. Mir würden die schon fehlen, wenn die auf einmal abgeschaltet werden. Dass die keine Grafiken vernünftig auswerten können, ist aber für den öffentlichen Einsatz (vor allem bei Abo-Kosten) trotzdem ein No-Go.

 

[calluna]

@Haldi

So etwas funktioniert besser in Kombination mit einer Vektordatenbank… damit das Kontextfenster nicht zu groß wird.

Am besten ist es, wenn Firmen entsprechende Lösungen einkaufen, bei denen Informationen auf verschiedene Weise eingebunden und vorverarbeitet werden.

 

[tomgit]

Perplexity zähle ich zu den KI-Suchmaschinen, die schaue ich mir nochmal separat an.

Primär ja, aber Perplexity hat jetzt schon seit einiger Zeit die sogenannten Spaces, wo man auch mit Dokumenten arbeiten kann: https://www.perplexity.ai/help-center/en/articles/10352961-what-are-spaces
Muss zugeben, das Feature habe ich noch nicht selbst getestet, gab es aber afaik schon bevor NotebookLM frei zugänglich war, wobei letzteres mit dem Podcast-Feature einen besseren Einblick in die Paper bzw. die Recherche allgemein liefern.

 

[cubisticanus]

Na ja, Perplexity wurde ja bereits genannt, aber darüber hinaus gibt es eine ganze Menge an spezialisierten Diensten, die gerade für die Verarbeitung und Analyse von PDF gedacht sind und Forschenden durchaus helfen können, bspw: researchrabbit.ai oder elicit.com oder halt semantic scholar. All diese Dienste werden m. E. ziemlich breit genutzt, sowohl in den Natur- wie Sozialwissenschaften. Natürlich verlässt man sich da nicht darauf, sondern wird die als relevant eingestuften Paper selbst lesen -- aber um aus hunderten Papern das Dutzend zu extrahieren, dass man heute lesen wird, super. Zugegeben, die Auswertung deutschsprachiger Quellen hapert, auch die Geisteswissenschaften hinken hinterher, weil die zumindest in Deutschland noch sehr stark monographisch orientiert sind oder sehr selten online publizieren.

BTW: Warum zum Henker nimmt man bei ChatGPT o3 wenn man Paper mit vielen Bildern hat? 4o ist viel multimodaler. o3 ist okay, wenn es um das "Reasoning" geht, also "logisches Denken". Bei sehr textlastigen Dokumenten, wo es um klare Schlussfolgerungen geht, da ist o3 sicher gut. Wenn Bilder im Spiel sind. 4o.