News Seitenbegrenzung und andere Kinderkrankheiten: Wie sich die PDF-KI von Foxit im Alltag schlägt

[Andy]

Der PDF-Dienst Foxit rüstet ebenfalls bei den KI-Feature nach. Als ComputerBase im Mai analysierte, wie sich die PDF-KIs von Adobe, NotebookLM und ChatGPT im Alltag schlagen, lieferte Foxit jedoch nur Fehlermeldungen. Mittlerweile läuft der KI-Assistent, daher erfolgt nun der Testlauf.

Zur News: Seitenbegrenzung und andere Kinderkrankheiten: Wie sich die PDF-KI von Foxit im Alltag schlägt

 

[CDLABSRadonP...]

Das Modell soll lokal und kostenlos laufen oder gar nicht. Ende, aus, Applaus.

Spoiler: Doch nicht ganz das Ende...

...und die Fähigkeiten sollen mit der eigenen Hardware mitwachsen.

 

[Krik]

Da wissenschaftliche Arbeiten erwähnt wurden: Kann das LLM mit mathematischen Formeln umgehen?
Die Papers enthalten ja oft Unmengen von ihnen.

 

[MonteDrago]

Der Prompt 2: "Wie hoch ist die Glasfaserausbauquote in Berlin im Jahr 2024?" ist aber auch IMO nicht gut formuliert!.
Immer daran denke das K"I" Text nicht wirklich Versteht!, es kann nur die Bestandteile (Wörter) im Kontext zueinander Abgleiche.

Ich denke ein Prompt wie: "Berechne an Hand der vorherigen Daten die Glasfaserausbauquote in Berlin im Jahr 2024?" wäre möglicherweise erfolgreicher gewesen.😏

Immer daran denke das ist keine Intelligenz! 🙄

 

[cietho]

@Andy wie häufig hast du die jeweiligen Tests durchlaufen lassen? Wäre spannend zu sehen ob bei 10 Eingaben auch 10 mal das Richtige bei raus kommt oder der Bot zwischendurch kräftig Halluziniert 🙃

Edit: Danke für den Test 👍

 

[Cr4y]

Der Prompt 2: "Wie hoch ist die Glasfaserausbauquote in Berlin im Jahr 2024?" ist aber auch IMO nicht gut formuliert!.

Für einen Test sind eher suboptimal formulierte Prompts doch zielführender, oder?

 

[Simanova]

Knappe Antworten sind tatsächlich gut. Ich muss bei Grok immer eine zweite Frage stellen, um den Inhalt der Antwort einzudampfen. Bei der ersten Frage liefert Grok immer eins bis zwei A4 Seiten Text zu einer einfachen Frage.

https://grok.com/share/bGVnYWN5_bfcc5e9f-a232-4484-ae10-f3199f123524

 

[jodd2021]

Wenn ich erst ewig hin und her überlegen muss wie ich eine Frage stelle, könnte ich mir überlegen gar keine zu stellen und mir das Dokument gleich selber ansehen. Spare ich mir auch die Überprüfung ob das Ergebnis überhaupt korrekt ist.

 

[Simanova]

Kurze Frage, markiert Foxit die entsprechenden Stellen im Dokument die als Quelle gedient haben? Falls ja, könnte man bei langen Dokumenten dies als Suchfunktion zur Kontrolle benutzen.

 

[DrFreaK666]

Allgemein sollte man nicht alles glauben, was der Chatbot ausspuckt.
Wie oft mir ChatGPT falsche oder alte Informationen ausspuckt (in denen ich mich gut auskenne)ist echt nicht feierlich. Das stimmt dann meist erst, wenn ich sage, dass er im Internet recherchieren soll, weil dort die Infos zu finden sind.

 

[Scirca]

Naja ne KI für das lesen einer PDF, mag vielleicht bei irgendwelchen Handbüchern oder Dokumenten interessant sein bei 1k Seiten+ aber brauchts das wirklich.

 

[MonteDrago]

Für einen Test sind eher suboptimal formulierte Prompts doch zielführender, oder?

Ja OK, das ist natürlich ein Argument. 😉

Aber ein weiteren Test mit einem optimierten Prompt, würde halt zeigen ob es (wie ich vermutet) immer noch auch am fehlenden "Sprachverständnis" der K"I"'s liegt.

Schon die selige Marion Zimmer Bradley hat in ihrem Darkover Roman "An den Feuern von Hastur" das Problem sehr gut beschrieben!.
Und als der geschrieben würde gab es noch keine K"I"'s.😎😏

 

[Wechhe]

Inwieweit handelt es sich hier wirklich um eine "FOXIT-KI"? Ist es nicht vielmehr die Integration von OpenAI - also die Qualität der Antworten hängt komplett vom LLM Model (GPT 4o) ab?

Oder hat FOXIT hier noch irgendwas eigenes gemacht, was die Antworten unterscheidet verglichen mit ich nutze OpenAI selbst? (Ich meine nicht die Integration in den Reader, die natürlich die usability verbessert).

 

[cietho]

könnte ich mir überlegen gar keine zu stellen und mir das Dokument gleich selber ansehe

Finde ich nach wie vor auch den besten Weg. Das Gehirn will schließlich genutzt werden. Außerdem erlangt man so noch (häufig nützliches) zusätzliches Wissen. Die einfachen Frage-Antwort-Chats erweitern halt den Horizont kein bisschen, ist aber sicher auch die Frage des Use Cases.

 

[.[o_o].]

Zum "120-Seiten-Limit":
Kann man das nicht mit einfachsten Mitteln umgehenen? (z.B. PDF-druck: mehrere Seiten pro Blatt)

 

[cbforum.scooter]

Bekannt ist, dass man LLMs nicht vertrauen kann. Wenn ich also ein umfangreiches PDF analysieren lasse bleibt immer das ungute Gefühl zurück, dass die KI-Inhalte nicht gefunden hat, weil es den Promt anders interpretiert oder noch schlimmer, es Inhalte hinzu halluziniert.
Von daher halte ich solche Tools heute noch in den meisten Fällen für sinnlos.

Hinzu kommt, dass der Mist nur in der Cloud funktioniert. Ein sensibles PDF hochladen, oder eines an dem ich keine Rechte habe? Besser nicht.

 

[Wechhe]

Wenn ich erst ewig hin und her überlegen muss wie ich eine Frage stelle, könnte ich mir überlegen gar keine zu stellen und mir das Dokument gleich selber ansehen. Spare ich mir auch die Überprüfung ob das Ergebnis überhaupt korrekt ist.

Das Gehirn will schließlich genutzt werden. Außerdem erlangt man so noch (häufig nützliches) zusätzliches Wissen. Die einfachen Frage-Antwort-Chats erweitern halt den Horizont kein bisschen, ist aber sicher auch die Frage des Use Cases.

Ich würde dem widersprechen. Klar, es kommt auf den Usecase an und ist derzeit besonders im privaten Bereich eher eine Spielerei.

Gegenbeispiel:
Du arbeitest in einer großen Firma, die tausende Dokumente gespeichert hat, die Informationen beinhalten, die du gelegendlich brauchst. Hast du eine unkonkrete Frage wie "hatten wie nicht mal einen Vertrag mit einer Firma, wo wir XY ausgehandelt haben?".
Willst du dann wirklich dutzende Dokumente raussuchen, öffnen und lesen? Oder irgendeine Art Volltext Suche nehmen (auch sehr teuer), wo du dann aber genau die Wörter kennen musst, nach denen du suchst? Wenn du weder den Namen der Firma noch die genaue Formulierung im Dokument kennst, ist eine Volltextsuche unmöglich oder zumindest sehr mühsam.

Es ist enorm hilfreich, wenn dir ein Tool diese Frage beantwortet und dazu direkt die Quelle angibt.
Denn es geht ja nicht darum, dass der KI blind vertraust und sie deine Arbeit zu 100% erledigt. (noch nicht zumindest).

Diese KI Tools erleichtern einen bestimmten Teil der Arbeit, der meistens mühsam und ermüdent ist. Sie können die Arbeit beschleunigen und sind als Hilfmittel zu sehen.

In meinem Beispiel können sie helfen, dass du bei einer unkonkreten Frage (die für Volltextsuchen ungeeignet ist) schneller eine Antwort finden kannst. Das Ergebnis kannst/musst du natürlich selbst überprüfen, in dem du dann in das angezeigte Dokument selbst rein schaust.

Somit behaupte ich, dass vor allem bei unkonkreten Fragen eine KI helfen kann. Für konkrete Fragen, wo ich genau weiß, wonach ich suchen muss - klar ist es da einfacher, genau diesen Satz einfach selbst zu lesen.

Bekannt ist, dass man LLMs nicht vertrauen kann. Wenn ich also ein umfangreiches PDF analysieren lasse bleibt immer das ungute Gefühl zurück, dass die KI-Inhalte nicht gefunden hat, weil es den Promt anders interpretiert oder noch schlimmer, es Inhalte hinzu halluziniert.
Von daher halte ich solche Tools heute noch in den meisten Fällen für sinnlos.

"Sinnlos" ist ein sehr starkes Wort. Und auch hier möchte ich widersprechen. Klar - LLMs haluzinieren und sind nicht vertrauenswürdig.
Übermüdete Menschen in Billiglohn Ländern allerdings auch - und dahin wird ganz viel Arbeit abgeschoben, die eine LLM übernehmen kann.
Die Validierung/Prüfung der Ergebnisse kann ja nachwievor ein vertrauenwürdiger Mensch übernehmen. Der muss dann aber keine 100 Seiten mehr durchlesen, sondern nur den vorgeschlagenen Absatz.

KI ist im größeren Kontext zu sehen und als Ergänzung.

 

[Andy]

@MonteDrago

Bei den Prompts doktore ich immer längere dran rum. Im Endeffekt versuche ich aber, möglichst "alltagstaugliche" zu nutzen. Und so wie ich es in meinem Umfeld erleben, stellen die Leute bei den KI-Chatbots ganz normale fragen.

@cietho

Beim BSI habe ich 2-3 mal getestet, um das prüfen. Aber eigentlich klappt das bei den PDF-KIs ganz gut.

Wollte am Ende da noch bisschen mehr Testläufe bei dem Apple-Paper machen, aber da hat er mich ja blockiert 😵‍💫

@Simanova

Jab, Foxit markiert die Stellen.

@Wechhe

Foxit nutzt die OpenAI-Modelle über die MS-Cloud, aber das macht Adobe ja auch. Und dort läuft es reibungsloser. Am Ende ist halt Foxit auch für das verantwortlich, was sie anbieten (und was sie ja auch mit Abo verkaufen wollen).

@.[o_o].

Natürlich lässt sich das Limit umgehen, man könnte PDFs auch einfach teilen. Nur: Warum sollte ich das tun, wenn es andere Anbieter gibt, bei denen es keine Probleme macht? Da spare ich mir doch lieber das Gefrickel.

 

[Wechhe]

Danke für das Follow-up @Andy
Spannendes Thema und ich finde es sehr cool, dass ihr auch sowas testet.

 

[Zensored]

Zum "120-Seiten-Limit":
Kann man das nicht mit einfachsten Mitteln umgehenen? (z.B. PDF-druck: mehrere Seiten pro Blatt)

nach einem PDF"Druck" ist der Text umgewandelt worden und man müsste mit einer Optischen Zeichenerkennung das ganze wieder erkennen/umwandeln.
Wie @Andy schrieb, PDF split um das dokument ab seite 120 aufzuteilen in ein weiteres Dokument würde sich hier eher eignen da es den Inhalt nicht verfremdet.