Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsPerplexity Computer: Automatische Aufteilung zwischen lokaler und Cloud-KI
Perplexity arbeitet laut eigenen Angaben an einer neuen Hybrid-Funktion für Perplexity Computer, bei der Aufgaben automatisch zwischen lokalen KI-Modellen und leistungsstärkeren Cloud-Modellen aufgeteilt werden. Dadurch sollen sensible Daten besser geschützt werden, ohne die Fähigkeiten großer Frontier-Modelle einzubüßen.
Wenn die Daten wirklich sensibel sind, wäre es mir aber zu heikel, einem kleinen lokalen Modell die Entscheidung zu überlassen, was "raus" gehen darf und was nicht.
Human-in-the-loop rauszunehmen ist natürlich komfortabler für den Anwender, bringt aber eben meistens auch ein gewisses Risiko mit sich.
Mal eine andere Frage:
Warum sind Cloudasysteme leistungsstärker?
Klar, die Rechner sind stärker, aber dafür greifen mehr Leute darauf zu, d.h. die Leistung muß geteilt werden.
Für den Privatmann dürfte es doch gar nicht auffallen, oder?
Zumal ich schon öfter die Sanduhr bei ChatGPT (bezahlt) und Copilot sehen konnte vei,verhältnismäßig einfachen Dingen.
Liegt es daran, daß bei der Cloud das Datenmaterial umfangreicher ist? Zwar auch unspezifischer in der Masse, dafür aber auch Fälle abdecken, die in den lokalen Daten noch nicht vorlagen.
Klar, die Rechner sind stärker, aber dafür greifen mehr Leute darauf zu, d.h. die Leistung muß geteilt werden.
Für den Privatmann dürfte es doch gar nicht auffallen, oder?
Auf den stärkeren Systemen kann man bessere Modelle laufen lassen. Das funktioniert insgesamt, weil du niemals vollzeit (24/7) Rechenleistung benötigst. Man kann also als Anbieter die Kapazität zwischen den Kunden aufteilen. Lokal ist die Anschaffung dür dich dagegen viel zu teuer. Es profitieren also alle davon: du hast bessere Ergebnisse und der Anbieter verdient Geld mit der Dienstleistung.
@Tzk
Das ist klar. Was ich nur meine ist, ist es HW oder LLM Basis? Wenn man privat ein System hat mit Leistung x, dann braucht der Anbieter die 1000fach stärkere Leistung, wenn er 1000 Kunden gleichzeitig anbieten möchte.
Aber selbst wenn er 2000fachs Leistung hat, macht sich das beim Anwender im privaten Bereich bemerkbar? Also ist es ein Unterschies, ob ich 5 oder 10 Sekunden warten muß?
Wenn die Daten wirklich sensibel sind, wäre es mir aber zu heikel, einem kleinen lokalen Modell die Entscheidung zu überlassen, was "raus" gehen darf und was nicht.
Human-in-the-loop rauszunehmen ist natürlich komfortabler für den Anwender, bringt aber eben meistens auch ein gewisses Risiko mit sich.
Denke eine Zwischenstufe bzw. Konfigurierbarkeit wäre ganz gut. Während man vorher alles manuell machen soll und zukünftig alle automatisch sein soll, finde ich eigentlich Hybrid-Modelle ganz gut, bei dem automatisch analysiert und vorgeschlagen wird, der Anwender aber final drüberschauen und genehmigen muss (bzw. an der Stelle auch manuell noch Korrekturen vornehmen kann).
@Tzk
Das ist klar. Was ich nur meine ist, ist es HW oder LLM Basis? Wenn man privat ein System hat mit Leistung x, dann braucht der Anbieter die 1000fach stärkere Leistung, wenn er 1000 Kunden gleichzeitig anbieten möchte.
Nein, das ist ein Denkfehler. Du setzte voraus, dass 1000 Kunden das System gleichzeitig zu 100% nutzen, das ist aber nicht der Fall.
Auch lassen sich unterschiedliche Aufgaben parallel abarbeiten. Nicht jeder Arbeitsschritt ist genau gleich, manche Arbeitsschritte erfordern erst bestimmte vorhergende Arbeitsschritte.
Dazu gibt es ja noch Caches, die gleichartige Aufgaben von verschiedenen Kunden beschleunigen können.
@Tzk
Das ist klar. Was ich nur meine ist, ist es HW oder LLM Basis? Wenn man privat ein System hat mit Leistung x, dann braucht der Anbieter die 1000fach stärkere Leistung, wenn er 1000 Kunden gleichzeitig anbieten möchte.
Der limitierende Faktor lokal ist die Größe eines LLMs und das Ökosystem um die Cloudmodelle herum. Ich kann auf meinen Rechnern zum Beispiel Modelle betreiben, die mit Kontext 96 GB (Windows) oder grob 115GB (OSX) groß sind. Da ist schon einiges an Wissen drin, aber das ist nur ein Bruchteil der Größe, die ein ChatGPT oder Claude Opus hat. Da die Modelle ein vielfaches größer sind, ist da auch mehr Wissen drin. Hinzu kommt: Das ist bei den Frontiermodellen ja nicht nur ein isoliertes LLM sondern ein riesiges System aus Services, Agents und Funktionen etc.pp. die erst dafür sorgen, dass das Erlebnis rund ist. Allein einem lokalen Modell Websearch zu ermöglichen ist schon ein Akt. Und das ist nur ein winziges Detail von all den Dingen, die es bei Nutzung der Cloudmodelle "gratis" gibt.
Eine Gruppe von Personen lokal mit einem LLM zu beliefern ist gar nicht so schlimm - wir haben bei uns in der Firma z.B. ein paar DGX Sparks (die sind vergleichbar mit nem Mac mini - nur mit mehr Unified RAM - darüber kann man prima jeweils ganze Teams in "OK" Geschwindigkeit versorgen
Perplexity hat schon 2 X meinen über Promoaktionen erhaltenen Pro-Account wieder auf die Umsonst-Version runtergestuft, seitdem habe ich es nicht einmal mehr benutzt, mich sind sie als Kunden endgültig los. Habe jetzt einen Gemini Pro Account und bin zufrieden
Gemini und Perplexity sind aber sehr verschiedene Sachen und nicht für das gleiche vorgesehen.
Außerdem ist eine Promoaktion nur einmalig einlösbar. Gemini fand ich vorletzte Woche so unbrauchbar, dass ich mein kauf bereut habe. Das hat so schlechte Ergebnisse erzielt. War da schon sehr verwundert.
Umgang mit Dokumenten. Anhand von Quellen Aussagen machen. Oder neue Konzepte mit den Infos von Dokumenten schreiben. Gemini hat nur mini kurz geschrieben, nie wirklich brauchbare Konzeptblöcke und ich hab mich da 2h ein abgepromptet. NoteBookLM hat nur schrott fabriziert. Länger als eine Seite wurde es nie. Wenn ich versucht hab es auf einzelne Kapitel runterzubrechen wollte es nicht mehr weiterhelfen. Und das alles nach den letzten mega Update. Claude hat es nicht 1:1 umgesetzt sondern viel besser und mitgedacht.
Außerdem hat Gemini die ganze Zeit nur rumgezickt, weil es dachte, dass ich damit hacken möchte etc.
Hat fast immer die Ausgabe abgeschnitten und dann verweigert. Ich wollte aber nur, dass es bestimmte Tätigkeiten innerhalb von Security Lösungen beschreibt. Unbrauchbar für mich.
Ich hab eher basic Dinger verlangt...nichts wildes :/
