ChatGPT Voice: Agenten lassen sich mittels gesprochener Sprache steuern

OpenAI erweitert die ChatGPT-Desktop-App für macOS und Windows um eine grundlegend überarbeitete Sprachfunktion. Die neue Voice Experience soll natürlichere Gespräche ermöglichen und erstmals produktive Arbeitsabläufe per Sprache unterstützen. Aufgaben in Chat, Work und Codex lassen sich damit starten, steuern und überwachen.

Flüssige, natürliche Gespräche

Bereits Anfang des Monats hatte OpenAI GPT-Live vorgestellt, eine neue Generation von Sprachmodellen auf Basis einer Full-Duplex-Architektur. Im Gegensatz zu herkömmlichen Systemen kann GPT-Live gleichzeitig sprechen, zuhören und Sprache verarbeiten. Das soll flüssigere Gespräche mit weniger Unterbrechungen ermöglichen und produktivere Arbeitsabläufe fördern. Technisch basiert die neue Voice Experience vollständig auf GPT-Live, das Sprachmodell übernimmt dabei die Kommunikation mit dem Nutzer und delegiert Arbeitsaufträge im Hintergrund an Codex-Threads. Dabei kommen unter anderem Werkzeuge wie Appshots und CUA zum Einsatz.

Agenten können per Sprache gesteuert werden

OpenAI hat die neue Funktion nun in die Desktop-Anwendungen für macOS und Windows integriert. Künftig lassen sich Aufgaben in Chat, Work und Codex per natürlich gesprochener Sprache ausführen. Wie OpenAI mitteilt, können Anwender neue Arbeitsaufträge starten, den Fortschritt laufender Aufgaben abfragen oder bereits aktive Agenten in anderen Konversationen steuern. Als Beispiele nennt das Unternehmen die Überprüfung von Pull Requests, das Erklären eines bestehenden Codebestands, das Erstellen von Dokumenten oder die Koordination mehrerer parallel laufender Codex-Aufgaben. Da Work und Codex auf verbundene Werkzeuge und Dateien zugreifen können, lassen sich bei entsprechenden Berechtigungen auch externe Dienste wie Slack, GitHub oder Notion per Sprache nutzen.

Auf macOS steht zusätzlich die Funktion „Screen Context“ zur Verfügung, mit der Anwender ChatGPT auf aktuelle Bildschirminhalte aufmerksam machen können. ChatGPT erstellt dafür einen Screenshot des aktuell geöffneten Fensters und bezieht dessen Inhalt als zusätzlichen Kontext in die Bearbeitung der jeweiligen Aufgabe ein.

Ab sofort verfügbar

Die Einführung der neuen ChatGPT Voice Experience erfolgt ab sofort weltweit für die ChatGPT-Desktop-App unter macOS und Windows, die neue Funktion steht dabei Abonnenten der Tarife Plus, Pro, Business, Edu und Enterprise zur Verfügung. Darüber hinaus lässt sich die neue Voice Experience auch über die ChatGPT-App für iOS nutzen.