News Echtzeit-Sprachübersetzung: DeepL Aure lässt Emotionen in Übersetzung einfließen

[mischaef]

Mit Aure will DeepL bei der Echtzeit-Sprachübersetzung künftig auch Emotionen, Betonung und Sprechtempo berücksichtigen. Das KI-Modell analysiert fortlaufend Veränderungen der Stimme und soll diese in die übersetzte Sprache übertragen, ohne deren charakteristischen Klang zu verändern. Beim Start unterstützt Aure acht Sprachen.

Zur News: Echtzeit-Sprachübersetzung: DeepL Aure lässt Emotionen in Übersetzung einfließen

 

[nodhead]

Wäre für YouTube ganz nett. Manchmal ist man extremen schottischen/texanischen Akzent und schlechter Qualität doch mal zur Übersetzung geneigt. Und die ist dann ähnlich fürchterlich, aber wenigstens verständlich.

 

[Cabranium]

Ich brauche das für Deutsch-Persisch und Persisch-Deutsch!

 

[LouisXIV]

Spannende Entwicklung, hoffentlich gelingt es DeepL unter anderem damit technisch überlegen und somit trotz Unterlegenheit in der Distribution gegenüber z. B. Google Translate relevant zu bleiben. Innovation made in Germany

 

[MountWalker]

@nodhead

Wenn man es für Sprachen einsetzt, die man an sich spricht, bei denen man nur den Akzent nicht versteht, würde ich eher dem Nutzer davon abraten, weil er sich selbst damit zu stark in seiner eigenen Pflege seiner Sprachkompetenz einschränkt. Bei Youtube würde ich es eher bei sowas wie Chinesisch-Deutsch sehen, wo dann Leute das Video verstehen können, die die Sprache gar nicht sprechen.

Ich finds aber richtig, dass das hier vor allem in Live-Dolmetschen fokussiert wird. Ein weiterer Schritt in Richtung Babelfisch.

 

[NoNameNoHonor]

Wenn man diese Technik auch für das Synchronisieren von Filmen nutzen kann, sind bald viele Übersetzer und Synchronsprecher arbeitslos. Da soll nochmal einer behaupten, durch KI fallen keine Arbeitsplätze weg...

 

[OpticalFiber]

Ein Sehr guter Dienst.

 

[Weyoun]

Kann die KI wirklich Sarkasmus, Zynismus und Ironie anhand der "erkannten Emotionalität" voneinander unterscheiden? Ich habe da so meine Zweifel...

Von Sardonismus, Persiflage, Schmähung, Litotes und Hyperbel als Sprachwerkzeuge fange ich lieber gar nicht erst an.

 

[DX8]

durch KI fallen keine Arbeitsplätze weg...

Da fallen ganz viele weg, aber auch erst dann wenn es wirklich vernünftig wird.
Aktuell sind wir da noch ein bisschen von entfernt.

Man sollte vielleicht auch mal erwähnen das ganz kostet aktuell was.

 

[nodhead]

@nodhead

Wenn man es für Sprachen einsetzt, die man an sich spricht, bei denen man nur den Akzent nicht versteht, würde ich eher dem Nutzer davon abraten, weil er sich selbst damit zu stark in seiner eigenen Pflege seiner Sprachkompetenz einschränkt. Bei Youtube würde ich es eher bei sowas wie Chinesisch-Deutsch sehen, wo dann Leute das Video verstehen können, die die Sprache gar nicht sprechen.

Ich finds aber richtig, dass das hier vor allem in Live-Dolmetschen fokussiert wird. Ein weiterer Schritt in Richtung Babelfisch.

Da bin ich voll bei dir. Nur aus Übung lernt man es. Aber manche sind wirklich so grottig, da braucht man es leider ab und an.

Oder anders. Ich bin zu alt noch die Dialekte lernen zu wollen. 😀

 

[Ignoramus]

damit technisch überlegen und somit trotz Unterlegenheit in der Distribution gegenüber z. B. Google Translate relevant zu bleiben

Zmd solange, bis Google selbst ein ähnliches Feature anbietet.
Genügend Anreize dafür sollten sie haben.

 

[Topas93]

Ist es auch möglich, dass die Stimmung in die Untertitel gepackt wird?

Ich mein Deutsch-Deutsch würde auch schon reichen.... Ob das Kommunikationsprobleme zwischen Männer und Frauen verbessern könnte?

Ich musste an das hier denken:

 

[LouisXIV]

Zmd solange, bis Google selbst ein ähnliches Feature anbietet.
Genügend Anreize dafür sollten sie haben.

Deshalb mein Hinweis auf die nötige Überlegenheit. DeepL entstand meines Wissens nach erst (deutlich) später als Google Translate und bietet seitdem im Grunde das Gleiche an, die Qualität der Übersetzung ist nur schlicht viel besser und die Integration mit Linguee und dessen Alternativvorschlägen für einzelne Vokabeln sehr hilfreich.

Ist es auch möglich, dass die Stimmung in die Untertitel gepackt wird?

Gute Idee für in der Sicht oder Erkennung und Deutung von Gefühlsausdrücken (Autismus) beeinträchtigte Menschen zu unterstützen.

 

[Vigilant]

Aktuell sind wir da noch ein bisschen von entfernt.

Aber nur ein bisschen 😉.

Beim Stöbern durch die Cyberpunk-Mods auf Nexus letztens KI-getriebene Echtzeit-Vertonung von NPC mit Welt- und Rollenkontext gesehen, interaktiv auf die Ansprache der Spielenden reagierend.

Noch Bastel-Lösung, aber auch schon deutlich weiter als rohes Prototyping.

 

[CruellaDE]

Und wenn Deepl Sarkasmus dann falsch erkennt, kommt es bestimmt zu keinen Missverständnissen 🤣

 

[DX8]

Aber nur ein bisschen 😉.

Zugegeben schwer abzuschätzen, die Qualität schwankt da wohl extrem. Aber wie hier schon angesprochen, viele komplexere Sachen sind noch nicht mal annähernd erprobt. Geschweige denn auf Hollywood Level. Paar Jahre Minimum. Am Ende aber auch ne Sache ob zB eben Echtzeit oder Best-of-1000 wie bei TTS Mods. (Also wenn die vernünftig gemacht werden und old School mit Audio-Spur.)

Viele Sachen sind schon sehr gut, aber ich bezweifel das es reicht um als Standard durchgesetzt zu bekommen. Zu mal so Teuer Synchronsprecher ja auch wieder nicht sind und alles bis in den 20. Teil fortgesetzt wird.

Ergänzung (Mittwoch um 15:27)

Und wenn Deepl Sarkasmus dann falsch erkennt, kommt es bestimmt zu keinen Missverständnissen 🤣

Dazu müsste sowieso Mimik/Gestik oder zumindest Emojis Teil der Konversation sein.
Sonst wird das, ähnlich wie im Chat tatsächlich zu viel Missverständnissen führen.

Hab auch noch nie ne AI lachen hören.. also ja. Schwierig.

 

[Xiaolong]

Die gibt's noch?

DeepL war am besten ca 6 - 12 Monate nach Release, als es bekannter wurde ist es kontinuierlich schlechter geworden, danach nicht mehr angefasst. Aktuell regelt OpenAI am besten meiner bescheidenen Meinung nach

 

[M@tze]

Wenn man diese Technik auch für das Synchronisieren von Filmen nutzen kann

Spiele, ich sehe da viel Potential für Spiele. Gerade kleinere Studios können da eventuell einen größeren Kundenkreis ansprechen, wenn man relativ einfach einen Großteil der Übersetzungen mit anbieten kann.

 

[DX8]

als es bekannter wurde ist es kontinuierlich schlechter geworden

Jop, da wurde auf GPT gewechselt, weg von der eigenen AI.

 

[Xiaolong]

@DX8 Was eigenartig ist, da ich von ChatGPT die besten Übersetzungen erhalte.