Ein grundlegende Veränderung des Medienkonsumverhaltens verbunden mit quantensprüngen in der KI-Technologie hat KI-übersetzte Untertitel zu einer beliebten und leistungsstarken Wahl für Live-Events jeder Art und Größe gemacht. Interprefy hat sie 2022 eingeführt, und sie sind auch in Microsoft Teams und sogar Zoom verfügbar: automatisch generierte, mehrsprachige Untertitel für Live-Meetings. Diese Technologie ermöglicht es Nutzern zu verstehen, selbst wenn sie die Sprache der Rede nicht kennen.
Aber wie genau sind sie? Es gibt keine einfache Antwort. Die Ergebnisse hängen stark vom gewählten Ansatz und den eingesetzten Engines, der spezifischen Sprachkombination sowie den Eigenschaften des Audios (Sprecherakzent, Audioqualität usw.) ab. Und die einfache Wahrheit ist, dass es keine eindeutige Methode zur Messung der Übersetzungsgenauigkeit gibt.
Menschen in der Übersetzungsbranche beschreiben Qualität auf verschiedene Weise. Wenn versucht wird, ein objektives Maß zu finden, eine Gruppe von Forschern gab zu dass sie nicht einmal untereinander darüber einig werden konnten, wie "Übersetzungsqualität" definiert werden sollte.
Lassen Sie uns einen genaueren Blick darauf werfen, warum die Übersetzungsqualität so schwer zu messen ist und wie wir der Messung der maschinell übersetzten Untertitelungsqualität näher kommen können.
"Auto-translated", "machine translated", und "AI-translated" Untertitel oder "mehrsprachige Untertitel" sind geschlossene Untertitel, die den Nutzern Echtzeit-Untertitel neben der Rede in einer anderen Sprache bereitstellen. Sie werden erstellt aus dem Quellaudio, indem entweder eine Kombination aus automatischer Spracherkennung und maschinellen Übersetzungstechnologien verwendet wird, die einen übersetzten Text des Transkripts erzeugen, oder eine KI-basierte Lösung, die das Audio in der Ausgangssprache direkt in Text (oder sogar gesprochene Sprache) in der Zielsprache umwandelt.
Sprache ist hochkomplex, sodass die Qualität einer Übersetzung häufig interpretierbar ist. Man könnte annehmen, dass Qualitätsprobleme auftreten, wenn ein Übersetzer oder eine Maschine einen Fehler macht. Tatsächlich ist es jedoch viel häufiger, dass das, was als Qualitätsprobleme bei Übersetzungen wahrgenommen wird, eine subjektive Bewertung darstellt.
Das multidimensionale Qualitätsmetriken (MQM) Framework, ein Projekt unter der Leitung der Europäischen Kommission, bietet einen "funktionalistisch" Ansatz, der Qualitätsprobleme kategorisiert:
Deshalb' stellen Organisationen Übersetzer häufig mit Stilrichtlinien, Glossaren und idealerweise sogar einem Übersetzungsspeicher zur Verfügung, um Konsistenz über ihre Übersetzungsarbeiten hinweg zu erreichen, die ihren Bedürfnissen entspricht.
Die Messung der Übersetzungsqualität ist eine Frage der Bewertung, wie nützlich die Übersetzung ist und wie gut sie ihrem Zweck entspricht.
Maschinelle Übersetzung gibt es seit über 60 Jahren, und heute koexistieren Maschinen und Menschen. In den letzten zwei Jahrzehnten haben jedoch Sprachdienstleister (LSPs), Übersetzungsagenturen und Freiberufler die maschinelle Übersetzung übernommen, um die Produktivität zu steigern und Kosten zu senken, dank der schnellen Weiterentwicklung der Qualität maschineller Übersetzung.
Heute gibt es eine Vielzahl von Text‑zu‑Text‑Übersetzungsmaschinen, wie Google Translate, DeepL Translate oder Microsoft Translator, sowie mehrere Arten der maschinellen Übersetzung: regelbasiert, statistisch, adaptiv und neuronale. Die meisten Dienste haben begonnen, sich der letzten zuzuwenden, da neuronale maschinelle Übersetzung sich als leistungsstark erwiesen hat, außergewöhnlich zufriedenstellende Ergebnisse zu erzeugen und schnell die Lücke zwischen Menschen und Maschinen für bestimmte Textarten zu schließen.
Verschiedene Übersetzungs-Engines und verschiedene Arten der maschinellen Übersetzung erzeugen unterschiedliche Ergebnisse. Eine Engine kann sogar bei einer Sprachkombination hervorragende Arbeit leisten, bei anderen jedoch nutzlose Ergebnisse produzieren.
Da die meisten schriftlichen Übersetzungen nicht sofort fertiggestellt werden müssen, wird die maschinelle Übersetzungsausgabe für Websites oder Dokumente von professionellen Übersetzern vor der Veröffentlichung geprüft und nachbearbeitet. Daher ist die Nutzung des besten Engines ein echter Zeitersparer, aber nicht zwingend erforderlich.
Live-Mehrsprach-Untertitel müssen jedoch in Echtzeit bereitgestellt werden, ohne dass eine menschliche Intervention möglich ist, bevor der Nutzer sie liest.
Daher ist es entscheidend, dass die leistungsstärksten Engines und Engine‑Kombinationen verwendet werden und dass die Audioeingangsqualität optimal ist. Wenn beispielsweise ein Sprecher einen starken Akzent hat und ein schlechtes Mikrofon verwendet, können selbst die besten Lösungen weniger als großartige mehrsprachige Untertitel erzeugen.
Anstatt nur eine einzige maschinelle Übersetzungs-Engine zu verwenden, benchmarkt das KI‑Lieferteam von Interprefy' kontinuierlich führende Übersetzungslösungen sowie Kombinationen aus Spracherkennung und maschinellen Übersetzungslösungen für bestimmte Sprachkombinationen.
Wir arbeiten mit weltweit führenden Forschungseinrichtungen zusammen, um einen proprietären und automatischen Benchmarking-Prozess für Live-Mehrsprachuntertitel zu entwickeln und kontinuierlich zu verbessern. Alexander Davydov, Leiter AI Delivery bei Interprefy
"Wir verwenden große Mengen vielfältiger Audiodaten und nehmen die Ausgabe verschiedener Übersetzungssysteme sowie Kombinationen von Systemen und vergleichen sie mit von professionellen Übersetzern erstellten Übersetzungen, validieren sie und bewerten sie nach Genauigkeit", erklärt Alexander.
Das untenstehende Diagramm veranschaulicht die Benchmark‑Ergebnisse für vier Sprachen, die aus derselben Ausgangssprache übersetzt wurden. Wie Sie sehen können, bietet keine einzelne Lösung durchgehend gleichbleibende Qualität für alle vier Sprachpaare.
Aber selbst wenn Sie die ausgefeilteste Lösung haben, kann die Qualität dennoch leiden, wenn die Eingangsqualität niedrig ist.
Die Klangqualität ist ein entscheidender Faktor, der nicht nur die Qualität der KI-Ausgabe, sondern auch die Gesundheit und Leistungsfähigkeit der Dolmetscher sowie das Verständnis und die Beteiligung des Publikums beeinflusst. Deshalb streben wir bei Interprefy kontinuierlich danach, die Audioqualität zu verbessern, indem wir Veranstaltern und Rednern nützliche Richtlinien, Werkzeuge für Redner bereitstellen, um ihre Klangqualität zu testen, und sogar ein Audioverbesserungswerkzeug zu entwickeln, Interprefy Clarifier.
Zusätzlich arbeitet unser Expertenteam mit unseren Kunden zusammen, um das System zu optimieren und Markennamen, Abkürzungen und weitere Details korrekt zu erfassen.