Im August 2023 enthüllte Meta ein ‚all-in-one‘ KI-Übersetzungsmodell, das in der Lage ist, fast 100 verschiedene Sprachen zu verstehen. Mit dem Namen SeamlessM4T (Massively Multilingual and Multimodal Machine Translation) versucht Meta, einen ‚Universalübersetzer‘ zu schaffen, ähnlich dem Babel Fish in der klassischen Science-Fiction-Serie „Per Anhalter durch die Galaxis“ von Douglas Adams. Das Team hinter dem SeamlessM4T-Tool hat nun seine Arbeit in einem Artikel im Journal Nature detailliert beschrieben und enthüllt, dass das fortschrittliche System eine All-in-One-Lösung für Text-zu-Text-, Sprach-zu-Text-, Sprach-zu-Sprach- und Text-zu-Sprach-Übersetzungen über eine beeindruckende und stetig wachsende Vielzahl von Sprachen bietet.

SeamlessM4T, das unter anderem verwendet wird, um Videos auf Facebook und Instagram automatisch zu synchronisieren, unterstützt derzeit die Sprach-zu-Sprach-Übersetzung von 101 zu 36 Sprachen, die Sprach-zu-Text-Übersetzung von 101 zu 96 Sprachen, die Text-zu-Text-Übersetzung für 96 Sprachen, die Text-zu-Sprach-Übersetzung von 96 zu 36 Sprachen und die automatische Spracherkennung für 96 Sprachen. Dieser einheitliche Ansatz überwindet die Einschränkungen herkömmlicher kaskadierter Systeme, die oft separate Teilsysteme für Spracherkennung, Übersetzung und Text-zu-Sprach-Synthese erfordern.

Meta sagt, dass SeamlessM4T durch die Vereinfachung dieser Prozesse bestehende Modelle übertreffen kann und bis zu 23 % höhere BLEU (Bilingual Evaluation Understudy) -Werte bei der Übersetzungsqualität erreicht und eine beeindruckende Resistenz gegen Hintergrundgeräusche und Sprechervariationen zeigt. Um SeamlessM4T zu erstellen, begann Meta mit 4 Millionen Stunden (über 400 Jahre) multilingualer Rohaudioinhalte, die aus einem öffentlich verfügbaren Repository von gecrawlten Webdaten stammen. Das Team entwickelte SeamlessAlign, ein multimodales Korpus mit über 470.000 Stunden ausgerichteter Sprache und kombinierte den Datensatz mit modernsten maschinellen Lernverfahren, einschließlich SONAR (Satzebene Multimodal and Language-Agnostic Representations) -Einbettungen, die eine mehrsprachige und modalitätsagnostische Codierung für Text und Sprache ermöglichen.

Meta sagt, dass durch die Bewältigung sozialer und ethischer Herausforderungen durch den Einsatz von Sicherheitsvorkehrungen SeamlessM4T ein wertvolles Werkzeug für die globale Kommunikation sein kann. Diese Sicherheitsvorkehrungen reduzieren Geschlechtsvoreingenommenheit – Fehler in der Bestimmung des grammatikalischen Geschlechts – und mildern das Problem der zusätzlichen Toxizität – wo beleidigende Wörter in Übersetzungen erscheinen, aber nicht in der Originalquelle.