《自然》雜志15日介紹了一款人工智能(AI)模型，其宛如科幻小說里的“巴別魚”，能直接“語音到語音”翻譯多達101種語言的語音和文本。由Meta推出的這一模型名為SEAMLESSM4T，其填補了語言覆蓋方面的空白，且性能優(yōu)于現(xiàn)有其他系統(tǒng)。該成果為快速通用翻譯鋪平道路，其資源公開可用(用于非商業(yè)用途)，以協(xié)助進一步研究包容性語音翻譯技術(shù)。

科幻小說讀者可能很熟悉《銀河系漫游指南》里的“巴別魚”，這種小魚能進入耳朵，以口譯形式即時將一種語言翻譯成另一種語言。這種工具對于促成全球互聯(lián)環(huán)境下的交流非常有用，但大多數(shù)現(xiàn)有的機器學(xué)習(xí)翻譯系統(tǒng)都是文本導(dǎo)向的，或需要好幾步轉(zhuǎn)換——語音識別、翻譯成文本、再將文本轉(zhuǎn)換成語音。此外，現(xiàn)有語音到語音模型的語言覆蓋范圍也遠低于文本到文本模型，并且傾向于從源語言翻譯成英語，而非從英語到另一種語言。

為了突破這些限制，Meta的“無縫交流團隊”開發(fā)了一款單一模型，支持多達101種語言之間的多種翻譯模式。SEAMLESSM4T可支持語音到語音(識別101種語言并翻譯為36種語言)、語音到文本(101種語言譯為96種)、文本到語音(96種語言譯為36種)、文本到文本(96種語言)的翻譯，以及自動語音識別(96種語言)。在語音到語音的翻譯中，SEAMLESSM4T的文本翻譯比現(xiàn)有系統(tǒng)準確度要高23%。這一AI模型可過濾背景噪聲并適應(yīng)說話者的差異。

研究團隊總結(jié)稱，雖然還需要進一步優(yōu)化，但SEAMLESSM4T標志著在跨越語言障礙、促進交流方面的重要進步。 ( 張夢然)

標簽：