宇宙链 宇宙链
Ctrl+D收藏宇宙链
首页 > 酷币下载 > 正文

在元宇宙里怎么交朋友?Meta发布跨语种交流语音模型 支持128种语言无障碍对话

作者:

时间:1900/1/1 0:00:00

改名 Meta 之后,Facebook 的元宇宙愿景正在一点点实现。这一次,Facebook 把目光投在了元宇宙社交上。

Meta 发布语音处理模型 XLS-R

近日,Meta 正式发布 XLS-R——一套用于各类语音任务的新型自监督模型。据悉,XLS-R 由海量公共数据训练而成(数据量是过去的十倍),能够将传统多语言模型的语言支持量增加两倍以上。目前,XLS-R 共支持 128 种语言。

Meta 认为,语音交流是人们最自然的一种交互形式。“随着语音技术的发展,我们已经能够通过对话同自己的设备及未来的虚拟世界直接互动,由此将虚拟体验与现实世界融为一体。”

阿联酋经济部在元宇宙开设新总部:9月29日消息,据报道,阿联酋经济部在元宇宙开设新总部,它是在迪拜和阿布扎比办公室的“数字孪生体”,人们可以通过他们的化身举行会议、建立网络甚至签署具有法律约束力的协议文件。该总部每栋建筑都有不同的用途,参观者将能够拿到一张虚拟门票,员工可加入元宇宙并与游客互动。(gulfnews)[2022/9/29 22:39:59]

这与扎克伯格此前宣称的“公司业务将以元宇宙优先”不谋而合。此前,扎克伯格曾概述了他建立“元世界”的计划:一个建立在我们自己的数字世界之上的数字世界,包括虚拟现实和增强现实。“我们相信元宇宙将会接替移动互联网”。

而 XLS-R 作为元宇宙社交中必不可少的一环,可以帮助母语不同的人在元宇宙无障碍对话。

值得一提的是,为了通过单一模型实现对多种语言的广泛语音理解能力,Meta 对 XLS-R 进行了微调,使其获得语音识别、语音翻译及语言识别等功能。据介绍,XLS-R 在 BABEL、CommonVoice 以及 VoxPopuli 语音识别基准测试,CoVoST-2 的外语到英文翻译基准测试,以及 VoxLingua107 语言识别基准测试中都取得了不错的成绩。

网易副总裁汪源:在元宇宙软件层面,网易产品在行业内是最有希望落地:9月23日消息,网易(09999.HK)副总裁、研究院执行院长、网易数帆总经理汪源表示,网易在游戏领域有技术方面的积累,通过游戏的引擎能力和产品构建能力,网易在元宇宙领域很有机会。在元宇宙的软件层面,网易积累很深,产品在行业内是最有希望落地的。(澎湃)[2022/9/23 7:16:22]

为了尽可能降低功能访问门槛,目前,Meta 与 Hugging Face 联手发布了模型本体,并通过 fairseq GitHub repo 全面开放。

试用地址:https://huggingface.co/spaces/facebook/XLS-R-2B-22-16

XLS-R 工作原理

杭州互联网法院:用户在元宇宙平台发布NFT 平台应尽到审查义务:金色财经消息,4月20日,杭州互联网法院发布微信文章称,杭州互联网法院依法公开开庭审理原告奇策公司与被告某科技公司侵害作品信息网络传播权纠纷一案,并当庭宣判,判决被告立即删除涉案平台上发布的“胖虎打疫苗” NFT作品 ,同时赔偿奇策公司经济损失及合理费用合计4000元。

法院经审理认为, 被告某科技公司经营的“元宇宙”平台作为NFT数字作品交易服务平台,未尽到审查注意义务,存在主观过错,其行为已构成帮助侵权,遂作出上述判决。[2022/4/20 14:36:42]

据介绍,XLS-R 在 wav2vec 2.0 训练集上接受了超过 43 万 6 千小时的公开语音录音训练,从而实现了对语音表达的自监督学习方法。这样的训练量已经达到去年发布的当时最强的模型 XLSR-53 的 10 倍。利用从会议记录到有声读物的多种语音数据来源,XLS-R 的语言支持范围扩展到 128 种,涵盖的语种量达到前代模型的近 2.5 倍。

Adobe为AR和VR在元宇宙内的应用推出多款工具:3月16日消息,在近日举行的2022年Adobe峰会上,Adobe首席执行官Shantanu Narayen表示,Adobe将元宇宙或虚拟世界和其他沉浸式体验视为数字交互的新浪潮。Adobe为元宇宙的发展推出了包括Adob??e Substance 3D和Adob??e Aero在内的3D内容创建产品,以及包括Adobe Creative Cloud和Adob??e Experience Cloud在内的服务平台,帮助创作者在元宇宙中创建AR(增强现实)和VR(虚拟现实)体验。(venturebeat)[2022/3/16 13:59:44]

作为 Meta 打造的有史以来最大模型,XLS-R 中包含超过 20 亿个参数,性能远高于其他同类模型。Meta 表示,事实证明,更多参数能够更充分地体现、数据集中的各类语种。此外,Meta 还发现,规模更大的模型在单一语言预训练方面的性能也同样优于其他较小模型。

Meta 在四种主要多语言语音识别测试中对 XLS-R 做出评估,发现它在 37 种语言上获得了超越以往模型的效能。具体测试场景为:BABEL 中选取 5 种语言,CommonVoice 中选取 10 种语言,MLS 中选取 8 种语言,以及 VoxPopuli 上选取 14 种语言。

BABEL 上的单词错误率基准测试结果。XLS-R 较前代模型实现了显著改进。

此外,Meta 还评估了语音翻译模型,即将录音资料直接翻译成另一种语言。为了打造一套能够执行多种任务的模型, Meta 同时在 CoVoST-2 基准测试的数个不同翻译方向上对 XLS-R 进行了微调,使其能够在英语与多达 21 种语言之间实现内容互译。

在使用 XLS-R 对英语以外的其他语言进行编码时,获得了显著的效能提升,这也是多语言语音表达领域的一次重大突破。据 Meta 介绍,XLS-R 在低资源语言学习中实现了显著改进,例如印尼语到英语的翻译,其中 BLEU 准确率平均翻了一番。BLEU 指标的提升是指模型给出的自动翻译结果与处理同一内容的人工翻译结果间重合度更高,代表着模型在改进口语翻译能力方面迈出了一大步。

以 BLEU 指标衡量的自动语音翻译准确率,其中较高值表示 XLS-R 从高资源语言(例如法语、德语)、中资源语言(例如俄语、葡萄牙语)或低资源语言(例如泰米尔语、土耳其语)语音记录翻译至英语时的准确率。

Meta 认为,XLS-R 证明扩大跨语言预训练规模可以进一步提高低资源语言的理解性能。它不仅提高了语音识别率,同时也将由外语到英语的语音翻译准确率提高了一倍以上。

“XLS-R 是我们朝着以单一模型理解多种不同语言(语音)目标迈出的重要一步,也代表着我们在利用公共数据推进多语言预训练方面做出的最大努力。我们坚信这是一条正确的探索方向,将让机器学习应用更好地理解所有人类语音、并促进后续研究,大大降低语音技术在全球范围内、特别是服务匮乏社群中的使用门槛。我们将不断开发新方法,通过低监督学习拓展模型的语言理解能力、逐步使其覆盖全球 7000 多种语言,实现算法的持续更新。”Meta 提到。

https://ai.facebook.com/blog/xls-r-self-supervised-speech-processing-for-128-languages/

标签:XLS元宇宙ETAMETAPIXLS价格元宇宙虚拟数字人appmetamask打不开METAPUL

酷币下载热门资讯
金色观察|波卡中继链的运行原理

波卡未来是一个庞大的异构分片架构。在这个庞大的结构里。中继链是波卡的中心链。Polkadot的所有验证者的DOT都被质押在中继链上,并为中继链进行验证。中继链上的交易类型相对较少:治理机制交互、平行链拍卖、NPoS.

1900/1/1 0:00:00
观点:去中心化共识在加密世界为何重要?

“ 谁控制了香料,谁就控制了宇宙。” ——弗兰克赫伯特,沙丘(电影) 介绍: 商品是作为日常商品和服务生产基础的基本原材料。商品的历史是文明本身的反映。人类为了控制最重要的资源而互相发动战争;从大米到金属,再到香料,再到油.

1900/1/1 0:00:00
金色观察|Wonderland联创和跑路交易所QuadrigaCX有关? 怎么回事

近日,Avalanche上的DeFi协议Wonderland以为联合创始人OxSifu被证实就是之前跑路倒闭的加拿大加密货币交易所QuadrigaCX的在世联合创始人Michael Patryn.

1900/1/1 0:00:00
“元宇宙”概念引发AR/VR新一轮投资潮

仅1个季度就吸引投资19亿美元?(折合人民币约120亿元),占全年总融资额的一半,AR/VR初创公司们最近真的是“赢麻了”.

1900/1/1 0:00:00
万字说透Web 3为什么可以解决数据使用中存在的难题

原文标题:web3数据市场展望(万字长文)今天就从数据市场开始,梳理一下自己对这个领域的一些理解.

1900/1/1 0:00:00
Web 3 如何重塑传统工作模式?

本文由公号"老雅痞"(laoyapicom)授权转载一家旨在颠覆传统就业平台,并帮助就业人员在Web3市场上找到工作的初创公司已经筹集了120万美元,现有的科技公司和去中心化的未来初创公司之间正在酝酿一场人才大战.

1900/1/1 0:00:00