宇宙链 宇宙链
Ctrl+D收藏宇宙链
首页 > SHIB > 正文

在元宇宙里怎么交朋友?Meta发布跨语种交流语音模型 支持128种语言无障碍对话

作者:

时间:1900/1/1 0:00:00

改名Meta之后,Facebook的元宇宙愿景正在一点点实现。这一次,Facebook把目光投在了元宇宙社交上。

Meta发布语音处理模型XLS-R

近日,Meta正式发布XLS-R——一套用于各类语音任务的新型自监督模型。据悉,XLS-R由海量公共数据训练而成(数据量是过去的十倍),能够将传统多语言模型的语言支持量增加两倍以上。目前,XLS-R共支持128种语言。

Meta认为,语音交流是人们最自然的一种交互形式。“随着语音技术的发展,我们已经能够通过对话同自己的设备及未来的虚拟世界直接互动,由此将虚拟体验与现实世界融为一体。”

日本将修法禁止在元宇宙销售仿冒品:3月10日消息,日本政府在10日的内阁会议上敲定了禁止在网络虚拟空间“元宇宙”销售仿冒品的《反不正当竞争法》修正案,以强化数字时代的知识产权保护。为了扶持企业的品牌战略,政府将向本届国会提交由6项法案组成的知识产权一揽子法案,其中的《商标法》修正案将为姓名商标的注册提供便利。[2023/3/10 12:54:00]

这与扎克伯格此前宣称的“公司业务将以元宇宙优先”不谋而合。此前,扎克伯格曾概述了他建立“元世界”的计划:一个建立在我们自己的数字世界之上的数字世界,包括虚拟现实和增强现实。“我们相信元宇宙将会接替移动互联网”。

而XLS-R作为元宇宙社交中必不可少的一环,可以帮助母语不同的人在元宇宙无障碍对话。

值得一提的是,为了通过单一模型实现对多种语言的广泛语音理解能力,Meta对XLS-R进行了微调,使其获得语音识别、语音翻译及语言识别等功能。据介绍,XLS-R在BABEL、CommonVoice以及VoxPopuli语音识别基准测试,CoVoST-2的外语到英文翻译基准测试,以及VoxLingua107语言识别基准测试中都取得了不错的成绩。

沙特Neom新城科技部门今年已在元宇宙和AI应用投资10亿美元:9月30日消息,由沙特王储小萨勒曼主导的“Neom”新城建设项目科技子公司NEOM Tech&Digital首席执行官Joseph Bradley表示,2022年已在元宇宙和人工智能应用投资10亿美元,其中包括一个元宇宙平台。此外,公司还将更名为Tonomus,因为NEOM致力于将人工智能技术整合到其零碳城市The Line的建设中。该元宇宙平台将帮助来自世界各地的人们在实际投资这座城市之前进行虚拟访问。

此前,沙特王储宣布将斥资5000亿美元用于Neom新城建设,建立一个高度自动化、使用太阳能和风能等清洁能源的城市。[2022/9/30 6:04:55]

为了尽可能降低功能访问门槛,目前,Meta与HuggingFace联手发布了模型本体,并通过fairseqGitHubrepo全面开放。

顺网科技与中数链签订合作协议:将在元宇宙等方面开展深入合作:7金色财经报道,日前,顺网科技与中数链(上海)签订框架合作协议,公司旗下元宇宙瞬元智能链、Meta CJ将与对方展开包含资本性合作在内的全面深入合作。中数链是国版链的超级节点运营机构,是一家整合了专业的区块链、web3.0应用技术,链接了丰富的文化数字化上下游生态资源的元宇宙技术及应用解决方案的机构。当下,顺网科技则在不断完善元宇宙算力基础设施+应用层生态建设。[2022/7/23 2:33:07]

试用地址:https://huggingface.co/spaces/facebook/XLS-R-2B-22-16

XLS-R工作原理

据介绍,XLS-R在wav2vec2.0训练集上接受了超过43万6千小时的公开语音录音训练,从而实现了对语音表达的自监督学习方法。这样的训练量已经达到去年发布的当时最强的模型XLSR-53的10倍。利用从会议记录到有声读物的多种语音数据来源,XLS-R的语言支持范围扩展到128种,涵盖的语种量达到前代模型的近2.5倍。

调查:34%的游戏玩家希望在元宇宙中使用加密货币:金色财经报道,软件开发公司Globant发布的调查显示,34%的受访者表示有兴趣在元界进行加密交易。该调查对1,000名PC、游戏机或移动游戏玩家进行了民意调查。

此外,超过一半(53%)的受访者还表示,如果他们能够从自己的劳动中赚取数字货币,他们会很乐意在虚拟游戏世界中工作。但也有一些游戏玩家表达了对加密货币和NFT的厌恶,他们认为,这些会对游戏体验产生负面影响。(Cointelegraph)[2022/7/15 2:15:11]

作为Meta打造的有史以来最大模型,XLS-R中包含超过20亿个参数,性能远高于其他同类模型。Meta表示,事实证明,更多参数能够更充分地体现、数据集中的各类语种。此外,Meta还发现,规模更大的模型在单一语言预训练方面的性能也同样优于其他较小模型。

Meta在四种主要多语言语音识别测试中对XLS-R做出评估,发现它在37种语言上获得了超越以往模型的效能。具体测试场景为:BABEL中选取5种语言,CommonVoice中选取10种语言,MLS中选取8种语言,以及VoxPopuli上选取14种语言。

BABEL上的单词错误率基准测试结果。XLS-R较前代模型实现了显著改进。

此外,Meta还评估了语音翻译模型,即将录音资料直接翻译成另一种语言。为了打造一套能够执行多种任务的模型,Meta同时在CoVoST-2基准测试的数个不同翻译方向上对XLS-R进行了微调,使其能够在英语与多达21种语言之间实现内容互译。

在使用XLS-R对英语以外的其他语言进行编码时,获得了显著的效能提升,这也是多语言语音表达领域的一次重大突破。据Meta介绍,XLS-R在低资源语言学习中实现了显著改进,例如印尼语到英语的翻译,其中BLEU准确率平均翻了一番。BLEU指标的提升是指模型给出的自动翻译结果与处理同一内容的人工翻译结果间重合度更高,代表着模型在改进口语翻译能力方面迈出了一大步。

以BLEU指标衡量的自动语音翻译准确率,其中较高值表示XLS-R从高资源语言(例如法语、德语)、中资源语言(例如俄语、葡萄牙语)或低资源语言(例如泰米尔语、土耳其语)语音记录翻译至英语时的准确率。

Meta认为,XLS-R证明扩大跨语言预训练规模可以进一步提高低资源语言的理解性能。它不仅提高了语音识别率,同时也将由外语到英语的语音翻译准确率提高了一倍以上。

“XLS-R是我们朝着以单一模型理解多种不同语言(语音)目标迈出的重要一步,也代表着我们在利用公共数据推进多语言预训练方面做出的最大努力。我们坚信这是一条正确的探索方向,将让机器学习应用更好地理解所有人类语音、并促进后续研究,大大降低语音技术在全球范围内、特别是服务匮乏社群中的使用门槛。我们将不断开发新方法,通过低监督学习拓展模型的语言理解能力、逐步使其覆盖全球7000多种语言,实现算法的持续更新。”Meta提到。

https://ai.facebook.com/blog/xls-r-self-supervised-speech-processing-for-128-languages/

标签:XLS元宇宙METETAXLSHIBA元宇宙怎么赚钱metas币没有交易deta币河南省投资情况

SHIB热门资讯
金色观察丨2022超级碗来了 这次你会看到这6家加密公司的广告

金色财经报道区块链2月9日讯?2022年超级碗即将召开,Crypto.com和FTX表示他们正在筹划相关广告活动,其他加密平台也纷纷暗示他们将会赞助超级碗.

1900/1/1 0:00:00
人人都在讨论的Web3是网络的未来还是流行词?

最近,科技、加密货币和风险投资领域都热衷于讨论一个流行词汇,而且当今的对话中充满了这个词,甚至如果你不把它添加到你的Twitter个人简介里,就说明你不关心未来,这个词就是Web3.

1900/1/1 0:00:00
DAOs的可组合性:可扩展性

L2解决方案将如何影响DAO的可组合性 本系列的第一篇文章——什么是可组合性?让Web3听起来像是晴空万里,但放大来看,2020年年中,以太坊费用上涨给Web3Legothesis带来了麻烦.

1900/1/1 0:00:00
金色前哨|边学边得NFT CoinGecko推出“DeFi 101”NFT

2022年1月29日,CoinGecko宣布将在ProjectGalaxy上举行“DeFi101”NFT活动,学习DeFi技能可获得NFT。“DeFi101”活动灵感来自CoinGecko出版的“HowtoDeFi:初学者”一书.

1900/1/1 0:00:00
金色观察 | 加密总市值几近“腰斩” 历史上还有几次这样的情况?

近几日随着加密市场瀑布式下跌,BTC损失地址数达20个月高点,处于亏损状态的ETH地址数量达到17个月以来高点,加密领域总市值也几近“腰斩”,从峰值3万亿美元跌至1.62万亿美元,跌幅接近50%.

1900/1/1 0:00:00
SEC新证券修正案对区块链、DeFi 影响的紧急考虑

简介和号召 SEC新证券交易所/ATS修正提案已经公布,同时来自专员HesterPeirce的强烈反对.该提案规模庞大,正如Peirce所指出的,它包含了一个根本性的范式转变,这在SEC之前的相关概念发布中没有考虑到.

1900/1/1 0:00:00