宇宙链 宇宙链
Ctrl+D收藏宇宙链
首页 > DAI > 正文

Meta甩出10大硬核技术 揭秘扎克伯格元宇宙野心

作者:

时间:1900/1/1 0:00:00

终极版VR,长这样?!

作者:夏舍予

说起VR(虚拟现实)领域的前沿研究进展,全球最火爆的VR设备供应商Meta,绝对是引领市场风向的存在。

Meta的CEO马克·扎克伯格最近在访谈中透露了Meta在元宇宙领域的最新布局。Meta将于10月推出新的VR头显——Meta Quest Pro。

据悉,该头显的最大亮点是具有面部和眼动跟踪功能,可以让虚拟数字化身进行眼神交流。硬件分析师Brad Lynch认为,Meta Quest Pro将采用经过改进的XR2处理器,较现有的XR2处理器同比性能提升30%。分析师郭明錤预测,Quest Pro将使用单眼2160×2160分辨率的面板。

在访谈中,扎克伯格还谈到了元宇宙社交,他认为,从文字、图像、再到视频,社交媒体的载体正朝着更大的信息容量演变,而下一个能比视频承载更多信息量的载体,就在VR领域。

此前,扎克伯格亲自下场推荐自家的社交平台Horizon Worlds,并发表了一张VR自拍。虽然照片遭到全网群嘲,不过扎克伯格还是为Horizon Worlds带起了一波全网热度。

扎克伯格的VR自拍

近来,Meta在元宇宙领域的动作频繁。今年6月,Meta的VR部门Reality Labs推出了四款VR头显原型机,分别展示未来VR设备的4个关键技术演进方向:高分辨率、高动态范围(HDR)、轻薄外形、降低晕眩感的变焦技术优化。在8月举办的SIGGRAPH大会中,Meta的显示系统开发负责人Douglas Lanman发表演讲,为我们介绍了攻破VR技术瓶颈的十大挑战。

在SIGGRAPH 2022大会上,外媒Auganix的记者Sam Sprigg特别体验了主打HDR功能的VR原型机Starburst。Oculus Quest 2是Meta迄今推出的VR一体机巅峰之作,去年出货量突破千万台,是史上最畅销的VR产品,而Starburst的峰值亮度足足有Quest 2的200倍。

那么,Meta的元宇宙布局究竟是怎样的?Meta的原型机体验起来到底如何?Meta的百亿研发都投入到了哪里?让我们带着这些疑问,一起来看看Meta在VR领域上的最新发展。

为探索四大研究领域

Meta发布四款原型机

今年6月,Meta Reality Labs公布了四款不同技术领域的VR头显原型机。

“无聊猿”BAYC主题咖啡公司Boring Brew被Web3数字资产公司Metavesco收购:金色财经报道,据“无聊猿”BAYC主题咖啡公司Boring Brew在其官推宣布,该公司已经被Web3数字资产公司Metavesco收购,收购价格总计约30万美元,其中包括4.5万美元现金和50万股Metavesco公司限制性股票(根据当前股价计算约合24万美元)。收购完成后,Boring Brew创始人Erod.Eth将作为战略顾问加入Metavesco团队,帮助后者在咖啡、NFT和技术方面寻求突破创新。[2023/6/14 21:36:07]

Butterscotch探索分辨率技术、Starburst探索HDR技术、Holocake 2探索VR头显的轻薄外形打造技术、Half Dome 系列探索变焦技术。这四款原型机分别代表了Meta在四个VR头显研发领域取得的最新进展。

此前,Meta的CEO马克·扎克伯格曾提出视觉图灵测试(Visual Turing test)的概念。简单来说,视觉图灵测试的考核标准就是虚拟图像能否以假乱真,让人眼无法分辨出虚拟图像与真实图像。扎克伯格表示,视觉图灵测试有两个重点,即照片级真实感和临场感。

不同VR头显分辨率对比

而让图像更加逼真的方法之一,就是尽可能地提升图像的分辨率。为此,Meta研发了原型机Butterscotch,其特点就是具有“视网膜级别”的分辨率。

Butterscotch的PPD达到55,很接近每1度角60像素的“视网膜分辨率”水平,其分辨率是Quest 2的2.5倍,Meta Reality Labs科研部门DSR团队光学科学家Yang Zhao说,Butterscotch的定制透镜模组中,有两个高精度玻璃镜片,镜片的表面质量更高,但也更重。此外,还有一个可衍射光线的特制透镜。玻璃透镜与衍射透镜组合后,即可呈现清晰的图像。

Starburst原型机

Starburst原型机的特点是具备高HDR(高动态范围成像)功能,其背光的最大亮度可达20000nit,是现有VR头显Quest 2的200倍。Meta Reality Labs团队开发Starburst的目的是在虚拟环境中还原完整的室内照明,并探索能让用户实现最佳沉浸体验的理想亮度。

Starburst采用COB LED(常用于车灯上的LED)取代原来的LCD屏幕背光,这在很大程度上提高了LCD的背光亮度,但也产生了更多的热量。因此,Starburst还配备了风扇和3D打印散热底架。但是设备整体比较笨重,且耗电严重。在四项技术中,这项技术离上市的距离最远。

MetaMask集成Mercuryo以简化加密货币购买:2月17日消息,MetaMask开发商ConsenSys与跨境支付网络Mercuryo达成合作,MetaMask集成Mercuryo服务,将简化使用银行卡、Apple Pay和Google Pay直接从Web3钱包MetaMask购买加密货币的流程。该集成支持 19 种法定货币和 18 种加密货币,包括以太币、DAI、USDT 和 USDC。

上周,MetaMask 还集成了Onramp.money,允许印度用户直接从钱包购买加密货币。[2023/2/17 12:13:30]

Holocake 2原型机

Holocake 2原型机的特点是轻薄,可以提升VR头显的佩戴舒适度。Holocake 2是一款PC VR设备,虽然它的外形轻薄,但是它需要额外的计算和电池组件空间,采取分体式设计。

Half Dome发展史

Half Dome是基于Oculus Rift改造的VR头显原型机,其特点是采用可变焦透镜。从第三代开始,Half Dome的透镜从机械系统升级为电子变焦系统,减少了机械噪音和震动。Half Dome 3有32个可切换的焦点平面。据体验者透露,通过Half Dome的动态变焦玩《Lucky’s Tale》等游戏时,视野里的图像焦点可以根据手柄移动的距离而变化。

Starburst峰值亮度为20000nit

是Quest 2的200倍

在本月举办的计算机图形顶会SIGGRAPH 2022上,外媒Auganix的记者Sam Sprigg特别体验了主打HDR功能的VR原型机Starburst。Oculus Quest 2是Meta迄今推出的VR一体机巅峰之作,去年出货量突破千万台,是史上最畅销的VR产品,而Starburst的峰值亮度足足有Quest 2的200倍。

在展会现场,两台Starburst被挂在一个框架上供参与者体验。Starburst的重量约为2.5公斤,这个数字对于头戴式设备而言,有点太大了。Sam Sprigg说:“它太重了,你无法把它戴在头上,只能把它举到脸前。”并且,Starburst需要大量电力支持其高亮度显示,所以它被固定在了框架上。

金色数藏META官网今日正式上线Beta测试版:据官方消息,金色数藏META官网于今日正式上线Beta测试版,并将于今天下午5:20开启西施限量数字藏品免费抢活动,点击原文链接查看领取教程。

据悉,金色数藏META是由金色财经孵化、依托腾讯至信链的数字艺术文化收藏平台。[2022/5/20 3:31:00]

两台Starburst被悬挂在一个架子上

Starburst的亮度是用“nit”来衡量的,Sam Sprigg称,室内环境的亮度超过10000nit,而Starburst的峰值亮度为20000nit。而Meta曾表示,Quest 2的峰值亮度约为100nit,Starburst的峰值亮度是Quest 2的200倍。

而20000nit的峰值也可以在一定程度上解释Starburst的“笨重”。高亮度也会产生高热量,为了散热,Starburst配备了大型的铝散热器。Meta的显示系统研究团队(Display Systems Research,DSR)的研究科学家Nathan Matsuda说,铝散热器至少占了设备重量的50%。此外,设备顶部有一个大型风扇,可以吸收散热器中的热量。

Starburst由36个零部件组成

不过,Starburst的分辨率较低,约为2560x1620像素,比Quest 2略低。不过,这也可以让人接受。因为Starburst主要展示HDR的解决方案,至于高分辨率,那是Butterscotch该探索的方向。

Starburst同时使用彩色和单色LCD(液晶显示器)。Matsuda表示,这是因为单个LCD在低光下的对比度较差,而两个彩色LCD又会吸收大部分光线,降低显示效果。因此,将彩色和单色LCD串联使用,就可以获得最佳的显示效果。

为了专注探索HDR技术,Starburst在画面的刷新率和视野方面做出了妥协。不过,Sam Sprigg称,这种妥协并没有影响Starburst在HDR和亮度方面的表现。

Sam Sprigg“戴着”Starburst

Starburst演示的第一部分就是在虚拟空间设置一个光源,再放置一些球体来显示反射光源。Sam Sprigg称,在10000nit显示范围下,这与Quest 2的体验相同,没有什么特别的地方。

但是,当亮度上升到10000nit时,他能感受到更明显的亮度。展示10000nit光线时,演示切换到了海洋日落景观。太阳穿过云层,光线打在海洋的波浪上,水面波光粼粼。然后,光线上升到了峰值20000nit,画面中有一个虚拟的太阳。Sam Sprigg称,他觉得自己仿佛看到了真实的太阳,因为光线实在太亮了。最后,太阳落山时,海浪发出了微弱的反光。这个演示令人印象深刻。

Kakao Games旗下Meta bora开发的休闲高尔夫游戏将发行NFT:4月25日消息,Bora Network宣布,将为韩国游戏公司Kakao Games旗下区块链子公司Meta bora正在开发的休闲高尔夫游戏“BirdieShot EnjoyEarn”发行NFT。本次NFT将从即日起至4月26日在区块链平台BORA Portal发售。总发行量1000枚,其中200枚将出售给当天申请预购的“白名单”,剩下800枚将向公众出售。

此前消息,Kakao Games旗下Meta bora将于4月推出Bora门户及NFT市场。(亚洲经济报)[2022/4/25 14:46:53]

放置球体测试光源

Sam Sprigg称,他在Starburst中直视20000nit的光源可能跟盯着60瓦灯泡的感觉差不多。但是,VR中的光源距离他的眼睛只有几英寸,这个距离很近。他认为,这种亮度显示可以为用户带来更加真实且富有沉浸感的体验。

但是,Sam Sprigg也指出,功率、热量、外形是限制VR头显发展HDR技术的重要阻碍。他认为,我们可能还需要很长的时间,才能等到能够输出20000nit的成熟上市产品。

困难重重

VR头显面临十大技术挑战

目前Meta虽然在VR头显上已经取得了一些技术进展,但仍然遇到了很多目前无法解决的技术瓶颈。在SIGGRAPH大会的演讲中,Meta显示系统开发负责人Douglas Lanman为我们提供了一些参考方向——要想将VR体验提升到新的高度,目前有十大挑战亟待解决!

谁能率先攻破这些挑战,谁就有望在愈演愈烈的元宇宙硬件入口抢夺赛中,争得先机。

1、分辨率:Meta开发Butterscotch原型机,致力提高分辨率

为了提高用户的沉浸感,让虚拟世界看起来更加逼真、清晰,VR头显必须拥有更高的分辨率。目前的VR头显分辨率离人类视觉水平还非常遥远。

Meta表示,他们的初步目标是实现单眼8K分辨率和60PPD(像素密度)。但是目前Quest 2只达到了单眼2K分辨率和20PPD,距离这一目标还有较远距离。

为了提高VR头显的分辨率,Meta开发了专注探索分辨率的Butterscotch原型机。在这方面,高分辨率显示器的开发和生产并不是难点,难点在于如何为高分辨率显示器配备相应的计算能力。Lanman指出,注视点渲染(Foveated Rendering)和云流送(Cloud streaming)两种技术或许有助于提升计算能力,但是这两种技术本身的研发难度也很大。

Plaid完成4.3亿美元D轮融资,Altimeter Capital Management领投:4月7日消息,金融科技初创公司Plaid宣布完成4.25亿美元D轮融资,Altimeter Capital Management领投,新投资者包括Silver Lake Partners和Ribbit Capital,投后估值达134亿美元。今年1月Visa放弃收购Plaid,在随后的几个月中,Plaid的估值飙升。

此前2020年1月消息,Visa宣布斥资53亿美元收购Plaid。同年6月,一起诉讼指控该公司通过“数据管道(Data plumbing)”收集Venmo、Stripe、Square的Cash App和Robinhood等服务的相关数据。同年11月,美国司法部就Visa收购Plaid一事对其提起反垄断诉讼。今年1月13日消息,美国司法部在Visa收购Plaid一案中取得胜利,该案可能为一系列反垄断执法活动奠定基础。1月12日,美国司法部宣布,Visa和Plaid已经退出了合并计划。(英国金融时报)[2021/4/7 19:55:19]

上面是普通模糊处理的VR效果,下面是注视点渲染技术模糊效果

2、视场角:VR头显视场角比人眼小一倍

人类的平均水平视场角为200度,而目前大多数商用VR头显的水平视场角为100度。这意味着VR头显的视野范围比我们在真实环境中看到的更窄。此外,在垂直视场角方面,VR头显也有改进的余地。

视野越宽,VR头显呈现的像素也越多。这就要求更高的功率和更多的废热(waste heat)。此外,视线范围变宽后,视线范围边缘的图像容易失真。因此,更宽的视线范围需要更好的透镜技术支持。并且,研究人员还要确保镜头和显示器的构建方式不会增加VR头显的外形尺寸。

3、人体工程学(Ergonomics):VR头显佩戴舒适度不够

目前大多数VR头显都会略显“笨重”,例如Quest 2的重量超过500克,其设备厚度(从面部突出的距离)达8厘米。这样的设备显然不会为用户带来很好的佩戴体验。理想的VR设备应该更轻薄,能让用户舒适地长时间佩戴。

Pancake透镜和全息透镜或许会对减小头显体积有所帮助,目前Meta的Holocake 2原型机正在往此方向探索,但其尚未发展到大规模生产的水平。

“太阳镜”是Holocake 1原型机,透明的是2016年的Oculus Rift

4、视力矫正显示屏:还未找到成本低廉的视力矫正显示屏

更好的VR头显应该具备视觉矫正功能,让用户不必在VR头显下还带着常规眼镜。这个问题可以通过特殊的镜头附件解决,但这不是理想的解决方案。最佳方案是头显的显示器自带视觉矫正功能,这样头显设计师就不再需要考虑适配眼镜等问题。

但挑战就在于,如何才能找到一种制造成本低廉,且不会额外增加头显重量的解决方式呢?

具有视力矫正功能的镜头附件已经存在,但它们并不是理想的解决方案

5、变焦:Meta原型机Half Dome可实现人眼变焦

在自然环境中,为了看清不同距离的画面,人眼可以自然变焦。但在VR头显中,因为人眼与屏幕之间的距离没有改变,所以人眼无法变焦,也无法看清远近景物之间的差别。这其中存在视觉辐辏调节冲突(vergence-accommodation-conflict)问题。所以有时用户会感到眼睛疲劳,甚至出现头痛和呕吐现象。

为了解决这个问题,Meta的研究人员开发了一系列支持“渐进式视觉”(progressive vision)的原型机Half Dome。Half Dome可以模拟不同的焦点平面,呈现出不同的模糊程度,从而帮助人眼在虚拟世界里调整焦距。

瞳孔会随着物体距离变化

6、眼动追踪:难以适配所有人的眼部情况

眼动跟踪是虚拟现实中的一项关键技术。它是众多其他重要VR技术的基础,如变焦、畸变校正等。通过这项技术,用户可以在虚拟世界中实现与其他用户的眼神交流,拥有更加真实的社交体验。

但问题在于,每个人都有不同的瞳孔形状、每个人眼睑和睫毛的生长情况也不同,所以目前眼动追踪技术还无法很好地适配所有用户。因此,Lanman团队将广泛收集更多的用户数据,以此升级眼动追踪技术技术,努力让它与更多人适配。

瞳孔的形状因人而异,这对眼动追踪技术来说是一个挑战

7、畸变校正:Meta研发失真模拟器,加快算法迭代速度

瞳孔的运动会引起图像的失真,进而降低用户的沉浸感,这种现象在配合变焦技术使用时尤其明显。为了开发校正算法,研究人员必须在实物头显上进行调整测试,但生产头显可能会耗费数周甚至数月,这大大拖延了算法的迭代时间。

为了解决这个问题,Meta研究团队开发了一种失真模拟器(distortion simulator)。有了这种模拟器,无需生产测试头显和特殊镜头,研究人员就能测试校正算法。

红色光线未校正,蓝色光线是校正后的结果

8、高动态范围(HDR):Starburst原型机峰值亮度为20000nit

物理对象和环境的亮度远远高于VR头显,为了解决这个问题,Meta创造了Starburst原型机。Starburst的亮度峰值为20000nit,是现存Quest 2的200倍。

Starburst可以更真实地模拟封闭空间和夜晚的照明状况,让虚拟环境看起来更加真实。不过,目前Starburst很重,并且十分耗能。

Meta认为,HDR对视觉真实感的贡献要大于分辨率和变焦,但这项技术距离实际应用最为遥远。

Starburst原型机特写

9、视觉逼真度(Visual realism):透视(Passthrough)技术尚不成熟

更好的VR头显应该还能让VR用户与现实世界保持互动。VR头显可以记录真实环境信息并在虚拟现实中显示为视频图像。这种称为“透视”(Passthrough)的技术已经在商用VR头显中实现,但其质量很差。例如,Quest 2提供了一种黑白相间的透视模式,而Meta的即将推出的高端VR头显“Quest Pro”旨在追求更高的分辨率和彩色透视功能。

然而,VR头显尚未实现物理环境的完美重建。透视技术捕捉到的画面视角在空间上与眼睛存在偏差,用户在长时间使用时可能会感到不适。所以,Meta正在研究人工智能辅助的视线合成,该技术能实时生成视角正确的视点,并具有高视觉保真度。

此外,Meta还在研究一种“反向透视”(Reverse Passthrough)功能,该功能可以让现实用户看到VR用户的眼镜和脸部,进而进行眼神交流。但是目前这项技术在视觉上不协调、不自然,还远未为市场做好准备。

左边是一个Oculus Rift,它挡住了VR用户的视线,右侧是早期的反向“透视”原型机

10、面部重建:Meta开展“虚拟化身”项目研究

Meta希望未来人们在虚拟环境中见面就像在现实中一样真实。为此,Meta正在展开了名为虚拟化身(Codec Avatars)的研究项目,该项目致力于为人们在虚拟环境中创建3D数字化身。

目前,VR头显可以实时读取VR用户的面部表情,并将其转移到虚拟现实中。据悉,即将推出的Quest Pro或将成为Meta第一款提供面部跟踪(face-tracking)的设备。

Quest Pro可以识别面部表情并将其传输到VR设备上

结语:Meta的VR技术已有突破

但仍需继续攻克技术难题

Lanman在SIGGRAPH 2022上提出了目前VR头显面临的十大挑战,我们可以从中看到目前Meta取得的进展和尚未解决的问题。Meta发布了四款原型机,目的是解决VR头显在分辨率、变焦、轻薄外形、HDR四个方面的问题。这四款原型机各有所长,在各自领域获得了初步的技术进展。此外,Meta开展了虚拟化身项目助力VR头显的面部重建功能、开发了失真模拟器加速算法迭代。

这些原型机展现了现在Meta在VR单项技术领域能达到的最高水准,但这些技术远远不足以打造出一个成熟的VR头显。目前仍存在一些Meta暂时无法攻克的技术问题。例如VR头显的视场角比人眼更窄、VR头显佩戴的舒适度不够、VR头显还未配备视力矫正功能、VR头显的眼动追踪技术不能适配所有人、VR头显的“透视”技术尚不成熟等等。

细数目前Meta在VR头显上的探索,我们可以发现,Meta已经在VR头显探索的路上走了很长的一段距离。但是,Meta离这条路的终点还很远。目前,VR头显相关的各项技术都在积极开发中,但这些技术还远未成熟,离上市商用还有一段距离。从这个角度来看,VR的爆发潮还很远。

来源:Auganix、Mixed

智东西

个人专栏

阅读更多

金色早8点

Bress

链捕手

财经法学

PANews

成都链安

Odaily星球日报

标签:ETAMETMETASTARBMETAVIEMetaMask小狐狸钱包Compound MetaSTARB价格

DAI热门资讯
NFT或将彻底改变音乐产业

音乐NFT有能力彻底改变音乐家们的职业轨迹,你不相信吗?包括丹尼尔·艾伦(Daniel Allan)、拉塔莎(Latashá)、布莱克·戴夫(Black Dave)等在内的数十位制作人、DJ和音乐家.

1900/1/1 0:00:00
如何创建和发展一家 Web3 公司?这 100 个工具你应该用得到

作者 | Julian Ivaldy 编译 | 白泽研究院 本文作者 Julian Ivaldy,是 Web3Island?& The Secret Company 的联合创始人.

1900/1/1 0:00:00
长文解读:AMM 演化史

自金融概念出现以来,就有了构建对应的金融“市场”,这一概念最早可以追溯到 17 世纪的香料交易中,中间商通过买卖香料份额向投资者提供更高的流动性,但如今的做市商已经发生了巨大的变化.

1900/1/1 0:00:00
想了解 Optimism 看这篇文章就够了

什么是 Rollup? Optimism 的发展简史Optimism 如何对以太坊进行扩展Optimism Collection 对未来的展望 更多关于 Optimism 的资源 在铁子们了解 Optimism 和 Optimisti.

1900/1/1 0:00:00
EVM 深入探讨

导语 在智能合约世界中,“以太坊虚拟机(EVM)”及其算法和数据结构是首要原则。我们创建的智能合约就是建立在这个基础之上的。不管是想要成为一名出色的 Solidity 智能合约开发人员还是安全人员都必须对 EVM 有深入的了解.

1900/1/1 0:00:00
详解Move:是否能成为Web3中的Javascript?

原文标题:《Move:Web3 的 Javascript》原文来源:Bixin Ventures环顾 Twitter 帖子和加密出版物,Sui 和 Aptos 的名字总是出现.

1900/1/1 0:00:00