宇宙链 宇宙链
Ctrl+D收藏宇宙链

去中心化存储:元宇宙与 Web 3.0 的交汇之处

作者:

时间:1900/1/1 0:00:00

摘要

线下生活的线上化及如火如荼的所有者经济催生了巨大的数据存储需求,具备巨大的商业和应用前景;

中心化存储由于高昂的成本、预置的存储格式等因素难以跟上数据指数型增长所带来的存储容量、数据读写速度、安全性和数据关系的变化,由此去中心化存储应运而生;

去中心化存储基于区块链技术,具有可扩展性强、安全、效率高、自动容错、可靠性高、成本更低的特性;

Web3.0的世界里,用户海量的线上足迹和创作的线上作品创造了一个难以置信的巨大的数据王国,而这数据王国的维持依赖一个可靠稳定安全的数据存储网络;

元宇宙辉宏的世界里,货币化的虚拟物品若失去可信任的区块链链上存储的保护,一旦其对应的元数据和媒体数据失效或被篡改,则将会变成一张没有承兑方的无价值支票;

现时主要的去中心化存储方案为IPFS/Filecoin和Arweave项目,IPFS开创性地引入了激励层Filecoin以确保数据在约定期限内的可靠存储,而Arweave通过技术创新以期实现数据在链上的永久保存。

导语

2021年的夏天,一组由一万个不规则像素组成但看起来很奇怪的小人忽然兴起,让人惊讶的是其单个头像却能以等价于几千万美金的以太坊成交;此后BoredApeYachtClub、Loot等成为加密市场的新宠。从加密艺术、游戏到头像、文字,NFT的兴起引燃了人们对元宇宙、对Web3.0的无尽想象。

然而当我们在谈论作为身份象征的CryptoPunk、兴致勃勃地边玩边赚游戏AxieInfinity、酣畅淋漓地构想在元宇宙里星辰大海的征途时,我们是否想过这些数据会被存储在哪?是否担心这些数据可能会被篡改?没有人会希望花了几千万美金的头像因为底层数据的篡改而一文不值,没有人会希望在元宇宙里与朋友对话的珍贵回忆因为系统宕机而永远消失。站在元宇宙和Web3.0纪元的起点,在数据爆发式增长的今天,我们急需一个安全、开放、自由、可靠的存储网络。

本文将通过介绍存储之于Web3.0及元宇宙的深刻意义,尝试向读者描绘去中心化存储在Web3.0及元宇宙中激动人心的应用。同时,本文还将立足于去中心化存储的发展现状,对不同的去中心化存储方案进行研究和比对。

存储的产业生态

新冠疫情的肆虐加速了真实世界与虚拟世界边界的模糊,人们在真实世界中的工作、社交、娱乐、餐饮、购物、出行等活动几乎都可以在互联网世界中来执行;同时,从Web1.0到Web3.0,从被动的数据读取到热火朝天的内容创作,数据生产量发生了爆炸式的增长,并且还将以指数形式继续增长。据360研究报告,全球数字内容创作市场预计将在2025年达到169亿美金市值。如火如荼的所有者经济模式和指数型增长的数据创造了巨大的数据存储需求,芯片技术、算法、硬件等的发展促进了存储技术的进步,而数据价值的释放和数据安全的刚需又倒逼存储技术的创新和基础设施建设。在软件及算法的迭代与融合中,存储行业从传统的磁盘存储突破硬件的物理限制而逐渐演进到云存储。作为区块链技术的三大支柱之一,存储对于Web3.0与元宇宙的发展都具有重大意义——从应用角度来看,数据安全与数据主权的最终归属关系着虚拟世界的稳定运行;而从经济角度来看,元宇宙与Web3.0世界产生的海量数据存储需求也有着巨大的商业前景。

去中心化交易平台UXUY完成320万美元种子轮融资:4月11日消息,去中心化交易平台UXUY宣布完成320万美元的种子轮融资,投资方包括Bixin Venture、WaterDrip Capital、KuCoin Ventures、Pionex、LK Venture、Arcane Group、Daoverse Capital、Lapin Digital等机构。

UXUY是基于MPC钱包的下一代创新型去中心化交易平台。UXUY致力于营造稳定币友好的交易环境,将创建多元稳定币流动性池。[2023/4/11 13:57:26]

全球数据产生量走势图,来源:www.slideshare.net/PerryLea/the-20-rule-how-the-seismic-growth-of-data-has-always-and-will-always-outgrow-telcom

碍于各种因素我们现时无法整体评估存储市场的规模,但以云存储为例,预计到2027年,全球云存储市场规模将达到2,222亿美元,在预测期内年复合增长率达21.9%(SnehaKoradRachitaRake&VineetKumar,2021)。

全球云存储行业市场规模预测,来源https://www.alliedmarketresearch.com/cloud-storage-market

存储的商业模式分为中心化和去中心化存储,中心化存储是将数据完整地存储在中心化的服务器上,去中心化存储则是采用分布式存储技术将数据切片分散存储在多个独立的存储供应商上。中心化存储方案以高稳定性的性能、低廉的费用,满足了企业级存储的需求;去中心化存储以其定制化存储方案、经济激励模型、隐私性强等特点满足了长尾企业市场的特殊场景要求。站在Web3.0与元宇宙的交汇处,对数据安全性和用户数据所有权的重视,去中心化存储的重要性将愈发凸显。

2.1中心化存储

中心化存储,即将整个存储集中在一个系统中的多套设备上,是过去大型主机时代的产物,采用有限的固定的节点数,数据访问仅需经过一个控制器,因而具有低延迟的优点但相对费用较高、数据安全性、服务提供商的运营可扩展性低等问题。

中心化存储系统顺利运行的关键之一是存储服务器稳定运转,存储服务器成为系统性能的瓶颈以及可靠性的焦点,对于存储环境、硬件设备等提出了极高的要求,因而巨大的中心化存储市场却是巨人的蛋糕,亚马逊、微软、谷歌、阿里云四大巨头合计占据了云存储市场份额的67%。

Space and Time CEO:完全去中心化可能永远都不会发生:金色财经报道,Web3 数据仓库平台Space and Time 首席执行官 Nate Holiday在 Chainlink SmartCon 大会期间接受采访称,完全去中心化可能永远都不会发生,该公司最近完成了微软旗下 M12 基金参投的 2000 万美元战略轮融资,使用一种被称为“SQL 证明”的协议。不过,尽管 Nate Holiday 对 SQL 证明的未来及其在企业中的使用持乐观态度,但他承认完全去中心化可能不会发生,他解释说,“这些集中式数据库可能永远不会去中心化,但问题是,一个集中式数据库是否足够好,因为它们运行 SQL 证明,所以可以拥有无需信任的查询结果?未来的答案可能在多链,多链世界可以将各种集中式应用程序(如企业资源规划 (ERP)、客户关系管理 (CRM) 和营销自动化系统)连接到允许开发人员将这些数据库连接到区块链的桥梁。”(decrypt)[2022/10/12 10:31:36]

2021Q1全球云存储提供商的市场份额

随着微博、Facebook等的传播以及自我内容创作的流行,我们进入了数据以指数倍增长的时代,爆炸式的数据增长对存储容量大小、扩充速度和数据备份等方面提出了更高的要求;用户间实时的信息互动需要更快的数据读写速度和更高的安全性;同时,由于用户自我创作产生的数据种类、数据间的关系变得更加复杂多样化,存储系统需要从过去单一的文件类型扩展至各种半结构化、非结构化的数据关系。而中心化存储由于其高昂的建设成本以及行业进入壁垒,数据存储容量、数据类型等的扩张都难以跟上数据生产的脚步,去中心化存储由此应运而生。

2.2?去中心化存储

就如IPFS(InterPlanetaryFileSystem)早期布道者胡飞瞳所说:“在中心化数据存储的世界里,用户不仅为数据存储付费,而且还得不到很好的数据保护,这一现象必须改变。通过去中心化,用户可以自己管理自己的数据、加密存储、授权访问、安全备份等等特性的实现将极大地加强用户的隐私,也能增强数据的长期保存,同时,有望通过共享的模式大大降低费用。这是数据存储发展的必然方向。”

去中心化存储基于区块链技术,采用开源的应用程序和算法,把数据切片分散存储在多个独立的网络节点上,主张隐私保护、数据冗余备份等,并且通过对种子节点或文件上传方提供经济激励使数据价值化。其中,经济激励模式使得用户数据得以安全长久地保存正是去中心化存储的点睛之笔。

当去中心化存储遇上区块链技术,便具有了可扩展性强、安全、效率高、自动容错、可靠性高、成本更低的特性:

可扩展性:存储节点的数量可无限扩展,每个节点的存储容量亦可灵活调整;

安全性:无需了解合作对方或寻求第三方的信任,存储信息拆分成碎片分散存储在多个节点,存储数据的加密不仅局限于用户和软件终端,而且在存储网络的所有环节中、在信息传输过程中通过私有网络访问密钥、零知识证明等方法进行加密处理;

去中心化交易所协议OneSwap上线火币生态链(HECO):2021年3月2日,去中心化交易所协议OneSwap宣布上线火币生态链(HECO),用户可以在OneSwap上实现自助上线、交易基于HECO链的数字资产。OneSwap是火币生态链上支持四大公链的去中心化交易协议,用户可以在OneSwap上轻松便捷地交易四大主流公链的资产。

OneSwap支持以太坊、波场、币安智能链、火币生态链四大主流公链的swap产品,支持AMM做市和现价单。[2021/3/2 18:07:05]

高效率:同一网络上的节点可直接共享文件;

自动容错:由于存储内容已分散到网络中的许多节点上,可在数据传输或存储出错时存储额外的副本;

高可靠性:存储系统内含的验证机制能确保文件被完整真实地存储,且能7*24小时供用户随时取用;

低成本:据悉,存储一期《中国有嘻哈》视频文件,按0.001美元/GB带宽成本计算,则爱奇艺需支付给传统存储商一百万美元,若采用IPFS分布式传输则可节省60%的带宽成本。

去中心化存储:Web3.0与元宇宙的交汇之处

3.1去中心化存储与Web3.0

互联网的起源可以追溯至1989年万维网的诞生,如果说门户网站开启了Web1.0时代,那么2003年博客的兴起标志了Web2.0的开端。从Web1.0到Web2.0,从被动的信息接收到自主创造内容与在线交互,互联网用户呼唤更注重用户内容创作、易用性和互操作性的应用体验,Web3.0呼之欲出。正如蒂姆·伯纳斯·李所说,“人们一直在问什么是Web3.0。我想也许当你在Web2.0上有一个可扩展的矢量图形覆盖层——所有的东西都在荡漾、折叠、看起来模糊不清——并且可以访问一个集成在巨大数据空间中的语义网络时,你就可以访问一个难以置信的数据资源”。虽然现在我们还未对Web3.0达成一致的定义,但Web3.0应该具有以下特征:

开放性:由开放和可访问的开发人员社区构建开源软件,并且链上进行的操作能被所有人查看。

去信任化(Trustless):网络本身允许参与者在没有可信第三方的情况下公开或私下互动。Web3.0通过去中心化的激励机制保证参与者遵守规则,在交易中利用区块链协议的共识机制验证账户的真实性和转账的有效性,达成去中介化的价值转移。

去许可化:任何人,包括用户和供应商,都可以在没有管理机构授权的情况下参与。

互联网的演化

Web3.0的星辰大海里,数字世界与物理世界的边界正在模糊。用户海量的线上足迹和创作的线上作品,如果没有一个稳定可靠的数据存储网络在背后默默地记录下,当我们兴致勃勃地回望Web3.0世界里所发生的一切,那时可能只剩下一片模糊的碎片。

动态 | 去中心化自治组织Aragon将发布官方开发者插件:去中心化自治组织 Aragon开发者在社区表示,在接下来的几天里,Aragon将发布第一个官方版本的Aragon Buidler插件。这是一个开发专用的工具,旨在大大简化和改善 Aragon 应用程序的开发。Aragon将废弃所有来自Aragon CLI 的开发命令,并将它们转移到这个插件中。因此,这将很快成为开发 Aragon应用程序的官方方式也是唯一的开发方式。[2020/2/8]

3.?2去中心化存储与元宇宙

2021年随着Roblox上市“元宇宙/Metaverse”概念忽然席卷了互联网、VR/AR和金融投资界等各大行业,借着微型计算机、VR设备和以5G为代表的高速网络技术的兴起,人们来到了元宇宙纪元的门口。正如我们上一篇爆款研究报告《Metaverse全景透视:从过去看向未来》所说:元宇宙世界的点睛之笔正是其经济系统。其一,基于区块链的开放式支付和清算系统,可以满足用户在元宇宙世界的实时、公平、透明、快速的P2P支付需求;将元宇宙中用户的虚拟物品或创新成果货币化,不仅赋予了用户与真实物理世界近似的权益保障,更能极大地促进元宇宙资产的流通、交易并鼓励用户通过持续创新来获得财富积累。而这背后,在元宇宙辉宏的世界里,庞大的用户信息交互及创作的虚拟物品信息如若失去可信任的区块链链上存储的保护,一旦其对应的元数据和媒体数据失效或被篡改,那么用户手上的NFT所有权凭证将会变成一张没有承兑方的无价值支票。

TheSandbox游戏内虚拟资产,数据源:TheSandbox

3.?3主要的去中心化存储解决方案

3.3.1Bittorren

最早期的去中心化传输方案为Bittorrent,即BT下载,由软件工程师BramCohen于2003年提出,通过P2P下载的方式克服了传统下载方式的局限性——不需要资源发布者拥有高性能服务器来传输资源,且下载同一文件的人越多下载该文件的速度越快,加上其免费使用这一收费模式,吸引了众多的网民使用。然而Bittorrent下载必须使用种子文件,即下载内容的所有地址放到这个种子文件中才能下载,且客户端只能下载种子文件内的内容。但种子文件可能随着时间推移而减少甚至消失,这也意味着存储的内容可能会在传播中消失。Bittorrent的另一个明显的问题是缺乏激励机制,缺失激励用户无偿共享文件的动力。在适当的经济激励缺席下,只有那些广受流行且不断有人下载的内容才能幸存下来,而某些未能引起大众注意的精华则可能消失在历史的长河中,只留下一抹模糊的剪影。

3.3.2IPFS/Filecoin

IFPS是2015年提出的另一去中心化存储方案,克服了bittorrent的不足——可存储内容的多个版本、可预下载内容,进而实现去中心化、快速、高效率、可靠性、安全的内容存储。值得注意的是,IPFS又开创性地引入了激励层Filecoin,通过通证激励机制以确保文件在约定期限内的可靠存储。

动态 | 去中心化域名协议Handshake已启动主网:去中心化域名协议Handshake已于UTC时间2月3日17点(北京时间2月4日1点)启动主网。与此同时,域名注册商Namebase推出Handshake代币HNS交易服务。Namebase用户最终将能够通过Handshake购买域名,并使用电子邮件风格的加密地址发送和接收比特币和其他代币,类似于基于以太坊的去中心化域名注册服务商Unstoppable Domains,后者最近为以太坊代币钱包MyEtherWallet提供此类支持。用户还可以使用HNS代币在Namebase上为独特的顶级域名(例如.guy)竞标,然后每当有人向该顶级域名(TLD)注册子域名时就可以赚取HNS。Handshake区块链现在可以用于开采其原生代币HNS,然而,交易和全部功能要到2月17日才能启用。同时,该协议将通过长期计划的去中心化空投,将价值1.15亿美元的HNS(85%的供应量)分配给开源开发者。此外,可以通过Coinmine应用程序的Coinmine One功能开采HNS。(Cryptoslate)[2020/2/4]

Filecoin允许任何个体利用空闲的硬盘空间和带宽在公开市场上提供数据存储和检索服务,将未用硬盘容量货币化,并通过PoRep和Post来保证矿工真实存储文件的情况,防止女巫、生成、外包等虚假存储数据的攻击。简单来说RoRep是证明矿工真实存储了数据,而Post则是证明矿工一直将该数据存储在自己的硬盘中。运作原理如下图:用户通过发布订单寻找合适的存储矿工,数据加密并分割后发送至矿工,矿工将该信息添加至存储区块进行存储并持续证明其工作以获得奖励。

IPFS工作原理图,图片来源:https://www.8btc.com/article/613165

当然,filecoin的这种模式并不意味着它就是完美无缺的。IPFS挖矿需要专业设备—GPU矿机而使挖矿成本较高,行业进入壁垒的提高导致普通个体可能无法直接参与存储挖矿,进而全网总存储将向少数存储供应商或大规模矿池集中。这从某种程度上来说,IPFS所构想的完全去中心化在执行过程中又变成了少数供应商垄断的“中心化”存储。

Filecoin主网于2020年10月上线,目前已有3,175个活跃节点,主要遍布于北美、欧洲、中国、韩国等。截止21年10月14日,Filecoin全网提供了12.393EiB有效算力,当前基础费率为0.1052nanoFIL,封装32G存储花费4.958Fil/TiB。

Filecoin节点分布图,图片来源:filscan.io/statistics/map

Filecoin基线与算力走势图,图片来源:filscan.io/statistics/map

伴随着filecoin底层网络和基础设施的完善,其网络效应发展的前期红利吸引了更多的应用来布局。截至目前,filecoin已建立起一个涵盖“消费者存储应用、数据市场、数检索、NFT、Defi、可验证存储和隐私”等领域的生态环境,如Fileswan、NFTStororage、Opera、Livepeer等项目。

Filecoin生态图,图片来源:https://github.com/filecoin-project/community/discussions/194

3.3.3Arweave

与Filecoin将数据存储在链下不同,另一存储方案Arweave将数据内容直接存储在区块网中,是主打永久存储+链上存储的去中心化存储方案。如下图所示,Arweave方案分为两层架构:底层的区块网络Blockweave和上层基于HTTP构建的Permaweb。Arweave项目的技术亮点正是其底层Blockweave网络:

Blockweave:

项目采用了全新的区块链网Blockweave——基于共识机制和特定的出块模式,即将之前所有区块的哈希值做成一个哈希列表并将系统中所有活跃钱包做成一个列表,矿工通过检索哈希列表和钱包列表来完成验证工作,而无需像BTC、ETH等节点一样去验证整个节点,这种方式减少了能源消耗并提高了节点工作效率。

激励算法Wildfire:

与Filecoin需要持续性地收取存储费用不同,Arweave只在数据写入时收取一次性的永久存储费用,之后用户读取数据都是免费的,为了鼓励节点对数据读取请求作出响应,Arweave引入了激励算法widfire。简单来说,Wildfire就是一个节点评分系统,根据节点发送新交易和区块的次数以及响应请求的速度来让每个节点对其他节点排名。从相邻节点得到的可靠数据越多则给对方的评分就越高,相应地出块概率就越大。

智能网SmartWeave:

SmartWeave将智能合约执行的计算负担从节点转移到了用户,即Arweave网络中只存储了应用程序的所有数据,这些数据将以代码的形式提供给浏览器或其他客户端应用程序,因而使得Arweave能支持需要大量计算的Dapp。

Arweave架构

虽然Arweave存储方案将数据保存在链上,能保证数据的不可篡改、“永久存储”和所有人公开访问;然而这种模式也具有一定的弊端。其一,数据的不可篡改导致任何改动都只能通过上传新数据,这将造成一定的迭代成本。其二,为了保证数据的永久存储,Arweave需要不断吸引新的节点加入同时确保节点的边际收益大于边际成本,然而Arweave节点数一直在减少,目前仅有146个节点,较2020年5月的490个节点减少了70%。

Arweave节点分布图,来源:https://viewblock.io/arweave/stats

Arweave主网于2019年1月29日上线,并于2020年5月推出具有捆绑交易存储功能的Arweave2.0版本,链上交易量在2021年开始发力并于今年9月达到顶峰(9月日均交易量超8万笔)。Solana上MetaplexCandyMachine的推出以及ipfs2arweave跨链桥的推出等造就了Arweave的亮丽表现。

Arweave交易量统计,来源:https://viewblock.io/arweave/stat/txCountHistory

纵观Arweave生态项目,目前较为活跃的是NFT、DeFi及基础设施赛道,如Koii、Limestone等项目,目前生态还处于建设的早期阶段。

Arweave生态一览???????

展望

站在Web3.0与元宇宙的交汇处,对数据安全性和用户数据所有权的重视,去中心化存储的重要性将愈发凸显。去中心化存储与中心化存储在存储空间来源、带宽来源、安全性、使用方式等多个维度的差异,导致现时去中心化存储的规模和性能远远不如中心化存储系统。虽然IPFS、Arweave等项目通过不同的“非中心化”设计方式弥补了其不同的缺陷,并引入通证激励使全网存储总规模扩大,但是项目方与用户的利益不一致、费用结构的等因素阻碍了项目的快速拓展,其生态构建尚处于早期阶段,未来需要在费用、节点量、用户量之间找到平衡,实现规模与性能的兼顾。

去中心化存储方案的对比

我们期待随着元宇宙和Web3.0纪元的开启,网络的“飞轮效应”使去中心化存储能迎来应用爆发的浪潮,期待存储技术的改进和经济激励模式的优化,去中心化存储这一赛道能有长足稳定的发展。

参考文献

CloudStorageMarket(2021),SnehaKoradRachitaRake,VineetKumar,https://www.alliedmarketresearch.com/cloud-storage-market

分布式存储——千亿存储市场的蓝海大战,https://www.8btc.com/article/613165

2020分布式存储产业链研究报告,焦仕可https://www.jinse.com/news/blockchain/835473.html

A'morerevolutionary'Web(2006),VictoriaShannon,https://www.nytimes.com/2006/05/23/technology/23iht-web.html

WhatIsWeb3.0&WhyItMatters,FabricVenture,https://medium.com/fabric-ventures/what-is-web-3-0-why-it-matters-934eb07f3d2b

IPFSandFriends:AQualitativeComparisonofNextGenerationPeer-to-PeerDataNetworks(2021),ErikDanielandFlorianTshorsch

出品:LDCapitalResearch

作者:Betty、YY

研究员:JamesKuo、NoiseZhou、Lightmanben

标签:AVEWEBWEAVEARWwaves币为什么跌得那么狠Web3 ALL BEST ICOarweave币未来的增长潜力arweave币价格预测

以太坊价格热门资讯
济南首个区块链电子劳动合同诞生 2022年底将覆盖全市

今天上午,济南市电子劳动合同平台上线运行启动仪式在山东舜和国际酒店举行。在仪式上,济南市首家使用电子劳动合同平台的公司代表舜和国际与新入职员工签署电子劳动合同,济南市首个电子劳动合同诞生,这也标志着济南市劳动关系领域正式进入电子劳动合.

1900/1/1 0:00:00
肖飒:不宜以非法经营罪评价币圈经营行为

昨晚一则新闻牵动虚拟货币相关人员的心,某知名财经类媒体爆出:“多名接近监管的知情人士告诉记者,央行《通知》下发后,公检法机关正对虚拟币交易所及挖矿等相关情况进行研究,探索定罪量刑的具体路径,后续预计会适时出台相关司法解释.

1900/1/1 0:00:00
聊聊我理解的defi2.0

聊聊我理解的defi2.0,年初的时候就在说defi不会有大的范式转移,大多是微创新,优化平衡资金效率和赚钱效应将会成为接下来一年的重点。果不其然,这一批以ohm为首的defi2.0项目大多遵循了这一规律.

1900/1/1 0:00:00
NFT热度不减 小型企业应该如何参与其中?

NFT似乎无处不在。NFL、说唱歌手SnoopDogg、汉堡王、Shakira、甚至“sideeyedChloe”模因都加入到了NFT的浪潮之中,几乎没有加入NFT领域的人不了解CryptoKitty.

1900/1/1 0:00:00
中原银行首席经济学家王军:数字货币可能会削弱传统柜台经营模式

“数字货币的应用,对于银行会有四种层面的影响。一是柜台传统的经营模式,可能会逐渐越来越弱。二是如果大家以后越来越认可数字货币,一定会有所谓的存款搬家的情况,这对商业银行负债的业务也会有影响。还有一些商业银行中收的机会减少.

1900/1/1 0:00:00
金色观察|从联盟链应用中看懂联盟链发展方向

截止到2021年6月,从FISCOBCOS金链盟发布的百大应用案例中可以看到,FISCOBCOS金链盟的联盟链解决方案已经切实应用超过120个,其应用范围之广,是令人惊讶的,只是因为这些应用离用户端很远,我们并没有明显的感受.

1900/1/1 0:00:00