原文作者:Flashbots团队XinyuanSun
感谢AlejoSalles、HongboZhang、AlexObadia和KushalBabel对本文的反馈和审阅。
原标题:《关于加速EVM的几种方法,实现更好的可扩展性和更高效的MEV提取》
借助性能更高的以太坊虚拟机(EVM),我们可以实现更好的网络可扩展性和更高效的最大可提取价值(MEV)提取。本系列文章分析了几种加速EVM的方法,重点是并行化和共享数据冲突分析。
出于多种原因,以太坊虚拟机(EVM)的性能至关重要。首先,如果我们有更快的虚拟机,那么以太坊客户端将能够更快地处理和验证交易,从而让每个人都更容易运行一个完整的节点,并加强网络的去中心化和安全性。第二,作为以太坊上的MEV提取变得更加突出,我们需要使MEV提取更容易,以便从中获得的利润可以更均匀地分配,以防止网络经济集中化。性能更高的EVM通过帮助搜索者产生更有利可图的完整区块和中继以具有更好的延迟来实现这一点。这意味着建设者市场将变得更有效率,从而吸引更多的搜索者并使市场更具竞争力,这反过来又使人们更难以进行危及网络稳定性的重组。
为了通过向后兼容性和对共识规则或存储实现方式的最小更改来提高EVM性能,我们需要并行性。在本系列的第1部分中,我们认为需要并行EVM,并介绍实现它的一般方法,例如EIP648、EIP2930和推测执行。在第2部分中,我们研究了静态分析和形式化方法如何使EVM可并行化,具体来说,我们提出了两种实现并行化的简单算法。
香港将设立Web3Hub基金 陈茂波担任该基金主席:金色财经报道,据香港中通社,香港Web3.0协会于11日成立。除了相关协会之外,香港还将设立Web3Hub基金,支持更多海外Web3.0企业落户香港,该基金将由香港财政司司长陈茂波担任主席,由多位来自金融科技、区块链、加密货币等领域的专家组成管理委员会。该基金将与香港科技园、创新科技署等机构合作,为海外Web3.0企业提供一站式服务。据悉,该基金已经收到了来自美国、欧洲、新加坡等地的多个Web3.0项目的申请,涉及领域包括去中心化金融(DeFi)、非同质化代币(NFT)、元宇宙(Metaverse)、去中心化社交媒体(Dsocial)等。该基金计划在今年下半年开始投资并支持这些项目。[2023/4/12 13:58:25]
背景
去中心化对区块链安全至关重要:去中心化网络的参与者很难串通。理想情况下,这是通过尽可能多的单独方运行节点来验证正在进行的交易来实现的。然而,拥有个人电脑的普通用户通常需要3天以上的时间才能在以太坊上启动一个完整的节点。这种低效率的背后是以太坊的大存储容量,更具体地说是EVM的存储设计:
对于节点性能,EVM存储维护是一大瓶颈,目前占用了超过70%的事务处理时间。而对于另外20%+的实际EVM指令解释时间,最耗时的操作码是SLOAD,因为在涉及IO访问的大型数据库中,Merkletrie节点的随机访问。
Glassnode:加密货币反弹正在刺激矿工借机退出并确保一些利润:金色财经报道,据区块链分析公司Glassnode最新数据,对于矿工来说,最近的反弹激励了他们的卖出,借机退出并确保一些利润。矿工日收入总量(以美元计)与年平均数之间的比率显示,与1月初相比,相对的矿工收入增加了254%,突出了整个熊市中该行业经历的巨大的财务压力。随着矿工以美元计价的收入的明显恢复,由此产生的行为转变已经从每月+8500枚BTC的积累,转为每月-1600枚BTC的卖出。自1月8日以来,矿工们已经卖出了大约-5600枚BTC,并经历了一个净余额下降的YTD。矿工已经受到当前机会的激励,准备变现其持有的一部分比特币。[2023/1/29 11:34:37]
那么,要在不影响去中心化的情况下扩展以太坊,我们能做些什么呢?
提出了几个方向:
无状态,它在以太坊节点中引入了角色分离,一些节点是“存储节点”,而另一些是“验证节点”。验证者节点将仅在验证块时接收部分存储。通过传输其合法性证明来确保存储的正确性。但这会产生额外的网络IO开销。解决方案是为以太坊存储使用新的数据结构,例如Verkle树来压缩存储验证证明。RainBlock,也是一个分离节点功能的提议。除了存储节点和验证节点之外,它还引入了一个特殊的IO-helper节点。这个提议遇到了同样的问题,即产生额外的网络IO开销,它使用他们称为DSM-tree的自定义数据结构解决了这个问题。分片类似于节点功能的垂直分离,将计算卸载到不同的网段。这些提议虽然很有希望,但都涉及对基础客户端或共识规则的重大改变。
去中心化跨链流动性协议Chainge Finance现已集成EthereumPoW:据官方消息,9月18日,去中心化跨链流动性协议 Chainge Finance宣布已集成EthereumPoW,目前支持WETHW、ETH、WBTC、USDT、USDC、BUSD、DAI、BNB八种资产在EthereumPoW和其他受支持的区块链网络中跨链漫游。[2022/9/19 7:05:31]
作为正交方向,我们现在可以做的是使EVM并行。这有助于直接增加EVM的吞吐量,因此我们可以提高gas限制并在一个块中包含更多交易,从而提高每秒交易量(tps)。此外,这还可以横向帮助现有的可扩展性提议,如分片。
高效的MEV提取
下图显示了可用于MEV提取的具有多个相关AMM交易的区块数量。作者仅在2021年5月之前从三个DeFi协议中对确定性单块MEV机会进行抽样,但结果令人震惊。
今天,MEV机会要复杂得多,典型的验证者在每个区块中看到超过10个MEV发射交易。
由于区块构建和捆绑利润优化是一个NP完全问题,而且我们有太多的MEV捆绑要考虑,因此蛮力是不现实的,区块构建者很难有效地生产最优的完整区块提议者建造者分离,巨型捆绑)。
对EVM并行化的研究可以帮助解决这个日益具有挑战性的捆绑合并问题。本质上,并行化算法设计的双重问题是理解冲突是如何在搜索包中发生的:它们都需要知道事务的共享数据访问信息。此外,并行EVM可以帮助完整的区块构建者进行更多的模拟,从而产生更有利可图的捆绑包。
Circle过去一周共发行23亿美元USDC,流通量减少5亿美元:8月28日消息,USDC发行商Circle披露数据8月19日至26日发行数据,过去一周共发行23亿美元USDC,赎回28亿美元USDC,USDC流通量减少5亿美元。截至8月26日,USDC总流通量为523亿美元,储备量为524亿美元,其中现金104亿美元,短期美国国债420亿美元。[2022/8/28 12:53:21]
并行化问题的细分
并行化EVM可能并不像看起来那么简单。像投机并发这样的幼稚解决方案已经表明,随着以太坊变得越来越拥挤,乐观执行的冲突率也会增加。仅就2017年的交易而言,冲突率已经高达35%。
高冲突率表明我们需要设计更精细的并行化算法,这将需要更精确的存储访问信息。接下来,我们正式确定这些任务的范围。
设当前区块号为k,以太坊区块链的状态为s/k,顺序EVM的状态转换函数为δ(tˉ,s),它返回一个新的EVM状态给定的交易ˉt和状态s的列表。假设在列表ˉt中有n个事务,从txn_1到txn_n,顺序为
意味着我们只有在完成txni执行后才开始执行txnj?。
我们的目标是设计一个并行的EVM执行状态转换函数δp,例如δ(tˉ,sk?1?)=δp?(tˉ,sk?1?)。请注意,δ总是按照它们传入的顺序执行tˉ。而在δp?中,tˉ的执行没有按顺序。例如,在两个不同CPU内核上运行的两个事务可以同时完成执行,或者txnj?的执行将在我们开始执行txni?之前完成。
国际证券委员会主席:明年可能成立全球加密货币监管机构:金色财经报道,市场监管机构协会国际证券委员会(IOSCO)主席阿什利·阿尔德(Ashley Alder)表示,目前迫切需要一个负责协调全球加密货币监管的联合机构,并可能在明年内成为现实。本周,随着稳定币terraUSD (UST)崩溃,市场崩溃,金融世界关注加密货币。周四早间,比特币的交易价格跌至16个月低点。Alder表示,显然需要一个旨在协调加密规则的全球组织。阿尔德表示:“目前,加密货币领域还没有类似的情况。”他补充说,这种情况可能会在明年的同一时间发生变化。(coindesk)[2022/5/13 3:12:09]
为了让我们获得一个好处,我们有两个作业要做:
1.为每个事务获取有关可能的共享数据冲突的信息。这意味着如果我们只在事务级别进行并行化,共享数据冲突将只是EVM存储,因为来自一个事务的信息可以溢出到另一个事务的唯一方式是通过存储。如果我们在更深层次上并行化,比如EVM操作码,那么我们得到的信息也将包括EVM堆栈和内存。
形式上,这意味着对于每个txni,我们都有一些关于其共享数据访问κ(txni?)的信息。此信息可以是任何东西,例如,κ(txni?)可以在交易调用的合约代码中返回一组存储位置文字。假设完美信息函数是k_perfect,那么我们推导出的κ是对Kperfect的估计。
2.基于信息的准确性,我们设计了我们的算法δp?(tˉ,sk?1?,κ),它现在将k作为附加参数。我们并行化的确切策略和抽象级别取决于k的精炼程度以及我们容忍冲突的程度。例如,有了关于每个事务的调用数据、堆栈、内存和存储的完美信息Kperfect?,我们可以设计一个在操作码级别并行化而没有冲突的δp?。
为简单起见,我们在这篇文章中只考虑事务级并行性。也就是说,我们假设κ仅包含有关存储访问的信息。我们将更精细的并行化模型留给以后的帖子。
我们意识到这种形式化不同于通常用于实现并行EVM所采用的形式。我们选择这种形式化的原因是,通过分离κ,我们可以轻松地将算法重新用于优化操作批处理和缓存等优化。
存储访问信息
要检索有关存储访问的信息,可以直接从手动输入中获取。例如,更改交易的传递方式并要求开发人员/用户列出他们将使用的地址的高估,或者像Solana或其他基于UTXO的链一样,让每笔交易都包含与之交互的帐户签名列表.这似乎是一个简单的解决方案,因为我们不会为κ的生成产生运行时开销并且始终可以确保其稳健性。但是这些方法至少需要更改客户端或在客户端之前实现一个附加层。此外,它们极大地改变了用户/开发人员的习惯,因此可能难以实施。
或者,来自Optimism的BenJones在一次演讲中提议,我们将工作外包给flashbots搜索者,因为他们需要在想出一个有利可图的捆绑包时以任何方式模拟交易。这种方法通过提供k=K_perfect来实现最佳精度,但它依赖于搜索者诚实地传递附加信息及其捆绑包,并且仅涵盖使用mev-geth的客户端。更重要的是,如果不设计一些额外的激励系统,就很难在像flashbots这样的无权限系统中执行。
另一个想法是在运行时之前使用推测生成的存储信息并将其缓存。因为这种方法是推测性的,所以收集到的存储信息是不健全的,在这种情况下,我们会退回到正常的存储访问。如果我们在Rainblock中进行节点功能分离,则此建议效果最佳。但如前所述,假定不存在。
另一个有趣的想法是形式化方法辅助字节码分析以实现高性能并行化,我们将在下一篇文章中介绍。其中一个例子是Forerunner,它与rawgeth相比实现了8倍的性能提升,也是基于推测执行的思想,并且与我们在第二篇文章中的方法最相似,因为它们也使用形式方法技术来帮助生成的κ。
并行化算法
在这个阶段,我们应该已经使用我们选择的任何方法获得了必要的共享数据访问信息κ。现在,出于演示目的,我们使用κ的特定示例。假设我们有两个事务txn_i<txn_j?都访问存储位置σ,我们将它们的访问信息记录为元组{(r,w),(r,w。的元组。第一个元组(r,w)表示txn_i的读/写操作,第二个元组表示txn_j的元组。例如,写入{(r),(r,w。表示txn_i?读取但未写入σ,而txn_j既读取又写入σ。
使用这种形式化,我们可以想到四种简单的情况:
{(r),(r。:txn_i和txn_j是可并行的,假设\sigmaσ只是这两个事务的“读取”集中的一个。
{(r),(w。:txn_i和txn_j必须按照tˉ的顺序依次执行。
{(w),(r。:txn_i和txn_j必须按照tˉ的顺序依次执行。
{(w),(w。:如果对s'的写操作是可交换的,那么txn_i和txn_j是可并行的,否则它们必须按照tˉ的顺序执行。
但是,txn_i和txn_j不仅访问σ,还访问更多位置,因此我们扩展了我们的四个简单规则,包括每个事务的读取集和写入集,并且在搜索要执行的可并行事务时,我们循环遍历每个事务的存储访问信息\kappaκ并应用上述规则。
或者,我们可以使用Vitalik在EIP648中描述的简单算法:每个事务都包含它访问的地址的集合β,如果两个事务txn_i和txn_j满足β_i∩β_j=?,则并行执行它们,否则不。
最终,这一切都取决于我们的κ有多精细,以及我们希望并行执行有多精细。例如,它可能不仅仅是二次的,这意味着我们的κ不仅包含存储访问信息,还包含内存/调用数据上的信息,因为我们也在单个事务中进行并行化。
当然,在这四种情况下,有很多复杂性。例如:{(w),(w。。在这种情况下,我们可能让txn_i先读取s'然后更改它,但分配给s'的值始终等于txn_j的分配值,因为智能合约是如何编写的。所以这有效地减少到{(r),(r。的情况。或者这很容易反其道而行之,简化为{(w),(r。,{(w),(w。或{(r),(w。。即便如此,也可能是编写器以某种方式不会更改存储的值,或者读取器不会影响EVM中的状态更改。
这些例子的重点只是说有很多特定类别的情况我们的并行化算法不能以最佳方式工作。所以这意味着根据κ的确切结构,我们有很多长尾优化设计截然不同的并行化算法以获得最佳性能。我们将在下一篇文章中回到精确的优化。
结论
EVM并行化促进了以太坊的吞吐量增加,而不会影响去中心化或需要对协议进行重大更改。并行EVM研究的采用和开放共享还有助于通过允许更多个人使用更好的捆绑合并和生产来最大限度地减少MEV的经济中心化。
在这篇文章中,我们探索了以太坊可扩展性解决方案的前景,并讨论了为什么当前的并行化技巧不能顺利运行。我们还通过将并行化问题分为两部分来展示我们对并行化问题的形式化:生成共享数据访问信息和设计利用该信息的并行化算法。
据IT之家消息,京东App已正式开通数字人民币“硬件钱包”线上消费功能,成为了全国首个支持数字人民币“硬件钱包”的线上消费场景,实现了数字人民币“软硬一体“的应用落地.
1900/1/1 0:00:001月18日,微软宣布以687亿美元“全现金交易”形式收购游戏开发商动视暴雪,此次收购交易完成后,微软将成为全球收入第三大游戏公司,仅次于腾讯和索尼.
1900/1/1 0:00:00据CoinDesk2月21日消息,非洲Web3初创应用Jambo完成750万美元种子轮融资,DelphiVentures、CoinbaseVentures和ThreeArrowsCapital参投.
1900/1/1 0:00:00据CoinDesk消息,2月8日,美国地方法官ZiaFaruqui撰写的一份联邦法院意见书强调了区块链分析在帮助执法人员找到并没收从Bitfinex盗取的约94,000枚比特币中所发挥的作用.
1900/1/1 0:00:00原文作者:TaschaChe,TaschaLabs创始人原文标题:《把NFT做成Twitter头像,体验有多糟糕?》 原文编译:0x137 本文梳理自TaschaLabs创始人TaschaChe在个人社交媒体平台上的观点.
1900/1/1 0:00:00我们也在积极研究以太坊协议内机制并希望相关机制能在几秒钟内为用户提供更有力的交易确认保证并将交易包含在下一个或另一个近期区块中.
1900/1/1 0:00:00