a16z：如何通过零知识证明验证链上机器学习算法？

原文：a16z

在过去的几年里，区块链上的零知识证明主要用于两个关键目的：

(1)通过在链下处理交易并在主网上验证结果来扩展计算受限网络的规模；

(2)通过实现屏蔽交易来保护用户隐私，只有拥有解密密钥的人才能查看。

在区块链背景下，这些特性显然是可取的：去中心化网络不能在不对验证者处理能力、带宽和延迟提出无法承受的要求的情况下提高吞吐量或区块大小，所有交易都对任何人可见。

但零知识证明对于第三类功能也是有用的：高效地验证任何类型的计算已经正确运行。这对区块链之外的领域也有很大影响。

现在，利用零知识证明简洁地验证计算能力的系统的进步使用户能够从每一个数字产品中要求与区块链所保证的相同程度的无信任和可验证性，尤其是从机器学习模型中。区块链计算的高需求激励了零知识证明研究，创造了具有较小内存占用和更快证明和验证时间的现代证明系统——使得现在可以在链上验证某些小型机器学习算法。

到目前为止，我们都可能已经体验到了与一个非常强大的机器学习产品互动的潜力。几天前，我用GPT-4帮助我创建了一个能连续击败我下棋的AI。这感觉像是过去几十年里机器学习取得的所有进步的一个诗意的缩影：IBM的开发人员花了十二年时间制作出DeepBlue，一个运行在32节点IBMRS/6000SP计算机上、能每秒评估近2亿个棋步的模型，该模型在1997年击败了国际象棋冠军加里·卡斯帕罗夫。相比之下，我花了几个小时——在我这边只进行了最少的编码——就创建了一个能战胜我的程序。

诚然，我怀疑我创建的AI是否能在国际象棋上击败加里·卡斯帕罗夫，但这并不是重点。重点是任何玩弄GPT-4的人都可能在获得超能力方面有类似的经历：你只需要付出很小的努力，就可以创造出接近或超越你自己能力的东西。我们都是IBM的研究员；我们都是加里·卡斯帕罗夫。

美国参议院银行主席敦促FDIC调查由A16z支持的金融科技公司Tellus:金色财经报道，美国参议院银行、住房和城市事务委员会主席、美国参议员谢罗德·布朗致信FDIC 主席马丁·格伦伯格，表达了对 Tellus 索赔的担忧。在信中，布朗敦促 FDIC 审查 Tellus 的商业行为，以确保客户免受金融欺诈和滥用。Tellus 是一家由 Andreessen Horowitz 支持的金融科技公司，声称它可以通过使用这笔钱为某些美国单户住宅贷款提供资金来为人们提供更高的储蓄余额收益率。[2023/5/5 14:43:19]

显然，这让人兴奋又有些畏惧。对于任何在加密货币行业工作的人来说，自然的反应是考虑潜在的集中化途径以及如何将这些途径去中心化，形成一个人们可以透明审计和拥有的网络。现在的模型是通过吞噬大量公开可用的文本和数据制作的，但目前只有少数人控制和拥有这些模型。更具体地说，问题不是“人工智能是否具有巨大价值”，而是“我们如何构建这些系统，使得与之互动的任何人都能获得其经济利益，并在他们希望的情况下，确保他们的数据以尊重隐私权的方式使用”。

最近，有人呼吁暂停或减缓类似Chat-GPT这样的重大人工智能项目的发展。阻止进步可能不是解决方案：更好的方法是推动开源模型，并在模型提供商希望保护其权重或数据私密性的情况下，使用保护隐私的零知识证明对它们进行保护，这些证明在链上并且可以完全审计。如今，关于私有模型权重和数据的后一种用例尚无法在链上实现，但零知识证明系统的进步将在未来实现这一目标。

可验证和可拥有的机器学习

我使用Chat-GPT构建的国际象棋AI在目前看来相对无害：输出相对一致的程序，不使用侵犯有价值知识产权或侵犯隐私的数据。但当我们想确保我们被告知的在API后面运行的模型确实是运行过的模型时会怎么样？或者，如果我想将认证过的数据输入到链上的模型中，并确保数据确实来自合法方？如果我想确保提交数据的“人”实际上是人而不是试图对我的网络发起拜占庭攻击的机器人呢？零知识证明及其简洁地表示和验证任意程序的能力是一种解决方法。

去中心化资管平台Syndicate融资600万美元，a16z、OpenSea等参投:5月3日消息，去中心化资产管理平台以及社交网络Syndicate宣布完成600万美元融资，a16z、South Park Commons、Carta Ledger、OpenSea、Circle Ventures、Polygon、United Talent Agency、CoinList、FalconX等超过50名投资方参投。

据悉，Syndicate允许任何人创建一个用于链上和链下投资的“Web3投资俱乐部”，包括为他们的俱乐部建立法律实体。

Syndicate联合创始人Ian Lee表示：“有了这笔资金，我们计划深化在重要领域的能力和合作关系，并且将在未来几个月推出新的投资DAO基础设施和工具，用于新的市场、用户和用例。”该团队目前有30多人，并计划在未来几个月增加到40人。

这一轮融资使该公司自2021年1月成立以来的总融资额达到2800万美元。去年8月，Syndicate完成2000万美元A轮融资，a16z领投，法国巴黎银行集团支持的Atelier Ventures、Coinbase Ventures、Snoop Dogg Ventures等超150名投资者参投。（The Block）[2022/5/3 2:47:55]

需要注意的是，目前在链上机器学习背景下，零知识证明的主要用途是验证正确的计算。换句话说，在机器学习背景下，零知识证明和更具体的SNARK最有用的地方在于它们的简洁性特性。这是因为零知识证明保护了证明者免受窥视者的侵犯。完全同态加密、功能加密或可信执行环境等增强隐私的技术更适用于让不受信任的证明者在私有输入数据上运行计算。

Yuga Labs以40亿美元估值完成4.5亿美元融资，a16z领投:金色财经报道，Yuga Labs（Bored Ape Yacht Club ）今日宣布以40亿美元估值完成新一轮4.5亿美元融资，本轮融资由a16z领投，Adidas Ventures, Animoca Brands，Samsung, Google Ventures, Tiger Global，FTX Ventures,Coinbase及MoonPay等参投。同时，a16z的合伙人 Chris Lyons将加入Yuga Labs的董事会。

Yuga Labs表示，本轮融资将用于开启游戏及并推出自己的元宇宙项目：Otherside。BAYC联创Wylie Aronow 表示Otherside希望构建一个“游戏化”和“完全去中心化”的“可互操作世界”，同时吸引更多的NFT项目进入自己的生态中。（TechCrunch）[2022/3/23 14:12:29]

让我们退后一步，从高层次了解可以用零知识表示的机器学习应用类型。零知识证明通常将程序表示为算术电路：使用这些电路，证明者从公共和私有输入生成证明，验证者通过数学计算来确保此语句的输出是正确的——而不获取关于私有输入的任何信息。

我们仍处于使用链上零知识证明验证计算的非常早期阶段，但算法的改进正在扩大可行的范围。以下是五种在机器学习中应用零知识证明的方法。

1.模型真实性：您希望确保某个实体声称已经运行的机器学习模型确实是运行过的模型。例如，在某个模型位于API后面的情况下，提供特定模型的实体可能有多个版本，例如一个较便宜、准确度较低的版本，以及一个较贵、性能更高的版本。没有证明，您无法知道当您实际支付了更昂贵的版本时，提供商是否为您提供了更便宜的模型。

创业者会员社区Launch House完成1200万美元A轮融资，a16z领投:金色财经报道，创业者会员社区 Launch House 宣布完成1200 万美元 A 轮融资，a16z领投，本轮融资的其他投资者包括 Creative Arts Agency 联合创始人 Michael Ovitz、6th Man Ventures 投资者兼 The Block 创始人 Mike Dudas、加密播客 Bankless 联合主持人 Ryan Sean Adams 等。

Launch House是硅谷创业者社区 hacker house的改进版，有抱负的企业家申请为期一个月的“驻留计划”之一，主题包括“Web 3”、“元宇宙”或“女性创始人”，申请通过后，创业者会被邀请住在纽约市或洛杉矶的时髦住宅中，Launch House 还支持通过虚拟空间Gather的虚拟群组进行互动。a16z 普通合伙人 Andrew Chen 将远程工作、Z 世代的崛起、初创公司筹款新趋势列为推动 Launch House 进入“新分布式硅谷的第三空间”的因素。（coindesk）[2022/2/2 9:26:48]

为此，您需要为每个模型实例提供单独的证明。一个实际的方法是通过DanBoneh、WilsonNguyen和AlexOzdemir的功能承诺框架，这是一个基于SNARK的零知识承诺方案，允许模型所有者承诺一个模型，用户可以将他们的数据输入到该模型中，并接收到已经运行的承诺模型的验证。一些基于RiscZero的应用程序也实现了这一点。DanielKang、TatsunoriHashimoto、IonStoica和YiSun进行的其他研究表明，可以在ImageNet数据集上验证有效的推断，准确率为92%。

a16z合伙人：使网络参与者团结起来朝着共同的目标共同努力:10月8日消息，a16z合伙人Chris Dixon发表最新的观点，为什么Web3很重要？Chris Dixon介绍说，现在正处于web3时代的开端，它将web1的去中心化、社区治理的精神与web2的先进、现代功能相结合。Web3是由构建者和用户拥有的互联网，由通证精心策划。 Chris Dixon解释表示，中心化平台遵循可预测的生命周期。当他们到达S曲线的顶部时，他们与网络参与者的关系从正和变为零和。在web3中，所有权和控制权是去中心化的。用户和建设者可以通过拥有NFT和FT来拥有互联网服务。通证币赋予用户产权：拥有互联网的一部分的能力。区块链是任何人都可以访问但无人拥有的特殊计算机。通证使网络参与者团结起来朝着共同的目标共同努力，网络的发展和通证的升值。[2021/10/8 20:12:23]

但仅仅接收到已提交模型已运行的证明并不一定足够。一个模型可能无法准确地表示给定的程序，因此您会希望第三方审核已提交的模型。功能承诺允许证明者证明其使用了已承诺的模型，但不能保证已承诺模型的任何信息。如果我们能让零知识证明在证明训练方面表现得足够好，我们将来也可能开始获得这些保证。

2.模型完整性：您希望确保相同的机器学习算法以相同的方式在不同用户的数据上运行。这在您不希望应用任意偏见的领域非常有用，如信用评分决策和贷款申请。您也可以使用功能承诺来实现这一点。为此，您需要承诺一个模型及其参数，并允许人们提交数据。输出将验证该模型是否针对每个用户的数据运行已承诺的参数。或者，可以公开模型及其参数，并让用户自己证明他们将适当的模型和参数应用于自己的数据。这在医疗领域可能尤其有用，因为法律要求某些关于患者的信息必须保密。将来，这可以实现一个医学诊断系统，它能够从完全私密的实时用户数据中学习和改进。

3.认证：您希望将来自外部经过验证的方的认证整合到链上运行的模型或任何其他类型的智能合约中。要做到这一点，您将使用零知识证明验证签名，并将证明作为程序的输入。AnnaRose和TarunChitra最近主持了一期零知识播客节目，嘉宾是DanielKang和YiSun，他们探讨了这一领域的最新进展。

具体来说，Daniel和Yi最近发布了一项研究，探讨了如何验证由具有经过认证的传感器的摄像机拍摄的图像是否经过了如裁剪、缩放或有限遮盖等变换，这在您希望证明图像没有经过深度伪造但确实经过了某种合法编辑的情况下很有用。DanBoneh和TrishaDatta也做过类似的研究，使用零知识证明验证图像的出处。

但更广泛地说，任何经过数字认证的信息都是这种验证形式的候选对象：JasonMorton正在开发EZKL库，他称这种方法为“赋予区块链视力”。任何已签名的端点都会产生可以验证的数字签名，这可能对于证明来自可信任方的出处和真实性非常有用。

4.分布式推理或训练：您希望以分布式的方式执行机器学习推理或训练，并允许人们向公共模型提交数据。为此，您可以将已有的模型部署到链上，或者设计一个全新的网络，并使用零知识证明来压缩模型。JasonMorton的EZKL库正在创建一种用于摄取ONXX和JSON文件并将它们转换为ZK-SNARK电路的方法。最近在ETHDenver的一个演示表明，这种技术可用于创建基于图像识别的链上寻宝游戏，游戏创作者可以上传照片，生成图像的证明，玩家可以上传图像；验证器检查用户上传的图像是否与创作者生成的证明足够匹配。EZKL现在可以验证多达1亿个参数的模型，这意味着它可以用于在链上验证ImageNet大小的模型。

其他团队，如ModulusLabs，正在为链上推理对不同证明系统进行基准测试。Modulus的基准测试涵盖了多达1800万个参数。在训练方面，Gensyn正在构建一个分布式计算系统，用户可以输入公共数据，并通过分布式节点网络进行模型训练，同时验证训练的正确性。

5.人证明：您希望验证某人是一个独特的个体，而不损害其隐私。为此，您将创建一种验证方法，例如生物识别扫描或以加密方式提交政府ID的方法。然后，您将使用零知识证明来检查某人是否已经过验证，而不会泄露关于该人身份的任何信息，无论该身份是完全可识别的，还是像公钥那样的伪名。

Worldcoin通过他们的人证明协议来实现这一点，该协议通过为用户生成独特的虹膜代码来确保抗攻击性。关键的是，为WorldID创建的私钥与项目的眼球扫描器本地生成的虹膜代码完全分离。这种分离完全将生物识别标识符与可能归因于某人的任何形式的用户密钥分离。Worldcoin还允许应用程序嵌入一个SDK，使用户可以使用WorldID登录，并通过允许应用程序检查人是否拥有WorldID来利用零知识证明来保护隐私，但不允许跟踪个别用户。

这个例子是用零知识证明的隐私保护特性来对抗较弱且恶意的人工智能的形式，因此它与上述其他示例有很大不同。

模型架构和挑战

在实现SNARKs的证明系统方面的突破已经成为将许多机器学习模型上链的关键驱动力。一些团队正在现有的架构中制作定制电路。在定制电路方面，Halo2已成为DanielKang等人的工作和JasonMorton的EZKL项目中广泛使用的后端。Halo2的证明者时间近似线性，证明大小通常只有几千字节，验证者时间恒定。或许更重要的是，Halo2拥有强大的开发者工具，使其成为开发者喜欢使用的SNARK后端。其他团队，如RiscZero，正在寻求通用VM策略。还有些团队正使用基于求和检查协议的JustinThaler的超高效证明系统创建定制框架。

证明生成和验证器时间绝对取决于生成和检查证明的硬件以及生成证明的电路大小。但这里需要注意的关键点是，无论代表的程序是什么，证明的大小总是相对较小，因此验证证明的验证者的负担是受限的。然而，在这里有一些细微之处：对于像Plonky2这样使用基于FRI的承诺方案的证明系统，证明大小可能会增加。

对于机器学习模型的启示是，一旦设计了一个准确表示模型的证明系统，实际验证输出的成本将非常便宜。开发者需要考虑的最重要的是证明者时间和内存：以一种可以相对快速证明的方式表示模型，并且证明大小理想地在几千字节左右。要证明机器学习模型在零知识情况下的正确执行，你需要将模型架构、参数、约束和矩阵乘法运算编码并表示为电路。这涉及将这些属性分解为可以在有限域上执行的算术运算。

这个领域还处于起步阶段。在将模型转换为电路的过程中，准确性和保真度可能会受到影响。当模型表示为算术电路时，前面提到的模型参数、约束和矩阵乘法运算可能需要近似和简化。当将算术运算编码为证明的有限域中的元素时，可能会丢失一些精度。此外，机器学习模型的参数和激活通常以32位进行编码以提高精度，但是今天的零知识证明无法在必要的算术电路格式中表示32位浮点运算，而不产生巨大的开销。因此，开发者可能会选择使用量化的机器学习模型，其中32位整数已经转换为8位精度。这些类型的模型有利于表示为零知识证明，但是被验证的模型可能是较高质量初始模型的粗略近似。

在这个阶段，这确实是一场迎头赶上的游戏。随着零知识证明变得更加优化，机器学习模型变得越来越复杂。已经有一些优化的有前景的领域：证明递归可以通过允许证明用作下一个证明的输入来减小整体证明大小，从而实现证明压缩。还有一些新兴的框架，比如LinearA的ApacheTensor虚拟机分支，该框架推出了一种转换器，可以将浮点数转换为零知识友好的整数表示。最后，我们在a16zcrypto对未来的工作感到乐观，它将使在SNARKs中表示32位整数变得更加合理。

“规模”的两种定义零知识证明通过压缩实现规模化：SNARKs允许你将一个极其复杂的系统数学表示，使得验证它的成本低于运行它的成本。另一方面，机器学习是通过扩展实现规模化的：如今的模型随着更多数据、参数以及参与训练和推理过程的GPU/TPU而变得更好。中心化公司可以以几乎无限制的规模运行服务器：收取API调用的月费，并支付运营成本。

区块链网络的经济现实几乎正好相反：开发者被鼓励优化他们的代码，使其在链上运行既可行又便宜。这种不对称具有巨大的优势：它创造了一个需要提高证明系统效率的环境。我们应该寻求在机器学习中要求与区块链提供的相同好处，即可验证的所有权和共享的真实观念。

尽管区块链激励了优化zk-SNARKs，但计算相关的每个领域都将受益。

致谢：JustinThaler,DanBoneh,GuyWuollet,SamRagsdale,AliYahya,ChrisDixon,EddyLazzarin,TimRoughgarden,RobertHackett,TimSullivan,JasonMorton,PeiyuanLiao,TarunChitra,BrianRetford,DanielKang,YiSun,AnnaRose,ModulusLabs,DCBuilder。

标签：区块链NARENTARK区块链dapp开发费多少钱Genaro NetworkCENTRO价格Benchmark Protocol

以太坊交易所热门资讯