宇宙链 宇宙链
Ctrl+D收藏宇宙链

一文读懂为大负荷设计的Filecoin索引器可扩展方案

作者:

时间:1900/1/1 0:00:00

这篇文章描述了一个简单的策略,可将大量涌入的索引负荷分散到由索引器节点组成的索引池中。同时,它让这个索引池具备可扩展性。索引器扩容的最终目标是10^{15}个索引。这并非存储数据的字节大小,而是存储索引的数量。一个索引实际上就是一张描述了CID标识与内容提供者数据之间关系的映射图。实际的数据规模将会远大于此。目前,我们可处理约10^{12}个索引,随着时间的推移,我们会通过一列步骤向最终的扩容目标前进。目前,大部分的索引负荷是由涌入的索引数据构成的。新增的数据可能超过单一的索引器能够承受的范围,它还在极速增加。因此,目前扩容路上最迫切的目标,就是处理增加中的涌入负荷。方案:处理索引涌入的简单策略

美国法院拒绝SEC主要证人作证,Ripple根据最新法院裁决提交“合理通知”辩护:3月7日消息,美国证券交易委员会(SEC)和Ripple Labs之间正在进行的法律斗争随着一项新的法院裁决继续进行。法院现在已经对双方的动议做出了裁决,即决判决和审判中不考虑专家证词。在判决中,法官Analisa Torres批准了部分动议,驳回了其他动议,原告和被告都没有占上风。然而,该裁决的一个关键结果是排除了1号专家Patrick Doody就合理的瑞波币购买者的看法作证。值得注意的是,SEC此前曾聘请Doody来分析代币购买者的期望,但法官现在批准了Ripple的动议,排除他的证词。没有Doody的证词,目前尚不清楚SEC将如何证明投资者对XRP有“合理的”利润预期。

此外,Ripple最近提交的文件指向了最高法院最近就Bittner案的一项裁决,该裁决涉及Ripple律师采用的所谓“合理通知”辩护。美国宪法的正当程序条款要求个人被公平告知哪些行为是法律禁止的。对于Ripple来说,公平通知的辩护为:它不可能知道要在证券监管机构注册XRP,因为该机构从未就加密环境下的证券构成提供足够明确的说明。Ripple Labs的律师认为Bittner和Ripple高管之间存在相似之处,并表示Bittner最近的裁决类似于它与SEC的斗争,应该予以考虑。Ripple Labs依赖于SEC之前的声明和行动,这些声明和行动使他们明白XRP不是证券,或者说它的辩护是这样的。因此,该公司没有理由相信他们违反了证券法。

据悉,Ripple Labs与美国证券交易委员会(SEC)的漫长斗争即将结束。双方一直在等待法官Analisa Torres对Ripple多年来出售XRP是否构成未注册证券发行做出裁决。结论可能需要几个月的时间,但SEC和Ripple仍可以向法院提交申请,以考虑新的信息。(Blockworks)[2023/3/7 12:46:45]

数据涌入

CFTC专员Kristin Johnson敦促国会修改拟议的数字资产立法:金色财经报道,商品期货交易委员会委员 (CFTC) Kristin Johnson周三在杜克大学的一次演讲中,正式呼吁国会修改几项拟议的数字资产立法,以扩大该机构对寻求任何外国或国内公司进行尽职调查的权力。购买 CFTC 注册市场参与者至少 10% 的股权。Johnson表示,特别是从 LedgerX 的例子中,我提倡监管将分离客户财产的义务正式化,确保财务资源需求,并引入有效的治理和风险管理控制。Johnson的言论呼应了 CFTC 官员近几个月来对该机构的限制和要求更多权力的呼声。

去年12月,CFTC主席Rostin Behnam告诉立法者,他的机构没有足够的权力来适当监督总部位于巴哈马的FTX。[2023/1/27 11:31:37]

一个索引器接收到某个发布者传来的“announce”消息,宣布已经有新的索引数据广告时,就会发生数据涌入。作为回应,该索引器会从发布者那里检索所有尚未检索过的索引数据。随着发布者数量增加,在某个时候,单一的索引器节点将无法跟上新增索引数据发布的速率,也可能没有足够的存储空间来全部存储这些数据。分散涌入负荷

韩国法院驳回对Terra总务负责人Yoo的逮捕令:10月7日消息,韩国一家法院驳回了对Terra总务负责人Yoo的逮捕令,质疑拘留是否必要,还提出了潜在的疑问,即LUNA是否最终属于韩国法律定义下的证券。

此前消息,韩国首尔南区检察官办公室对Terra总务负责人Yoo发出法庭逮捕令,罪名包括违反资本市场法、欺诈和失职等。(韩联社)[2022/10/7 18:41:49]

索引器扩容处理拥堵负载,是基于一个简单策略——将涌入的索引负荷分散到由索引器节点组成的索引池中,这样就能根据容量需求来增加节点,而不需要将数据到处移动来重新达到均衡。它先是分配不同的内容_发布者_给不同的索引节点,这样每个节点可以处理涌入负荷的一部分。这是通过使用单独的轻量服务AssignerService来实现的,后者不属于关键的索引涌入路径的一部分。当一个索引器达到了配置的存储限制后,它就会停止吸纳新增的索引数据,而索引池里的其他索引器会从分配给完整索引器的发布者那里恢复吸纳数据。如果存储容量和涌入负荷分配需求增加,池子里就会增加更多的索引器节点。这个扩容策略的三个主要组件是:分配服务:它将发布者分配给索引器。索引器冻结模式:这种索引器运作模式里,新内容不会被索引。移交发布者任务:将冻结中的索引器的发布者任务重新分配给活跃的索引器,以在冻结索引器停止运行后恢复索引。这篇文章会概括描述这些组件。可以在设计文档和设计展示中获取更多信息。扩容策略的优缺点

以太坊Goerli测试网已完成合并:8月11日消息,以太坊Goerli测试网已完成合并,Goerli是三个公共测试网中最后一个以太坊测试网,在此之后,主网合并预计将在9月底的某个时间发生。(CoinDesk)[2022/8/11 12:17:23]

优点:更少的同步工作:不需要让每一个索引者与每一个发布者同步。元数据不会重复发送给多个索引器:元数据只会在处理提供者的索引器上存在。索引器之间不会分享数据。它们各自管理自己的发布者链。不需要只为了检查提供者而去阅读广告,这与提供者分片一样。索引器可有不同的存储容量。不需要共识机制。涌入负荷可重新分配,而无需在索引器之间移动数据。缺点:不平均的分配:一些发布者可能会比其他发布者索引更多的数据。查询请求需要分散和合并:查询请求会重复发送给所有索引器,而响应会合并成一个发送给客户。提供者更改发布者可导致重复索引。增加索引者不会马上起效,除非一个现有的索引器达到了存储容量限制。这方案的整体好处是它的实施方案相对简单,也能去除拥堵扩容的限制。分配服务

Moonbeam:未发现安全问题,已结束网络维护并恢复全部功能:8月2日消息,波卡生态智能合约平台Moonbeam Network发推表示,调查发现没有证据表明最近的安全事件与Moonbeam代码库有关,所以网络维护模式已结束,并已恢复全部功能,现在网络照常运行。

此前消息,Nomad遭遇黑客攻击,其代币桥内的1.9亿美元资金几乎全部耗尽。Moonbeam随后发推表示网络进入维护模式,以调查所部署的智能合约的安全事件。[2022/8/2 2:53:00]

分配服务负责将发布者分配给在其配置索引器池中的索引者。对一个索引器池来说,它作为单一实例运行在其管理的索引器所在的同一网络上。一个索引器只能作为一个分配服务的索引器池里的成员。除了将新的发布者分配给索引器外,分配服务还检测检索器节点是否进入了冻结模式,并负责将发布者从冻结索引器重新分配给非冻结的索引器。索引服务还通过gossippubsub渠道重新发布直接的HTTP公告,这样池中的所有索引器都能接收到这些信息。基于几个假设,分配服务是用于单个私有部署中使用:任务可以发给任何索引器,所有索引器的管理API是在私有网络上运行,而且也没有建立任何方式或协议让不同的参与方管理池子中要添加或移除的节点。

将一个发布者分配给一个索引器

一个索引器接收到某个发布者传来的“announce”消息,宣布已经有新的索引数据广告时分配服务会监听gossip-sub和直接的HTTP消息——这些消息主要是宣布新广告可被获取了。它从每一条消息中读取发布者信息,并判断发布者是否已经分配给需要的索引器。如果答案是否定的,该分配服务就会选择任务量最少的索引器,并将该发布者分配给这个索引器。在分配任务后,索引器会收到来自发布者的公告,并自行处理涌入数据。索引服务会处理离线的索引器,它所用的方式能避免在索引器池里过度分配任务。索引服务还支持将特定发布者分配给特定索引器的配置选项。进一步阅读材料:非持久化任务状态意味着索引器能在任何时候停止或重启。索引器池在某个单一部署中的索引器节点的集合。任务复制将发布者分配给多个索引器。索引器冻结模式

索引器存储使用触及到配置`FreezeAtPercent(<``https://pkg.go.dev/github.com/ipni/storetheindex/config#Indexer`(https://pkg.go.dev/github.com/ipni/storetheindex/config#Indexer"https://pkg.go.dev/github.com/ipni/storetheindex/config#Indexer")`>)`的限制后,索引器自动进入“冻结”模式。这个运作模式里,索引器不再存储新增的索引数据,但还是会处理索引数据的更新或删除。一个冻结的索引器不会接受新的发布者任务。在其内部,该索引器追踪它已读的每一个广告链,目的是纳入广告。索引器会持续响应对索引数据的查询。索引器也可以通过其管理(admin)API来手动进行冻结。这可以是为了暂时冻结纳入数据,直到索引器的存储容量提升为止。这样,持续的索引工作可以被其他索引器节点代替。进一步阅读材料:磁盘使用监控由每一个索引器负责。冻结的能力不依赖于分配服务。解除冻结的能力可让索引器恢复索引工作。发布者移交

分配服务定期统计索引器,要是它发现某个索引器被冻结,它就会将该被冻结的索引器分配的发布者重新移交给其他索引器——活跃的索引器会继续之前冻结索引器上所做的工作。在移交过程中,活跃的索引器也会从冻结的索引器那取得提供者及其相关的进一步信息。分配服务决定哪一个索引器将接收发布者的移交工作——这与分配新发布者的逻辑一样。每一个发布者的移交过程都会单独进行这一步骤,这样冻结索引器的任务就会分配给池子里的可用索引器。进一步阅读材料:分配服务可以恢复不完整的移交任务发布者数据在冻结和活跃索引器之间分发设立带有分配服务的索引器池

这里描述了设立带有分配服务的索引器池的过程。可概括为以下步骤:部署索引器部署分配服务按需部署额外的索引器这里还提供了分配服务配置模板文件。

标签:PLEPPLrippleSECAPPLE币appleb币团队ripple币最新消息CheesecakeSwap Token

中币交易所热门资讯
盘点即将首发上线的8个热门项目(4月第一弹)

近日,部分山寨币兑比特币汇率触底反弹,似乎暗示着新一轮山寨季即将来临,市场对于新项目的关注度随之上升。4月,Odaily星球日报甄选了近期即将在多个平台首发的项目名单,并分别做简要介绍.

1900/1/1 0:00:00
CZ回应CFTC指控全文

Odaily星球日报译者|Moni 3月27日晚间,彭博社披露美国商品期货交易委员会在芝加哥联邦法院对加密货币交易平台币安及其首席执行官CZ、第一任首席运营官SamuelLim提起诉讼.

1900/1/1 0:00:00
这15个免费工具,助你快速找到Alpha机会

想找到自己的Alpha机会?使用以下15种免费工具是发现潜在机会的途径之一。1.Arkham作为Nansen的免费替代品,Arkham是一个令人印象深刻的数据平台,它允许你创建自己的仪表板、发现钱包之间的联系,你可以监控任何钱包的代币.

1900/1/1 0:00:00
Polygon zkEVM主网测试版上线,将如何影响Polygon生态?

3月27日,PolygonzkEVM主网测试版本正式上线发布,以太坊创始人VitalikButerin已在PolygonzkEVM主网上完成了其首笔交易.

1900/1/1 0:00:00
一文梳理近期值得关注的19个新项目

市场再次被比特币大阳线拉起了情绪,加密研究员FungiAlpha撰写了关于近期值得关注新项目的文章,BlockBeats整理编译如下:TurboSwapTurboSwap是一个去中心化交易平台.

1900/1/1 0:00:00
Bankless:终点100万美元?比特币的贝塔纳指和数字黄金之争

即使宏观环境变得更加令人担忧,比特币仍在攀升。最新的崩溃始于硅谷银行的倒闭,此后已蔓延至全球其他机构。为了应对本次的银行危机,中央银行和政府做了他们一直在做的事情:印钞以维持系统运转.

1900/1/1 0:00:00