分片技术——提升区块链TPS的利刃-ODAILY

编者按：本文来自哈希未来，作者：陈致佳蒙绎泽江泽武，星球日报经授权转发。

报告摘要：

分片是源自数据库的扩容技术，可用于提高区块链系统的可扩展性，基本思想是将网络中的节点分成不同的碎片，各分片可以并行处理不同交易，这样可以并行处理相互之间未建立连接的交易，以提高网络并发量。它的特点是随着节点数目的增加，网络吞吐量也随之增加。核心难点在于数据分片的关键特征值确定，以及元数据在片区之间通信的延迟造成的不一致性问题，频繁的跨碎片之间的通信会使得区块链网络性能大大降低。由于每个片区里的数据是分开更新的，在设计应用逻辑时必须确保信息的成功更新，同时也需要预留出一定的鲁棒性来应对一个达成最终一致性过程中可能出现的不一致性。

在区块链中的分片根据对象分为交易分片、网络分片和状态分片，其中值得注意的是，在区块链中采用网络分片技术，也就是将矿工分成几个子网络分别负责验证该碎片上的交易，需要保证恶意节点的数目足够小，也因此在分配矿工的规则上需要注意保证随机性。在区块链中应用分片技术，还需要考虑的问题是对各种攻击如女巫攻击，DDOS攻击、双花攻击的防御，需要在权衡效率的同时，保证每个分片内的总节点数目足够多，并且诚实的节点占大多数，分片技术对安全性要求极高，同时，区块链系统中的节点数目比传统数据库中的可能要多，并且面临带宽的限制，需要充分考虑到延迟带来的不一致性导致的性能和安全性问题，因此鲜少有落地的相关项目。需要在大规模的网络中进行长时间的测试验证，并结合严谨的理论方案证明，才能令人信服。

Alex Chien：在解决网络可扩展性方面，波卡平行链很像以太坊2.0的分片技术:金色财经报道，在8月28日举办的《金色百家谈 | Polkadot如何构建资产互联网？》的直播节目中，达尔文网络（Darwinia Network）联合创始人Alex Chien表示，波卡平行链是特定于应用程序的数据结构，它在上下上是一致的，并且可以由 Polkadot 中继链的验证人进行验证。通常平行链会是一条区块链, 但并没有特别要求它们必须是一条链，之所以叫他们平行链是因为它们于中继链并行运行。由于它们的并行性质，它们能够并行地处理交易并实现 Polkadot 系统的可伸缩性。它们与 Polkadot 网络共享安全，并且可以通过 XCMP 与其它平行链进行通信。

在解决网络可扩展性的方面，平行链确实很像以太坊2.0将要实现的分片技术，例如共识算法和Staking相关的设计。

每个平行链有自己的业务规则和治理主权，波卡使用共享安全和共享运行时(Shared Protected Runtime Execution Enclaves)，链上治理的方式来组织和保护这些分片，各个平行链还可以自主的选择申请加入和退出波卡网络，从这一点上看有点像欧盟。

而以太坊2.0的每个分片都更加一致和统一，并且使用同一种业务规则和语言，整个系统统一治理，相较于波卡的欧盟模式，则更像美国。[2020/8/28]

传统概念里的分片技术，是将数据库分割成多个碎片并放置在不同的服务器上。在现代的云服务中，数据常常被托管在不同站点并进行分区。这一做法的原因包括使多台计算机之间的负载平衡，进而提高可扩展性；通过多站点存储数据，来提高可用性等。而区块链分片技术则是基于数据库分片概念的一种扩容技术。

掌柜调查署 | Buster：分片技术的发展让Web3.0的基础设施更加扎实:在今日举行的《掌柜调查署 | Near分片技术如何引领web3.0时代》直播中，Buildlinks合伙人、Near中国首个大使Buster表示，分片是数据库领域中存在了很久的一个概念，可以帮助信息系统水平扩展性能。区块链使用分片的理念进行扩展是情理之中的。NEAR的创始人之一Alex之前就开发过可商用的分片数据库系统，在这方面有可沿用的经验，这使得NEAR的分片设计与工程实现相比其他项目有一定的优势。分片技术之所以是大方向，是因为区块链要有更大规模的使用，性能的提升是绕不开的。提升单条链的性能是有极限，而且通常是不经济的。因此要扩容区块链也是通过分片和优化分片性能的方式为最好。分片技术的发展让Web3.0的基础设施更加扎实，这从长远来看是非常重要的。

性能就是未来开放网络的马力，而NEAR就是发动机，有了好的发动机，别的零部件改改都不是大事。[2020/8/14]

无论在区块链领域或数据库领域，分片时要进行的第一步工作都是提取数据的关键特征值，并将关键特征值按照一定的规则来划分给不同的碎片来处理。关键特征值的选择非常重要，它关系着数据的表示唯一性保障以及分片的效果。关于特征值的选取方法，一个言简意赅的标准：basedonwhatyouthinktheprimaryaccesspatternwillbe。因此我们在区块链项目中经常可以看到分片的依据是用户的私钥/账户地址等等，因为这些值是唯一性且不随时间改变的，分片时逻辑比较清晰。

Hubble Chain技术团队开始搭建Sharding分片技术运行环境:据官方消息，来自美国硅谷的Hubble Chain（哈勃公链）技术团队，已经开始进行Sharding分片技术运行环境的搭建工作。据了解，基于Hubble Chain主网架构的Sharding分片技术，能够有效提高哈勃链上网络的数据吞吐量，确保链上数据快速、安全、稳定地流转交互。[2020/6/12]

在传统的数据库技术中，数据的分片主要有三种方式：

1.哈希方式，直接取模：例如有3个碎片，就将数据经过哈希运算后用3求模，根据结果分配至特定的碎片，此种策略的目的是减少碎片负载不均衡的发生，因为哈希函数计算出来的结果毫无规律，也就打破了因为一些关键特征值和负载的量相关的情况，因此数据更有可能均匀分散于各个碎片之间。一个反例则是，如果数据的关键特征值是注册时间顺序的话，刚注册的数据更为活跃，则有可能会把它们都分到某一个碎片里。但是这一方法的缺点在于如果有新的碎片加入，重新平衡分片比较困难；其优点则在于不需要额外维护状态信息。

2.一致性哈希：无虚拟节点的一致性哈希方式是指数据按照特征值映射到首尾相连的哈希环上，同时也将节点按照一定规则映射上去，数据顺时针找到的第一个节点为其所存储的节点。有虚拟节点的一致性哈希和此类似，不过是将虚拟节点映射到哈希环上，也因此一个实际的物理节点可以占据哈希环上的多个范围。此种方法需要维护状态信息，也就是数据具体被分到哪个节点了，但是优点在于如果碎片的数目需要增加，则重新平衡分片更为容易。但是分片状态信息的维护需要考虑一致性问题，较为复杂。

动态 | Ripple引入历史分片技术:据blokt报道，10月31日，Ripple 在ripple 0.90.0上引入了历史分片（History Sharding）技术。该功能允许单个Ripple服务器存储历史数据，而无需存储整个历史记录。[2018/11/2]

3.Rangebased：按照关键特征值划分成不同区间，每个节点对应一个或多个区间，类似一致性哈希的方式，也需要维护状态信息。

在区块链系统中，需要有机制来知道哪个节点实现了哪个分片，在传统数据库系统中分片信息一般需要专门的服务器存储，有时为了减轻元数据服务器的压力，分布式系统中，会在其他节点缓存元数据。在区块链中的思路也大体一致，需要保证在节点之间缓存的元数据的一致性，或者引入一个类似的主服务器来保证性能，但都带来了一致性的挑战。

多个副本的一致性、可用性是CAP理论讨论的范畴，主要有两种可用的方案。

第一种是主从同步，首先选出主服务器，只有主服务器提供对外服务，主服务器将元数据的更新信息以日志的方式存至某个共享的存储空间，然后从服务器从共享存储空间读取日志并应用，达到与主服务器一致的状态，如果主服务器被检测到故障，那么会重新选出新的主服务器。在网络分割的情况下，有可能出现大家认为原来的主服务器已经宕机了，就选举出新的主服务器，但是实时上原来的主服务器还在继续提供服务，这就导致出现了“双主”现象，为了解决这种问题，需要想办法把旧的主服务器隔离，使其不能正常对外提供服务。为了保证元数据的强一致性，在进行准备切换的时候，新的主服务器必须要在确认元数据完全同步之后才能继续对外提供服务。为了达到这个目的，一种方式是当元数据变化时立即通知所有的缓存服务器，并锁定数据，例如如果系统要完成的任务需要多个碎片里同时对状态进行更新，那么在更新完成之前，访问将被拒绝。另一种在高度可扩展的NoSQL数据库中经常实现的复制数据之间保持高度一致性的方法是使用读写仲裁和版本控制。这种方法避免了锁定数据，代价是读取和写入数据的过程中会带来额外的复杂度。

Penta发布全新PSG分片技术:Penta（梵塔网络/PNT）发布了全新的PSG（Penta Sharding Graph）分片技术，它可以通过对不同地址或DAPP的交易采用动态分组的方式实现区块链的并行处理，并自动协调交易的并行和串行处理，同时采用自动压力平衡技术，有效提升交易的并行处理能力。另外，PSG分片采用的DSC共识算法机制，确保了包括智能合约等交易的一致性，以及共识生成区块时与主链一致的公平性。在整体系统的安全性、跨分片交易事务的一致性方面也有显著提高。分片技术被认为是可扩展性问题最可能的解决方案，近日Vitalik Buterin多次谈到以太坊分片技术，包括QuarkChain等项目也都有用到该技术，PSG分片技术的出世或许将对交易环节的可扩展性带来重要意义。[2018/5/16]

第二种方式，通过分布式一致性协议来达到多个副本件的一致，比如Paxos和Raft协议，协议可以实现所有备份均可以提供对外服务，并且保证强一致性。

区块链的状态分片是指每个节点只存储了一部分的区块链状态信息，亦需要类似的机制来维护状态信息，以知道哪个片存储了需要的状态。需要解决的一致性问题和以上所述类似，而交易分片的实现更为简单。在基于账户的区块链系统中，每一笔交易将会有一个发送者的地址，然后系统可以根据发送者的地址分配一个碎片。这确保了两笔双花交易将在相同的碎片中得到验证，因此系统可以很容易地检测到双花交易，而不需要进行任何跨碎片的通信。如果节点是确定的，那么几乎不存在上述讨论的元数据的更新带来的问题。但是如果交易验证时涉及到跨碎片之间的通信，通常开销成本很高，将影响网络的吞吐量和经济效益。

区块链的网络分片指将矿工划分成几个组，同时验证交易，提高系统并行处理交易的能力，进而可提高TPS。通常可以通过定期以随机数生成来决定选取达成共识的节点，只要将其映射到已经编好号的碎片中问题也就变的好处理多了。但是如果有节点宕机，重新分配节点时，就需要在碎片之间形成一致性共识。值得注意的是，在区块链中采用网络分片技术，也就是将矿工分成几个子网络分别负责验证该碎片上的交易，需要保证恶意节点的数目足够小，也因此在分配矿工的规则上需要注意保证随机性。

分片技术的关键在于由于每个片区里的数据是分开更新的，在设计应用逻辑时必须确保在平衡效率的前提下，对信息进行成功更新，同时也需要预留出一定的鲁棒性来应对一个达成最终一致性过程中可能出现的不一致性。在区块链中应用分片技术，还需要考虑的问题是对各种攻击如女巫攻击，DDOS攻击、双花攻击的防御，需要在权衡效率的同时，保证每个分片内的总节点数目足够多，并且诚实的节点占大多数，分片技术对安全性要求极高，同时，区块链系统中的节点数目比传统数据库中的可能要多，并且面临带宽的限制，需要充分考虑到延迟带来的不一致性导致的性能和安全性问题，因此鲜少有落地的相关项目。需要在大规模的网络中进行长时间的测试验证，并结合严谨的理论方案证明，才能令人信服。

参考文献：

1.《带着问题学习分布式系统之数据分片》，https://www.cnblogs.com/xybaby/p/7076731.html

2.《分片技术——区块链扩容问题的良方》，http://www.8btc.com/sharding-blockchain-scalability

3.《sharding》，https://docs.mongodb.com/manual/sharding/

4.《Shardingpattern》，https://docs.microsoft.com/en-us/azure/architecture/patterns/sharding

5.《DatabaseshardingexplainedinplainEnglish》，https://www.citusdata.com/blog/2018/01/10/sharding-in-plain-english/

6.卢晓明，《被看做公链未来的分片技术，究竟离我们还有多远？》，https://www.odaily.com/post/5132394

7.币学院，《分片概述、Zilliqa和QuarkChain》，http://8btc.com/article-4660-1.html

标签：区块链DINSHAING区块链可以看着是什么Ordinal ChainShadowFiHyperLending

比特币交易热门资讯