电子商务网站建设视频,广州网站建设案件,网站关键词一般设置几个,网站建设 中企动力医院哈希与一致性哈希
在分布式系统中#xff0c;哈希和一致性哈希是数据索引或者数据分布的常见实现方式。
数据分布设计原则
在分布式数据存储系统中#xff0c;做存储方案选型时#xff0c;一般会考虑以下因素#xff1a;
数据均匀数据稳定节点异构性隔离故障域性能稳定…哈希与一致性哈希
在分布式系统中哈希和一致性哈希是数据索引或者数据分布的常见实现方式。
数据分布设计原则
在分布式数据存储系统中做存储方案选型时一般会考虑以下因素
数据均匀数据稳定节点异构性隔离故障域性能稳定性
数据均匀有两重含义
不同存储节点中存储的数据要尽量均衡避免让某一个或者某几个节点存储压力过大而其他节点几乎没有什么数据。用户访问也要做到均衡避免出现某一个或者某几个节点的访问量很大但其他节点却无人问津的情况。
数据稳定是指当存储节点出现故障需要移除或者扩增时数据按照分布规则得到的结果应该尽量保持稳定不要出现大范围的数据迁移。
节点异构性是指不同存储节点的硬件配置可能差别很大这样平均分配数据就是一种不均衡。
隔离故障域是指为了保证数据的可用和可靠性需要做数据备份但是如果主数据和备份数据都放到了同一个硬盘或者节点就违背了备份的初衷。一个好的数据分布算法应该为每个数据映射一组存储节点这些节点应该尽量在不同的故障域。
性能稳定是指数据存储和查询的效率要有保证不能因为节点的添加或者删除造成存储或者访问性能的严重下降。
数据分布方法
我们会涉及4种不同的数据分布方法。
哈希
哈希是指将数据按照提前规定好的函数映射到相应的存储节点即进行一个哈希计算得到的结果就是数据应该存储的节点。
它是一种非常常用的数据分布方法核心思想是1确定一个哈希函数2通过计算得到数据对应的存储节点。
哈希算法的一个优点是只要哈希函数设置得当可以很好的保证数据均匀性但缺点是稳定性差当节点数量发生变化时需要大规模数据迁移。
哈希方法适用于同类型节点且节点数量比较固定的场景。
一致性哈希
一致性哈希也是采取哈希函数但是进行两步哈希
对存储节点进行哈希计算即对存储节点进行哈希映射。当对数据进行存储或者访问时首先对数据进行映射得到一个结果然后找到比该结果大的第一个存储节点就是该数据应该存储的节点。
一致性哈希将存储节点和数据都映射到一个首尾相连的哈希环上存储节点可以根据IP地址进行哈希数据通常按照顺时针方向寻找的方式来确定自己所属的存储节点即从数据映射在环上的位置开始顺时针方向找到的第一个存储节点。
一致性哈希是对哈希方法的改进在数据存储时采用哈希方式确定存储位置的基础上又增加了一层哈希也就是在数据存储前对存储节点预先进行了哈希映射。
这种改进很好的解决哈希方法存在的稳定性问题当节点加入或退出时仅影响该节点在哈希环上顺时针相邻的后继节点。
一致性哈希带来的主要问题是均匀性问题即对后继节点的负载会变大当有节点退出时该节点的后继节点需要承担该节点的所有负载如果后继节点承受不住便会出现节点故障导致后继节点的后继节点也面临同样的问题。
一致性哈希方法比较适合同类型节点、节点规模会发生变化的场景。
带有限负载的一致性哈希
带有限负载的一致性哈希方法的核心原理是给每个存储节点设置一个存储上限值来控制存储节点添加或者删除造成的数据不均匀。当数据按照一致性哈希算法找到相应的存储节点后要先判断该存储节点是否达到了存储上限如果已经达到了上限则需要继续寻找该存储节点顺时针方向之后的节点进行存储。
带有限负载的一致性哈希方法适合同类型节点、节点规模会发生变化的场景。
带虚拟节点的一致性哈希
带虚拟节点的一致性哈希方法的核心思想是根据每个节点的性能为每个节点划分不同数量的虚拟节点并将这些虚拟节点映射到哈希环中然后再按照一致性哈希算法进行数据映射和存储。
带虚拟节点的一致性哈希方法比较适合异构节点、节点规模会发生变化的场景。
这种方法不仅解决了节点异构性问题还提高了系统稳定性当节点发生变化时会有多个节点共同分担系统的变化。但是这种方法需要维护虚拟节点增加了维护和管理的复杂度同时节点变化带来的数据迁移等操作也会变得复杂。
下面是4种不同的数据分片方法的详细比较。
数据分区和数据分片的区别
数据分区是从数据存储块的维度进行划分不同的分区在物理上归属于不同的节点。数据分区中可以存储不同的数据也可以存储相同的数据来实现数据备份。
数据分片是从数据维度进行划分它将一个数据结合按照一定的方式划分成多个数据子集不同的数据子集存储在不同的存储块上这些存储块可以在不同的节点上也可以在同一个节点上。
数据分区和数据分片是两个不同的概念属于分布式存储系统中不同角色的技术。数据分区是“数据存储”相关的技术数据分片是“数据索引”相关的技术。
