剑指offer

Author: amlgithub

剑指offer/一致性哈希.md

@@ -0,0 +1,42 @@
+<span style='color:blue;font-size:55px'>fdfsds</span>
+
+2019年12月9日
+
+一致性哈希： <https://juejin.im/post/5ae1476ef265da0b8d419ef2>
+
+**解决的问题： 迁移数据时，不需要很大的代价即可，新增服务器和减少服务器，不需要将所有数据重新计算一般hash值放到对应的服务器中。**
+
+
+
+考虑到分布式系统每个节点都有可能失效，并且新的节点很可能动态的增加进来，如何保证**当系统的节点数目发生变化时仍然能够对外提供良好的服务**，这是值得考虑的，尤其实在设计分布式缓存系统时，如**果某台服务器失效，对于整个系统来说如果不采用合适的算法来保证一致性，那么缓存于系统中的所有数据都可能会失效**（**即由于系统节点数目变少，客户端在请求某一对象时需要重新计算其hash值（通常与系统中的节点数目有关）**，由于hash值已经改变，**所以很可能找不到保存该对象的服务器节点）**，因此一致性hash就显得至关重要，良好的分布式cahce系统中的一致性hash算法应该满足以下几个方面：
+
+- **平衡性(Balance)**
+
+平衡性是指哈希的结果能够尽可能分布到所有的缓冲中去，这样可以使得所有的缓冲空间都得到利用。很多哈希算法都能够满足这一条件。
+
+- **单调性(Monotonicity)**
+
+单调性是指如果已经有一些内容通过哈希分派到了相应的缓冲中，又有新的缓冲区加入到系统中，那么哈希的结果应能够保证原有已分配的内容可以被映射到新的缓冲区中去，而不会被映射到旧的缓冲集合中的其他缓冲区。简单的哈希算法往往不能满足单调性的要求，如最简单的线性哈希：x = (ax + b) mod (P)，在上式中，P表示全部缓冲的大小。不难看出，当缓冲大小发生变化时(从P1到P2)，原来所有的哈希结果均会发生变化，从而不满足单调性的要求。哈希结果的变化意味着当缓冲空间发生变化时，所有的映射关系需要在系统内全部更新。而在P2P系统内，缓冲的变化等价于Peer加入或退出系统，这一情况在P2P系统中会频繁发生，因此会带来极大计算和传输负荷。单调性就是要求哈希算法能够应对这种情况。
+
+- **分散性(Spread)**
+
+在分布式环境中，终端有可能看不到所有的缓冲，而是只能看到其中的一部分。当终端希望通过哈希过程将内容映射到缓冲上时，由于不同终端所见的缓冲范围有可能不同，从而导致哈希的结果不一致，最终的结果是相同的内容被不同的终端映射到不同的缓冲区中。这种情况显然是应该避免的，因为它导致相同内容被存储到不同缓冲中去，降低了系统存储的效率。分散性的定义就是上述情况发生的严重程度。好的哈希算法应能够尽量避免不一致的情况发生，也就是尽量降低分散性。
+
+- **负载(Load)**
+
+负载问题实际上是从另一个角度看待分散性问题。既然不同的终端可能将相同的内容映射到不同的缓冲区中，那么对于一个特定的缓冲区而言，也可能被不同的用户映射为不同的内容。与分散性一样，这种情况也是应当避免的，因此好的哈希算法应能够尽量降低缓冲的负荷。
+
+- **平滑性(Smoothness)**
+
+平滑性是指缓存服务器的数目平滑改变和缓存对象的平滑改变是一致的。
+
+
+
+1. **一致性哈希算法在服务节点太少时，容易因为节点分部不均匀而造成数据倾斜问题**
+
+为了解决这种数据倾斜问题，一致性哈希算法引入了虚拟节点机制，即对每一个服务节点计算多个哈希，每个计算结果位置都放置一个此服务节点，称为虚拟节点。具体做法可以在服务器ip或主机名的后面增加编号来实现。例如上面的情况，可以为每台服务器计算三个虚拟节点，于是可以分别计算 “Node A#1”、“Node A#2”、“Node A#3”、“Node B#1”、“Node B#2”、“Node B#3”的哈希值，于是形成六个虚拟节点：
+
+![img](https://user-gold-cdn.xitu.io/2018/4/26/162ffff03ecc7be4?imageView2/0/w/1280/h/960/format/webp/ignore-error/1)
+
+同时数据定位算法不变，只是多了一步虚拟节点到实际节点的映射，例如定位到“Node A#1”、“Node A#2”、“Node A#3”三个虚拟节点的数据均定位到Node A上。这样就解决了服务节点少时数据倾斜的问题。在实际应用中，通常将虚拟节点数设置为32甚至更大，因此即使很少的服务节点也能做到相对均匀的数据分布。
+