分布式概念-如何访问到分布式系统中的服务

优质文章,及时送达


在各种涉及到数据存储相关的中间件中,我们听到的一些数据分割的最小单元往往有不同的叫法,比如segment,chunk,partition等。
通过前面介绍的几种数据访问负载算法,我们知道如果将数据单元划分的过小,元数据的管理成本将会巨大,所以我们对于大量数据单元的处理一般会引入桶的概念。
也就是我们会控制数据的大小,将一定数量的数据单元放在一个桶内,同时将一个桶作为一个数据单元或是节点交给元数据管理服务进行管理,而每个副本都是桶的纬度。
一旦副本分布和机器无关,数据丢失后的恢复效率就会非常高。因为机器的数据丢失,会涉及到数据副本在整个分布式网络所有机器上的迁移,而不是仅仅几个副本所处的机器。机器上数据迁移的成本是非常低的,恢复效率低,也会造成巨大的网络开销。
在准备进行一个数据处理之前,我们需要对数据进行节点的寻址,一般有两种方式本地计算方式和代理服务计算方式。