By Ne0 —

Memcached 缓存系统的基础知识

Memcached 缓存系统的基础知识

摘了三篇：

一。

memcached 是什么? memcached is a high-performance, distributed memory object caching system, generic in nature, but intended for use in speeding up dynamic web applications by alleviating database load.
memcached是一个高性能的、分布式内存对象缓存系统，应用广泛。 通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web应用的速度、 提高可扩展性。
它可以应对任意多个连接，使用非阻塞的网络IO。由于它的工作机制是在内存中开辟一块空间，然后建立一个HashTable，Memcached自管理这些HashTable。还使用内置的内存块分配和哈希表算法，确保虚拟内存不会过来捣乱。

Memcached 官方网站：

二。

1. 基本信息

memcached是一个高性能的内存缓存对象系统，其实质为一个键值对的hashmap.其事件处理和网络通信均是基于libevent.

基本特征：

协议简单：使用基于文本行的协议

基于内存存储：数据存储在内存中

事件处理：基于libevent开发

不互相通信的分布式：多台memcached服务器之间不互相通信，由客户端实现分布式算法



图1 memcached的分布式（转来的图）


1.1 内存管理机制

memcached采用名为slab allocator的内存管理机制，其基本原理是将预先规定的大小，将内存划分为特定长度的块。目的是要解决简单的malloc/free方式所造成的内存碎片。

Slab是memcached分配的基本单位，每个Slab对应多张Page（默认大小是1M），每张Page会被划分为多个chunk（每个chunk中都保存了一个item结构体、一对key和value）。

早期的版本中，每个Page一旦被分配给一个Slab，其后变一直如遇该Slab，但在较新的版本中，一个Page已经可以被重新分配给不同的Slab。

当客户端发来一条数据时，memcached根据数据的大小选择最为合适的Slab，将其存储在对应的Slab中。但是这也会带来新的问题，即内存的利用率会下降，例如，当一个100byte的数据到来，我们不得不为其分配一个128bytes的chunk，其多余的28字节就被浪费掉了。

为了尽量低的减少内存的浪费，memcached预先设定了40类Slab，通过在启动时加入-vv命令可以查看（两个v)

usr/local/memcached/bin/memcached -d -m 256 -l 127.0.0.1 -p 11212 -c 1024 -u root -vv


memcached默认的使用1.25作为增长因子，在使用memcached的过程中我们通过调整-f (成长因子、 -n（default size)等参数优化内存使用，计算公式如下（抄来的）：

chunk size(class i) :  (default_size+item_size)*f^(i-1)+ CHUNK_ALIGN_BYTES

当没有可用Page时，memcached开始对Slab执行LRU算法删除冷数据，这里必须明确一点即LRU执行的对象是 Slab不是全局。


2. 安装、配置及启动

首先，安装libevent：

[html]

  1. wget http://monkey.org/~provos/libevent-1.4.13-stable.tar.gz
  3. tar xzvf  libevent-1.4.13-stable.tar.gz
  5. cd libevent-1.4.13-stable
  7. ./configure && make && make install    
    然后，安装memcached

[cpp]

  1. wget http://memcached.org/latest
  2. tar zxvf memcached-1.4.21.tar.gz && cd memcached-1.4.21
  3. ./configure && make && make install    
     默认情况下程序会安装到 /usr/local/bin/memcached，接下来我们就可以启动memcached了，首先让我们来看一下启动参数，这里我们仅介绍一下常用的参数，更详细的参数列表可以通过man memcached查看：

-l              设置监听的ip地址，默认为 INADDR_ANY

-d             以守护进程模式运行memcached

-u             指定用户

-m            设置memcached可以使用的内存大小，单位为 M

-c              设置最大链接数，默认为1024

-R             设置一个客户端的最大连续请求数，默认为20

-p              设置TCP监听端口

-U              设置UDP监听端口

-P              设置memcached的Pid文件

[cpp]

  1. /usr/local/bin/memcached -d -m 256 -l 127.0.0.1 -p 11211 -c 1024 -u root    

3. telnet方式

连接memcached：


3.1 存储命令

[cpp]

  1. <command name> <key> <flags> <expire> <bytes>
  3. <value>
<command name> set/add/replace
<key> 索引值 
<flags> 标志信息
<expire> 过期时间，0表示永不过期
<bytes> value的字节数
<value> 存储的数据块


set 命令：即可以添加新数据还可以更新已存在数据


add命令：仅在数据不存在时添加数据

replace命令：仅在数据存在时更新数据



3.2 清除命令

[cpp]

  1. <command name> <key>

delete命令： 删除已存在的数据



flush_all命令：清空数据。实际上它是时此命令之前插入的数据，在读取时无效化，同时在新数据到来后清除老数据


3.3 读取命令

[cpp]

  1. <command name> <key>    get命令：读取指定key的值



gets命令：读取指定key的值，末尾比get命令多一个值，限制value否改变，该值变化说明value发生了变化.



cas命令：仅当最后一个参数与gets取得结果的最后一个参数匹配时才更新（应该算是添加数据命令，但放在这里比较好解释）



3.4 更新数据命令

append命令：在现有数据之后添加字符



prepend命令：在现有数据之前添加字符



incr/decr命令：对数值型value进行增减，支持64位无符号数，最后那个参数表示变更的范围



3.5 查询状态命令

stats命令：


stats item命令：查看条目状态


stats slabs命令：查看内存情况


还有stats sizes,stats reset等等使用也比较常见.


4. libmemcached

4.1 基本数据结构

memcached_st 结构：用于保存memcached连接对象

memcached_return_t结构： 用于保存memcached命令执行状态

memcached_server_st 结构：用于存储memcached服务器列表


4.2 创建和销毁一个memcached连接对象

[cpp]

  1. memcached_st* memcached_create(memcached_st* ptr)      创建一个memcached_st对象，参数一般为NULL;
  2. memcached_st* memcached_clone(memcached_st* dest,memcached_st* src)    克隆一个memcached对象;
  3. void memcached_free(memcached_st* ptr)   释放memcached对象，断开连接时使用;


4.3  操作memcached_st中存储的server信息

[cpp]

  1. memcached_return_t memcached_server_add(memcached_st *mem,const char *hostname, int port); //在服务器列表尾部添加一台server
  2. memcached_server_st* memcached_server_list_append(memcached_server_st* ptr,const char* hostname,int port,memcached_return_t * return) ; // 在memcached_server_st中添加一台server
  3. memcached_return_t memcached_server_push(memcached_st *mem,memcached_server_st* ptr); //在服务器列表尾部添加一个server数组，与memcached_server_list_append结合使用
  4. uint32_t memcached_server_count(memcached_st* mem); //计算当前server的个数
  5. void memcached_servers_reset(memcached_st* mem); //清空server列表
  6. void memcached_server_list_free(memcached_server_st* ptr); //释放memcached_server_st结构

4.4 操作memcached数据

增减数据值：

[cpp]

  1. memcached_return_t memcached_increment(memcached_st *ptr, const char *key, size_t key_length, uint32_t offset, uint64_t *value)//将指定key的value值加1
  2. memcached_return_t memcached_decrement(memcached_st *ptr, const char *key, size_t key_length, uint32_t offset, uint64_t *value)//将指定key的value值减1    
    删除数据

[cpp]

  1. memcached_return_t memcached_delete(memcached_st *ptr, const char *key, size_t key_length, time_t expiration)    
    检查key值是否存在

[cpp]

  1. memcached_return_t memcached_exist(memcached_st *ptr, char *key, size_t *key_length)


 清空数据

[cpp]

  1. memcached_return_t memcached_flush(memcached_st *ptr, time_t expiration)    
    获取数据

[cpp]

  1. char * memcached_get(memcached_st *ptr, const char *key, size_t key_length, size_t *value_length, uint32_t *flags, memcached_return_t *error)//获取单个数据
  2. memcached_return_t memcached_mget(memcached_st *ptr, const char * const *keys, const size_t *key_length, size_t number_of_keys)//获取多个数据，需要注意的是，当使用多个server时mget无法通过一次条用返回不同存储在不同server上的数据
  3. char* memcached_fetch(memcached_st *ptr,char* keys, size_t *key_length,size_t* value_length,uint32_t* flags,memcached_return_t *error)//从上面函数的结果中提取数据    
    写入数据

[cpp]

  1. memcached_return_t memcached_set(memcached_st *ptr, const char *key, size_t key_length, const char *value, size_t value_length, time_t expiration, uint32_t flags)//向memcached写入一条数据，存在即覆盖
  2. memcached_return_t memcached_add(memcached_st *ptr, const char *key, size_t key_length, const char *value, size_t value_length, time_t expiration, uint32_t flags)//不存在即插入，存在返回错误
  3. memcached_return_t memcached_replace(memcached_st *ptr, const char *key, size_t key_length, const char *value, size_t value_length, time_t expiration, uint32_t flags)//存在即覆盖，不存在返回错误    memcached_set在非阻塞模式下只有当网络错误发生时才会返回错误


扩展字符串

[cpp]

  1. memcached_return_t memcached_prepend(memcached_st *ptr, const char *key, size_t key_length, const char *value, size_t value_length, time_t expiration, uint32_t flags)//在原来的字符串之前添加内容
  2. memcached_return_t memcached_append(memcached_st *ptr, const char *key, size_t key_length, const char *value, size_t value_length, time_t expiration, uint32_t flags)//在原来的字符串末尾添加内容    
    上面这些接口仅用于TCP调用，libmemcached中对UDP和UNIX SOCKET也有相应的支持。

基本上，libmemcached提供了所有与命令行对应的功能接口，可以查询

这里我们通过实例代码简要的说明一下存储和获取数据的接口

[cpp]

  1. #include <libmemcached/memcached.h>
  3. int main(int argc, char* argv[]){
  4. memcached_st *mem;
  5. memcached_return_t re;
  6. memcached_server_st *svr;
  8. //连接memcached
  9. mem = memcached_create(NULL);
  10. svr = memcached_server_list_append(NULL,"127.0.0.1",11211,&rc);
  11. rc = memcached_server_push(mem,srv);
  12. memcached_server_list_free(srv);
  13. //存储数据
  14. char* value = "zhoushuaiyin";
  15. rc = memcached_set(mem,"zhou",4,value,strlen(value),0,0);
  16. if(MEMCACHED_SUCCESS == rc){
  17. //anything
  18. }
  20. //分别使用mgets+fetch和mget方式获取数据
  21. char *return_value = NULL;
  22. size_t return_value_length;
  23. char* keys[]={"zhou"};
  24. size_t keys_length[]={4};
  25. uint32 flags;
  26. rc = memcached_mget(mem,keys,keys_length,1);
  27. return_value = memcached_fetch(mem,return_key,&return_key_length,&return_value_length,&flags,&rc);
  28. if(MEMCACHED_SUCCESS == rc){
  29. printf("key:%s, value:%s",return_key,return_value);
  30. }
  32. char* val = memcached_get(mem,"zhou",4, &return_value_length,&flags,&rc);if(MEMCACHED_SUCCESS == rc){
  33. printf("key:%s, value:%s",return_key,return_value);
  34. }
  36. //删除数据
  37. rc = memcached_delete(mem,"zhou", 4 , (time_t)0);
  39. memcached_free(mem);
  40. retrun 0;
  43. }

再给出一段memcached一致性hash的代码，包括使用memcached_get_by_key函数（by_key结尾的函数都具有相同的意义），不是很规范，但应该可以说明问题：

[cpp]

  1. #include<libmemcached/memcached.h>
  3. int main(int argc, char* argv[]){
  4. memcached_st *mem;
  5. memcached_return_t rc;
  6. memcached_server_st* servers;
  8. mem = memcached_create(NULL);
  9. memcached_behavior_set(mem,MEMCACHED_BEHAVIOR_DISTRIBUTION,MEMCACHED_DISTRIBUTION_CONSISTENT);
  10. servers = memcached_server_list_append(NULL,"localhost",11211,&rc);
  11. servers = memcached_server_list_append(servers,"localhost",11210,&rc);
  14. rc = memcached_server_push(mem,servers);
  15. memcached_server_free(servers);
  17. printf("the server count is %d",memcached_server_count(mem));
  18. const char* const keys[] = {"key1","key2","key3","key4"};
  19. char* values[] = {"value1","value2","value3","value4"};
  21. for(int i = 0 ; i < 4; i++){
  22. memcached_set(mem,keys[i],strlen(keys[i]),values[i],strlen(values[i]),0,0);
  24. }
  26. size_t value_length[4];
  27. uint32_t flag;
  28. for(int i = 0; i < 4; i++){
  29. values[i] = memcached_get(mem,keys[i],strlen(keys[i]),&value_length[i],&flag,&rc);
  30. printf("the value is %s\n",values[i]);
  31. }
  33. char* value = "zhou";
  34. size_t flag2;
  36. value = memcached_get_by_key(mem,keys[1],strlen(keys[1]),keys[1],strlen(keys[1]),&flag2,&flag,&rc);
  37. printf("the value is %s\n",value);
  38. memcached_free(mem);
  39. return 0;
  41. }    三。

A.有关memcached的C语言接口——libmemcached的介绍。      详情参见：       1. 创建和删除memcached_st结构。

#include <libmemcached/memcached.h>

memcachd_st ；该结构可以静态创建也可以由memcached_create动态创建。

memcached_st* (memcached_st *ptr)

ptr不为空时是静态创建，如果ptr为空，那么该函数返回一个memcached_st结构。

void memcached_free(memcached_st *ptr)

释放memcached_st结构所用的内存，删除memcached_st。

memcached_st* memcached_clone(memcached_st *destination, memcached_st *source)

克隆一个memcached_st结构；如果source为空，那么其作用和memcached_create一样，如果destination为空，则该函数的返回值将会返回一个和source一样的memcached_st结构。

void memcached_servers_reset(memcached_st)

将memcached_st所拥有与服务器的连接全都断开。

Compile and link with –lmemcached

2.    Memcached_return_t的返回值。

表示操作成功，其他均表示错误；其他错误的详情

Previous

11.Container With Most Water

 Next

sem_wait sem_post信号量

You might also like...