Memcached 的神奇来自两阶段哈希(two-stage hash)。Memcached 就像一个巨大的、存储了很多对的哈希表。通过 key,可以存储或查询任意的数据。
客户端可以把数据存储在多台 memcached 上。当查询数据时,客户端首先参考节点列表计算出 key 的哈希值(阶段一哈希),进而选中一个节点;客户端将请求发送给选中的节点,然后 memcached 节点通过一个内部的哈希算法(阶段二哈希),查找真正的数据(item)。
Memcached与Redis在多个方面存在显著的区别。
首先,从数据操作和支持的数据结构来看,Redis相比Memcached支持更丰富的数据类型和操作。Memcached主要支持简单的key-value存储,不支持枚举、持久化和复制等功能。而Redis支持多种数据结构,包括list、set、sorted set、hash等,并提供了持久化和复制等功能。在Memcached中,用户通常需要将数据拿到客户端进行修改后再存回,这增加了网络IO的次数和数据体积。而Redis则能在服务器端进行这些复杂的操作,与一般的GET/SET操作一样高效。
其次,两者的内存管理机制也有所不同。在Redis中,并非所有数据都一直存储在内存中,它采用了一种更复杂的内存管理机制。而Memcached则采用Slab Allocation分配机制,预先分配适量的内存块,根据缓存对象的大小来找到合适大小的内存块进行存储。
再者,两者的主要用途和适用场景也有差异。Memcached主要作为一个高性能的分布式内存对象缓存系统,通过降低对数据库的访问来加速动态Web应用程序。它特别适合用于缓存数据库查询结果,减少数据库访问次数,提高动态Web应用的速度和可扩展性。而Redis则是一个开源的内存数据库,常用于缓存、消息队列、会话存储、实时分析等方面。它提供了更多的功能和特性,如发布订阅功能、Lua脚本支持、事务功能等,使得它在处理更复杂的业务逻辑和实时数据分析等场景中具有优势。
1、Redis 不仅仅支持简单的 k/v 类型的数据,同时还提供 list,set,zset,hash等数据结构的存储。而memcache 只支持简单数据类型,需要客户端自己处理复杂对象
2、Redis 支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用(PS:持久化在 rdb、aof)。
3、由于 Memcache 没有持久化机制,因此宕机所有缓存数据失效。Redis 配置为持久化,宕机重启后,将自动加载宕机时刻的数据到缓存系统中。具有更好的灾备机制。
4、Memcache 可以使用 Magent 在客户端进行一致性 hash 做分布式。Redis 支持在服务器端做分布式(
PS:Twemproxy/Codis/Redis-cluster 多种分布式实现方式)
5、Memcached 的简单限制就是键(key)和 Value 的限制。最大键长为 250 个字符。可以接受的储存数据不能超过 1MB(可修改配置文件变大),因为这是典型 slab 的最大值,不适合虚拟机使用。而 Redis 的 Key 长度支持到 512k。
6、Redis 使用的是单线程模型,保证了数据按顺序提交。Memcache 需要使用cas 保证数据一致性。CAS(Check and Set)是一个确保并发一致性的机制,属于“乐观锁”范畴;原理很简单:拿版本号,操作,对比版本号,如果一致就操作,不一致就放弃任何操作cpu 利用。由于 Redis 只使用单核,而 Memcached 可以使用多核,所以平均每一个核上 Redis 在存储小数据时比 Memcached 性能更 高。而在 100k 以上的数据中,Memcached 性能要高于 Redis 。
7、memcache 内存管理:使用 Slab Allocation。原理相当简单,预先分配一系列大小固定的组,然后根据数据大小选择最合适的块存储。避免了内存碎片。(缺点:不能变长,浪费了一定空间)memcached 默认情况下下一个 slab 的最大值为前一个的 1.25 倍。
8、redis 内存管理: Redis 通过定义一个数组来记录所有的内存分配情况, Redis采用的是包装的 malloc/free,相较于 Memcached 的内存 管理方法来说,要简单很多。由于 malloc 首先以链表的方式搜索已管理的内存中可用的空间分配,导致内存碎片比较多
Memcached最大的优势主要体现在以下几个方面:
综上所述,Memcached的高性能、分布式缓存、简单易用、智能内存管理以及开源免费等优势使其在众多应用场景中脱颖而出,成为了一种广受欢迎的缓存解决方案。Memcached 最大的好处就是它带来了极佳的水平可扩展性,特别是在一个巨大的系统中。由于客户端自己做了一次哈希,那么我们很容易增加大量 memcached到集群中。memcached 之间没有相互通信,因此不会增加 memcached 的负载;
没有多播协议,不会网络通信量爆炸(implode)。memcached 的集群很好用。
内存不够了?增加几台 memcached 吧;CPU 不够用了?再增加几台吧;有多余的内存?在增加几台吧,不要浪费了。
基于 memcached 的基本原则,可以相当轻松地构建出不同类型的缓存架构。除了这篇 FAQ,在其他地方很容易找到详细资料的。