深入解析Memcached的工作原理及其与Redis的差异

发表时间: 2024-04-19 15:25

Memcached 的神奇来自两阶段哈希(two-stage hash)。Memcached 就像一个巨大的、存储了很多对的哈希表。通过 key,可以存储或查询任意的数据。

客户端可以把数据存储在多台 memcached 上。当查询数据时,客户端首先参考节点列表计算出 key 的哈希值(阶段一哈希),进而选中一个节点;客户端将请求发送给选中的节点,然后 memcached 节点通过一个内部的哈希算法(阶段二哈希),查找真正的数据(item)。

Memcached与Redis在多个方面存在显著的区别。

首先,从数据操作和支持的数据结构来看,Redis相比Memcached支持更丰富的数据类型和操作。Memcached主要支持简单的key-value存储,不支持枚举、持久化和复制等功能。而Redis支持多种数据结构,包括list、set、sorted set、hash等,并提供了持久化和复制等功能。在Memcached中,用户通常需要将数据拿到客户端进行修改后再存回,这增加了网络IO的次数和数据体积。而Redis则能在服务器端进行这些复杂的操作,与一般的GET/SET操作一样高效。

其次,两者的内存管理机制也有所不同。在Redis中,并非所有数据都一直存储在内存中,它采用了一种更复杂的内存管理机制。而Memcached则采用Slab Allocation分配机制,预先分配适量的内存块,根据缓存对象的大小来找到合适大小的内存块进行存储。

再者,两者的主要用途和适用场景也有差异。Memcached主要作为一个高性能的分布式内存对象缓存系统,通过降低对数据库的访问来加速动态Web应用程序。它特别适合用于缓存数据库查询结果,减少数据库访问次数,提高动态Web应用的速度和可扩展性。而Redis则是一个开源的内存数据库,常用于缓存、消息队列、会话存储、实时分析等方面。它提供了更多的功能和特性,如发布订阅功能、Lua脚本支持、事务功能等,使得它在处理更复杂的业务逻辑和实时数据分析等场景中具有优势。

1、Redis 不仅仅支持简单的 k/v 类型的数据,同时还提供 list,set,zset,hash等数据结构的存储。而memcache 只支持简单数据类型,需要客户端自己处理复杂对象

2、Redis 支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用(PS:持久化在 rdb、aof)。

3、由于 Memcache 没有持久化机制,因此宕机所有缓存数据失效。Redis 配置为持久化,宕机重启后,将自动加载宕机时刻的数据到缓存系统中。具有更好的灾备机制。

4、Memcache 可以使用 Magent 在客户端进行一致性 hash 做分布式。Redis 支持在服务器端做分布式(
PS:Twemproxy/Codis/Redis-cluster 多种分布式实现方式)

5、Memcached 的简单限制就是键(key)和 Value 的限制。最大键长为 250 个字符。可以接受的储存数据不能超过 1MB(可修改配置文件变大),因为这是典型 slab 的最大值,不适合虚拟机使用。而 Redis 的 Key 长度支持到 512k。

6、Redis 使用的是单线程模型,保证了数据按顺序提交。Memcache 需要使用cas 保证数据一致性。CAS(Check and Set)是一个确保并发一致性的机制,属于“乐观锁”范畴;原理很简单:拿版本号,操作,对比版本号,如果一致就操作,不一致就放弃任何操作cpu 利用。由于 Redis 只使用单核,而 Memcached 可以使用多核,所以平均每一个核上 Redis 在存储小数据时比 Memcached 性能更 高。而在 100k 以上的数据中,Memcached 性能要高于 Redis 。

7、memcache 内存管理:使用 Slab Allocation。原理相当简单,预先分配一系列大小固定的组,然后根据数据大小选择最合适的块存储。避免了内存碎片。(缺点:不能变长,浪费了一定空间)memcached 默认情况下下一个 slab 的最大值为前一个的 1.25 倍。

8、redis 内存管理: Redis 通过定义一个数组来记录所有的内存分配情况, Redis采用的是包装的 malloc/free,相较于 Memcached 的内存 管理方法来说,要简单很多。由于 malloc 首先以链表的方式搜索已管理的内存中可用的空间分配,导致内存碎片比较多


Memcached最大的优势主要体现在以下几个方面:

  1. 高性能:Memcached的设计使其具有极高的读写性能,能够处理大量的并发请求。它采用了内存存储的方式,使得数据的访问速度非常快,远远超过了传统的磁盘存储方式。这种高性能特性使得Memcached在处理大量、频繁的数据访问时表现出色。
  2. 分布式缓存:Memcached支持分布式部署,可以在多台服务器上运行,并通过一定的策略实现数据的均衡负载。这种分布式特性使得Memcached能够处理更大规模的数据量,提高了系统的可扩展性和可靠性。
  3. 简单易用:Memcached的API设计简洁明了,易于理解和使用。同时,它也提供了丰富的配置选项,可以根据实际需求进行灵活调整。这使得开发人员能够快速地将Memcached集成到现有的系统中,提升系统的性能表现。
  4. 内存管理:Memcached采用了LRU(Least Recently Used)算法进行内存管理,能够自动地根据数据的访问频率和时间来淘汰不常用的数据,从而确保缓存中的数据始终是最新的、最热门的。这种智能的内存管理策略使得Memcached能够更有效地利用有限的内存资源。
  5. 开源与免费:Memcached是一个开源项目,可以免费使用和修改。这使得开发者无需支付额外的费用即可享受到高性能的缓存服务,降低了系统的总体成本。

综上所述,Memcached的高性能、分布式缓存、简单易用、智能内存管理以及开源免费等优势使其在众多应用场景中脱颖而出,成为了一种广受欢迎的缓存解决方案。Memcached 最大的好处就是它带来了极佳的水平可扩展性,特别是在一个巨大的系统中。由于客户端自己做了一次哈希,那么我们很容易增加大量 memcached到集群中。memcached 之间没有相互通信,因此不会增加 memcached 的负载;

没有多播协议,不会网络通信量爆炸(implode)。memcached 的集群很好用。

内存不够了?增加几台 memcached 吧;CPU 不够用了?再增加几台吧;有多余的内存?在增加几台吧,不要浪费了。

基于 memcached 的基本原则,可以相当轻松地构建出不同类型的缓存架构。除了这篇 FAQ,在其他地方很容易找到详细资料的。