NoSQL概述
NoSQL是not only SQL非关系型数据库的简称。
web1.0采用关系型数据库,web2.0主打交互型,关系型数据库已经不满足下列需求:
- high performance 高并发读写
- huge storage 海量数据的高效率存储和访问
- high scalability && high availability 高可用扩展性和高可用性
因此非关系型数据库应运而生,主流的NoSQL产品包括redis mongoDB couchDB等,大致可分为四大类:
- 键值存储(如:redis):快速查询、存储数据缺少结构化
- 列存储:快速查询,可扩展性强;功能相对局限
- 文档数据库(如:mongoDB):数据结构不需要很严格;查询性不是很高,缺乏统一的查询的语法
- 图形数据库:图结构相关算法;不容易做分布式的集群方案
NoSQL的特点是:易扩展、灵活的数据模型、大数据量、高性能、高可用
Redis的概述
Redis是c语言开发的、开源的、高性能的、键值对的NoSQL型数据库,其支持的类型包括:字符串类型、列表类型、有序集合类型、集合类型、散类类型。
官方给出的Redis性能数据:写QPS:8w;读QPS:11w
Redis常用于下列应用场景:缓存、任务队列(秒杀、抢购)、网站访问统计、应用排行榜、数据过期处理、分布数集群架构中的session管理。
Redis的数据类型
字符串String
- 二进制安全的,也就是说存入和获取到的数据是相同
- value长度的最大是512M
常用命令:
- 赋值: set/getset
- 取值:get
- 删除:del
- 扩展命令: append(追加字符串)
- 数值增减: incr/decr/incrby/decrby
哈希hash
- String key和Stirng value的map容器
- 每一个Hash可以存储4294967295个键值对
常用命令:
- 赋值: hset /hmset
- 取值:hget/hmget/hgetall
- 删除:hdel/del
- 扩展命令:hexist(判断是否存在字段值)/hlen(获取所有字段的个数)/hkeys(获取所有字段的名称)/hvals(获取所有字段的值)
- 增加数字:hincrby/
字符串列表list
常用与组件间消息的交互
- ArrayList使用数组方式:根据索引查询速度快,但是增删操作慢
- LinkedList使用双向链接的方式:增删操作速度快,但是查询较慢
常用命令:
- 两端添加:lpush(左侧插入)/rpush(右侧插入)-->>生产者
- 两端弹出:lpop(左端弹出)/rpop(右端弹出)-->>弹出后就没有该元素,类似于删除。-->>消费者
- 查看列表:lrange
- 获取列表元素的个数:llen(查看列表元素个数)
- 扩展命令:lpushx(仅当列表名存在时,才会在列表头部执行插入操作)/rpushx(仅当列表名存在时,才会在列表尾部执行插入操作)/lrem {listname} {n} {value}(从头开始删除n个值为value的操作)/lrem {listname} -{n} {value}(从后往前开始删除n个值为value的操作)/lrem {listname} 0 {value}(删除listname中所有值为value的操作)/lset (修改某个角标值)/linset {listname} before(after) {value} {value1}(在第一个值为value的角标前(后),增加一个value1)/rpoplpush {list} {list2}(将链表list1中尾部的值弹出并添加到list2的头部:使用场景:当消费者从list1中pop出数据消费时,有可能处理失败,导致数据丢失,为了避免这个问题,当消费者取出数据后,将该数据缓存到另一个列表中,待消费者确认完成数据处理后才删除;也可以做多个列表,成功的存储一个、失败的存储一个,用于做日志追踪等后续操作)
字符串集合set
- 不允许出现重复的元素(区别于list)
- 最大元素数是4294967295
常用命令:
- 添加/删除元素:sadd/srem/
- 获取集合中的元素:smenbers/sismember(判断元素是否存在)
- 集合中的差集运算:sdiff {name1} {names}(求name1中有,但是name2没有的所有值)
- 集合中的交集运算:sinter
- 集合中的并集运算:sunion
- 扩展命令:scard(求集合中元素的个数)/srandmember(随机返回集合中的一个值)/sdiffstore {name1} {name2} {name3}(把name2和name3中的差集存入到name1)/sinterstore {name1} {name2} {name3}(把name2和name3中的交集存入到name1)/sunionstore {name1} {name2} {name3}(把name2和name3中的并集存入到name1)
使用场景:
- 跟踪一些唯一性的数据
- 用于维护数据对象之间的关联数据
有序字符串集合sorted set
- sorted set和set的区别:sorted set的成员都有一个权值,redis根据这个权值进行排序
- sorted set中的成员在集合中的位置都是有序的,能高效访问
使用场景:
常用命令:
- 添加元素:zadd
- 获得元素:zscore(查询元素对应的权值)/zcard(查询表中元素的个数)
- 删除元素:zrem
- 范围查询:zrange {name1} 0 -1 [withscores](获取所有元素,并按权值从低到高返回,如果加了withscores,则返回的值包括权值)/zrevrange {name1} 0 -1 [withscores](获取所有元素,并按权值从高到低返回,如果加了withscores,则返回的值包括权值)/zremrangebyrank {name1} 0 4(按照范围删除元素)/aremrangebyscore {name1} {score1} {score2}(按照权值范围删除元素}
- 扩展命令:zrangebyscore {name1} {score1} {score2} [withscores] [limit {limit0} {limit1}](查询权值范围内的所有元素,并按升序排列输出,如果加了withscores,则返回的值包括权值,如果加了limit,则只返回前limit2个数的元素)/zincrby {name1} {value} {score}(为指定value元素的权值加上score)/zcount(查询权值范围内的个数)
keys的通用操作
key的定义:
- 不要太长(最好不要超过1024个Byte,消耗内存,降低查找效率)
- 不要太短,提高可读性
- 统一的命名规范
常用命令:
- 获取所有keys:keys */ keys {name?}
- 查询某个key是否存在:exists (存在返回1,否则返回0)
- 重命名:rename
- 设置过期时间:expire (时间单位是秒)/ttl(查看剩余过期时间,如果没设置,则返回-1)
- 获取指定key的类型:type
Redis的特性
多数据库
- 一个redis实例可以包含多个数据库,最多可以有16个数据库,默认链接第0个数据库,通过select {sq}选择对应的数据库
- move {key1} {sq1}:将当前数据库下的{key}移到{sq1}数据库下
redis事务
- multi(开启事务)
- exec(事务提交)
- discard(事务回滚)
Redis的持久化
RDB方式
Redis默认支持的持久化方式,是在指定的时间间隔内将内存中的数据和快照持久化硬盘
优势:
- 整个redis数据库将只包含一个文件,方便文件备份,便于灾备
- 性能最大化,异步持久化,避免主线程处理I/0操作
劣势:
- 可能出现时间间隔内的数据丢失
- 由于是由子进程完成I/O操作,当数据集比较大时,可能导致整个redis服务卡顿
配置:
#10个key更新了,5分钟保存一次,10000个key更新了,每1分钟保存一次。主动调用SAVE()会阻塞所有客户端!一般是BGSAVE异步的。
#save 900 1
#save 300 10
#save 60 10000
AOF方式
该方式以日志的形式记录redis的每一个操作,redis重启时,会读取该日志文件,并重新构建数据库
优势:
- 更高的数据安全性,每秒同步(异步完成)、每修改同步(同步完成、效率较低)和不同步
- 日志采用append方式,避免对原日志的影响
- 如果日志过大,可以启动重写机制
- 日志格式清晰,方便阅读,友好性较高
劣势:
- 同步相同量的数据,AOF的数据量比RDB大
- AOF运行效率低于RDB
配置:
# 默认redis异步的dump数据到disk。但如果断电了,那么就会丢失一部分数据了(根据save的配置)。
# AOF提供更好模式。比如用默认的AOF,redis只丢失最近一秒的数据(断电情况),或者最后一个write操作(redis自身错误,os正常)。每个write操作写一次AOF。
# 当AOF文件太大了,redis会自动重写一个aof文件出来。
# AOF和RDB持久化可以同时启用。redis会优先读AOF恢复数据。
# Please check http://redis.io/topics/persistence for more information
appendonly yes
# 默认文件名
appendfilename "appendonly.aof"
# fsync()三种:
# no:让OS托管,这样更快。
# always:每次write都刷到log,慢,最安全。
# everysec:每秒一次flush。(默认)
appendfsync always
RDB方式 + AOF方式
AOF和RDB持久化可以同时启用。Redis会优先读AOF恢复数据。