最近在网上查阅redis资料，看到介绍redis扩展的特性，现分享一下笔记
# Redis高级

### 数据备份与恢复
1. SAVE命令用于创建当前数据库的备份,该命令将在redis安装目录中创建dump.rdb文件,即手动进行rdb备份
```
    //调用rdbSave函数，阻塞redis主进程
    redis 127.0.0.1:6379> save
    OK
```
2. 恢复数据只要将该rdb文件放到安装目录下并启动服务即可
3. Bgsave命令用于后台执行备份操作
```
    //fork出一个子进程，由子进程调用rdbSave函数
    127.0.0.1:6379> BGSAVE
    Background saving started
```

### redis安全
1. 可以通过 redis 的配置文件设置密码参数
2. 查看密码验证：
```
    127.0.0.1:6379> CONFIG get requirepass
    1) "requirepass"
    2) "" //为空，则不需验证
```
3. 命令设置密码验证：
```
    127.0.0.1:6379> CONFIG set requirepass "aaa"
    OK
    127.0.0.1:6379> CONFIG get requirepass
    1) "requirepass"
    2) "aaa"
   
    //设置密码验证后，需先授权才能操作
    127.0.0.1:6379> AUTH password
   
    //清空密码
    127.0.0.1:6379> AUTH aaa
    127.0.0.1:6379> CONFIG set requirepass ""
    OK
    127.0.0.1:6379> CONFIG get requirepass
    1) "requirepass"
    2) ""
```

### 性能测试
1. 通过执行多个命令进行性能测试   
2. 基本命令
```
    redis-benchmark [option] [option value]
```
3. 示例：同时执行10000个请求测试性能
```
    $ redis-benchmark -n 10000  -q
     
    PING_INLINE: 141043.72 requests per second
    PING_BULK: 142857.14 requests per second
    SET: 141442.72 requests per second
    GET: 145348.83 requests per second
    INCR: 137362.64 requests per second
    LPUSH: 145348.83 requests per second
    LPOP: 146198.83 requests per second
    SADD: 146198.83 requests per second
    SPOP: 149253.73 requests per second
    LPUSH (needed to benchmark LRANGE): 148588.42 requests per second
    LRANGE_100 (first 100 elements): 58411.21 requests per second
    LRANGE_300 (first 300 elements): 21195.42 requests per second
    LRANGE_500 (first 450 elements): 14539.11 requests per second
    LRANGE_600 (first 600 elements): 10504.20 requests per second
    MSET (10 keys): 93283.58 requests per second
```
其中可选参数如下：  
选项 | 描述 | 默认值
---|---|---
-h | 指定服务器主机名 | 127.0.0.1
-p | 指定服务器端口 | 6379
-s | 指定服务器socket |
-c | 指定并发连接数 |
-n | 指定请求数 | 10000
-d | 以字节形式指定SET/GET值的数据大小 | 2
-k | 1=keep alive 0=reconnect | 1
-r | SET/GET/INCR 使用随机key,SADD使用随机值 |
-p | 通过管道传输请求 | 1
-q | 强制退出redis，仅显示query/sec值 |
--csv | 以csv格式输出 |
-l | 生成循环，永久执行测试 |
-t |仅运行以逗号分隔的测试命令列表 |
-I | Idle模式，仅打开N个idle连接并等待 |

* 多个参数令执行实例：
```
$ redis-benchmark -h 127.0.0.1 -p 6379 -t set,lpush -n 10000 -q
SET: 146198.83 requests per second
LPUSH: 145560.41 requests per second

    以上实例中主机为 127.0.0.1，端口号为 6379，执行的命令为 set,lpush，请求数为 10000，通过 -q 参数让结果只显示每秒执行的请求数。
```

### 客户端连接
1. Redis 通过监听一个 TCP 端口或者 Unix socket 的方式来接收来自客户端的连接，当一个连接建立后，Redis 内部会进行以下一些操作：  
首先，客户端 socket 会被设置为非阻塞模式，因为 Redis 在网络事件处理上采用的是非阻塞多路复用模型。 然后为这个 socket 设置 TCP_NODELAY 属性，禁用 Nagle 算法 然后创建一个可读的文件事件用于监听这个客户端 socket 的数据发送
2. 最大连接数
    * 查看
    ```
    config get maxclients

    1) "maxclients"
    2) "10000"
    ```
    * 配置文件中设置(2.6及之后版本)
    ```
    redis-server --maxclients 100000
    ```
2. 客户端命令
    S.N. | 命令 | 描述
    ---|---|---
    1 | client list | 返回连接到redis服务的客户端列表
    2 | client setname | 设置当前连接的名称
    3 | client getname | 获取通过setname设置的服务名称
    4 | client pause | 挂起客户端连接，指定挂起的时间以毫秒计
    5 | client kill | 关闭客户端连接

### 管道技术
1. Redis是一种基于客户端-服务端模型以及请求/响应协议的TCP服务。这意味着通常情况下一个请求会遵循以下步骤：  
客户端向服务端发送一个查询请求，并监听Socket返回，通常是以阻塞模式，等待服务端响应。服务端处理命令，并将结果返回给客户端。
2. Redis 管道技术可以在服务端未响应时，客户端可以继续向服务端发送请求，并最终一次性读取所有服务端的响应。
3. 使用jedis进行测试
```java
    @Test
    public void withoutPipe() {
        Jedis jedis = JedisPoolUtils.getJedis();
        List<String> list = new ArrayList<>();
        for(int i = 0; i < 100; i ++) {
            list.add("aaa"+i);
        }

        long start = System.currentTimeMillis();

        for(int i=0;i<list.size();i++) {
            jedis.set(list.get(i), "bbb");
        }

        System.out.println(System.currentTimeMillis() - start); // 72ms
    }
   
    @Test
    public void withPipe() {
        Jedis jedis = JedisPoolUtils.getJedis();
        Pipeline pipelined = jedis.pipelined();
        List<String> list = new ArrayList<>();
        for(int i = 0; i < 100; i ++) {
            list.add("aaa"+i);
        }

        long start = System.currentTimeMillis();

        for(int i=0;i<list.size();i++) {
            pipelined.set(list.get(i), "bbb");
        }

        System.out.println(System.currentTimeMillis() - start); // 8ms，显著提升效率
    }
```
注：管道技术是异步调用返回结果，故pipelined.syncAndReturnAll()返回的是打包的结果集。

### redis事务
1. 事务是保证事务内的所有命令是原子操作，一般配合watch使用，事务的执行结果和pipeline一样都是采用异步的方式获取结果，multi.exec()提交事务，如果执行成功，其返回的结果和pipeline一样是所有命令的返回值，如果事务里面有两个命令那么事务的exec返回值会把两个命令的返回值组合在一起返回。如果事务被取消返回null。
2.


### redis分区技术
1. 分区是分割数据到多个Redis实例的处理过程，因此每个实例只保存key的一个子集。
    * 分区的优势
        * 通过利用多台计算机内存的和值，允许我们构造更大的数据库。通过多核和多台计算机，允许我们扩展计算能力；通过多台计算机和网络适配器，允许我们扩展网络带宽。
    * 分区的不足
        * redis的一些特性在分区方面表现的不是很好：
            1. 涉及多个key的操作通常是不被支持的。举例来说，当两个set映射到不同的redis实例上时，你就不能对这两个set执行交集操作。 涉及多个key的redis事务不能使用。
            2. 当使用分区时，数据处理较为复杂，比如你需要处理多个rdb/aof文件，并且从多个实例和主机备份持久化文件。 增加或删除容量也比较复杂。redis集群大多数支持在运行时增加、删除节点的透明数据平衡的能力，但是类似于客户端分区、代理等其他系统则不支持这项特性。然而，一种叫做presharding的技术对此是有帮助的。
2. 分区类型：Redis 有两种类型分区。
    * 假设有4个Redis实例 R0，R1，R2，R3，和类似user:1，user:2这样的表示用户的多个key，对既定的key有多种不同方式来选择这个key存放在哪个实例中。也就是说，有不同的系统来映射某个key到某个Redis服务。
        1. 范围分区
            * 最简单的分区方式是按范围分区，就是映射一定范围的对象到特定的Redis实例。比如，ID从0到10000的用户会保存到实例R0，ID从10001到 20000的用户会保存到R1，以此类推。
            * 这种方式是可行的，并且在实际中使用，不足就是要有一个区间范围到实例的映射表。这个表要被管理，同时还需要各 种对象的映射表，通常对Redis来说并非是好的方法。
        2. 哈希分区
            * 另外一种分区方法是hash分区。这对任何key都适用，也无需是object_name:这种形式，像下面描述的一样简单：  
             用一个hash函数将key转换为一个数字，比如使用crc32 hash函数。对key  foobar执行crc32(foobar)会输出类似93024922的整数。对这个整数取模，将其转化为0-3之间的数字，就可以将这个整数映射到4个Redis实例中的一个了。93024922 % 4 = 2，就是说keyfoobar应该被存到R2实例中。注意：取模操作是取除的余数，通常在多种编程语言中用%操作符实现。

### redis集群

最近在网上查阅redis资料，看到介绍redis扩展的特性，现分享一下笔记
# Redis高级

### 数据备份与恢复
1. SAVE命令用于创建当前数据库的备份,该命令将在redis安装目录中创建dump.rdb文件,即手动进行rdb备份
```
    //调用rdbSave函数，阻塞redis主进程
    redis 127.0.0.1:6379> save
    OK
```
2. 恢复数据只要将该rdb文件放到安装目录下并启动服务即可
3. Bgsave命令用于后台执行备份操作
```
    //fork出一个子进程，由子进程调用rdbSave函数
    127.0.0.1:6379> BGSAVE
    Background saving started
```

### redis安全
1. 可以通过 redis 的配置文件设置密码参数
2. 查看密码验证：
```
    127.0.0.1:6379> CONFIG get requirepass
    1) "requirepass"
    2) "" //为空，则不需验证
```
3. 命令设置密码验证：
```
    127.0.0.1:6379> CONFIG set requirepass "aaa"
    OK
    127.0.0.1:6379> CONFIG get requirepass
    1) "requirepass"
    2) "aaa"
   
    //设置密码验证后，需先授权才能操作
    127.0.0.1:6379> AUTH password
   
    //清空密码
    127.0.0.1:6379> AUTH aaa
    127.0.0.1:6379> CONFIG set requirepass ""
    OK
    127.0.0.1:6379> CONFIG get requirepass
    1) "requirepass"
    2) ""
```

### 性能测试
1. 通过执行多个命令进行性能测试   
2. 基本命令
```
    redis-benchmark [option] [option value]
```
3. 示例：同时执行10000个请求测试性能
```
    $ redis-benchmark -n 10000  -q
     
    PING_INLINE: 141043.72 requests per second
    PING_BULK: 142857.14 requests per second
    SET: 141442.72 requests per second
    GET: 145348.83 requests per second
    INCR: 137362.64 requests per second
    LPUSH: 145348.83 requests per second
    LPOP: 146198.83 requests per second
    SADD: 146198.83 requests per second
    SPOP: 149253.73 requests per second
    LPUSH (needed to benchmark LRANGE): 148588.42 requests per second
    LRANGE_100 (first 100 elements): 58411.21 requests per second
    LRANGE_300 (first 300 elements): 21195.42 requests per second
    LRANGE_500 (first 450 elements): 14539.11 requests per second
    LRANGE_600 (first 600 elements): 10504.20 requests per second
    MSET (10 keys): 93283.58 requests per second
```
其中可选参数如下：  
选项 | 描述 | 默认值
---|---|---
-h | 指定服务器主机名 | 127.0.0.1
-p | 指定服务器端口 | 6379
-s | 指定服务器socket |
-c | 指定并发连接数 |
-n | 指定请求数 | 10000
-d | 以字节形式指定SET/GET值的数据大小 | 2
-k | 1=keep alive 0=reconnect | 1
-r | SET/GET/INCR 使用随机key,SADD使用随机值 |
-p | 通过管道传输请求 | 1
-q | 强制退出redis，仅显示query/sec值 |
--csv | 以csv格式输出 |
-l | 生成循环，永久执行测试 |
-t |仅运行以逗号分隔的测试命令列表 |
-I | Idle模式，仅打开N个idle连接并等待 |

* 多个参数令执行实例：
```
$ redis-benchmark -h 127.0.0.1 -p 6379 -t set,lpush -n 10000 -q
SET: 146198.83 requests per second
LPUSH: 145560.41 requests per second

    以上实例中主机为 127.0.0.1，端口号为 6379，执行的命令为 set,lpush，请求数为 10000，通过 -q 参数让结果只显示每秒执行的请求数。
```

### 客户端连接
1. Redis 通过监听一个 TCP 端口或者 Unix socket 的方式来接收来自客户端的连接，当一个连接建立后，Redis 内部会进行以下一些操作：  
首先，客户端 socket 会被设置为非阻塞模式，因为 Redis 在网络事件处理上采用的是非阻塞多路复用模型。 然后为这个 socket 设置 TCP_NODELAY 属性，禁用 Nagle 算法 然后创建一个可读的文件事件用于监听这个客户端 socket 的数据发送
2. 最大连接数
    * 查看
    ```
    config get maxclients

    1) "maxclients"
    2) "10000"
    ```
    * 配置文件中设置(2.6及之后版本)
    ```
    redis-server --maxclients 100000
    ```
2. 客户端命令
    S.N. | 命令 | 描述
    ---|---|---
    1 | client list | 返回连接到redis服务的客户端列表
    2 | client setname | 设置当前连接的名称
    3 | client getname | 获取通过setname设置的服务名称
    4 | client pause | 挂起客户端连接，指定挂起的时间以毫秒计
    5 | client kill | 关闭客户端连接

### 管道技术
1. Redis是一种基于客户端-服务端模型以及请求/响应协议的TCP服务。这意味着通常情况下一个请求会遵循以下步骤：  
客户端向服务端发送一个查询请求，并监听Socket返回，通常是以阻塞模式，等待服务端响应。服务端处理命令，并将结果返回给客户端。
2. Redis 管道技术可以在服务端未响应时，客户端可以继续向服务端发送请求，并最终一次性读取所有服务端的响应。
3. 使用jedis进行测试
```java
    @Test
    public void withoutPipe() {
        Jedis jedis = JedisPoolUtils.getJedis();
        List<String> list = new ArrayList<>();
        for(int i = 0; i < 100; i ++) {
            list.add("aaa"+i);
        }

        long start = System.currentTimeMillis();

        for(int i=0;i<list.size();i++) {
            jedis.set(list.get(i), "bbb");
        }

        System.out.println(System.currentTimeMillis() - start); // 72ms
    }
   
    @Test
    public void withPipe() {
        Jedis jedis = JedisPoolUtils.getJedis();
        Pipeline pipelined = jedis.pipelined();
        List<String> list = new ArrayList<>();
        for(int i = 0; i < 100; i ++) {
            list.add("aaa"+i);
        }

        long start = System.currentTimeMillis();

        for(int i=0;i<list.size();i++) {
            pipelined.set(list.get(i), "bbb");
        }

        System.out.println(System.currentTimeMillis() - start); // 8ms，显著提升效率
    }
```
注：管道技术是异步调用返回结果，故pipelined.syncAndReturnAll()返回的是打包的结果集。

### redis事务
1. 事务是保证事务内的所有命令是原子操作，一般配合watch使用，事务的执行结果和pipeline一样都是采用异步的方式获取结果，multi.exec()提交事务，如果执行成功，其返回的结果和pipeline一样是所有命令的返回值，如果事务里面有两个命令那么事务的exec返回值会把两个命令的返回值组合在一起返回。如果事务被取消返回null。
2.


### redis分区技术
1. 分区是分割数据到多个Redis实例的处理过程，因此每个实例只保存key的一个子集。
    * 分区的优势
        * 通过利用多台计算机内存的和值，允许我们构造更大的数据库。通过多核和多台计算机，允许我们扩展计算能力；通过多台计算机和网络适配器，允许我们扩展网络带宽。
    * 分区的不足
        * redis的一些特性在分区方面表现的不是很好：
            1. 涉及多个key的操作通常是不被支持的。举例来说，当两个set映射到不同的redis实例上时，你就不能对这两个set执行交集操作。 涉及多个key的redis事务不能使用。
            2. 当使用分区时，数据处理较为复杂，比如你需要处理多个rdb/aof文件，并且从多个实例和主机备份持久化文件。 增加或删除容量也比较复杂。redis集群大多数支持在运行时增加、删除节点的透明数据平衡的能力，但是类似于客户端分区、代理等其他系统则不支持这项特性。然而，一种叫做presharding的技术对此是有帮助的。
2. 分区类型：Redis 有两种类型分区。
    * 假设有4个Redis实例 R0，R1，R2，R3，和类似user:1，user:2这样的表示用户的多个key，对既定的key有多种不同方式来选择这个key存放在哪个实例中。也就是说，有不同的系统来映射某个key到某个Redis服务。
        1. 范围分区
            * 最简单的分区方式是按范围分区，就是映射一定范围的对象到特定的Redis实例。比如，ID从0到10000的用户会保存到实例R0，ID从10001到 20000的用户会保存到R1，以此类推。
            * 这种方式是可行的，并且在实际中使用，不足就是要有一个区间范围到实例的映射表。这个表要被管理，同时还需要各 种对象的映射表，通常对Redis来说并非是好的方法。
        2. 哈希分区
            * 另外一种分区方法是hash分区。这对任何key都适用，也无需是object_name:这种形式，像下面描述的一样简单：  
             用一个hash函数将key转换为一个数字，比如使用crc32 hash函数。对key  foobar执行crc32(foobar)会输出类似93024922的整数。对这个整数取模，将其转化为0-3之间的数字，就可以将这个整数映射到4个Redis实例中的一个了。93024922 % 4 = 2，就是说keyfoobar应该被存到R2实例中。注意：取模操作是取除的余数，通常在多种编程语言中用%操作符实现。

### redis集群