redis rdb 文件分析工具和使用

目前线上的 redis内存容量急剧增加,已经达到98%了.解决方案除了 扩容 redis内存 ,还需要 分析下线上的数据增加是否符合预期 .
所以需要下载线上的 rdb 文件来分析 数据使用情况.
目前使用的工具有两个一个 python 的 redis_rdb_tools ,另外一个是 golang的 rdr .

redis_rdb_tools

安装 python
2.安装 pip
3.安装rdbtools pip 安装(推荐): pip install rdbtools github上下载源码进行安装

 git clone https://github测试数据/sripathikrishnan/redis-rdb-tools
cd redis-rdb-tools
sudo python setup.py install
 

4.使用
例如：

解析rdb文件并向屏幕打印输出json数据
rdb --command json dump.rdb
结果：
[{"fruit":["apple","banana"],
"webset":{"baidu":"HdhCmsTestbaidu测试数据"},
"baiduyun":"redis",
"languages":["python","java"],
"page_rank":{"baidu测试数据":"10"}}]

只输出匹配某个key的数据
rdb --command json --key "fruit" dump.rdb
结果：
[{"fruit":["apple","banana"]}]

使用 redis-rdb-tools 生成内存快照,可以查看具体的 key 和过期时间,我们可以重点查看那些没有过期时间的 key,如果是脏数据可以考虑清理一波
rdb --command memory dump.rdb > memory.csv
生成 CSV 格式的内存报告。包含的列有：数据库 ID，数据类型，key，内存使用量(byte)，编码。内存使用量包含 key、value 和其他值，结果：
database,type,key,size_in_bytes,encoding,num_elements,len_largest_element,expiry
0,set,fruit,252,hashtable,2,6,
0,hash,webset,81,ziplist,1,13,
0,string,baiduyun,64,string,5,5,
0,list,languages,161,quicklist,2,6,
0,sortedset,page_rank,80,ziplist,1,9

redis-rdb-tools和mysql进行数据分析
将redis-rdb-tools产生的csv导入到mysql中，用户就可以根据自己的需求进行更详尽的分析。
a 创建表格：
CREATE TABLE memory ( database int(128) DEFAULT NULL, type varchar(128) DEFAULT NULL, key varchar(128), size_in_bytes int(128) DEFAULT NULL, encoding varchar(128) DEFAULT NULL, num_elements int(128) DEFAULT NULL, len_largest_element varchar(128) DEFAULT NULL, expiry varchar(128) DEFAULT NULL, PRIMARY KEY ( KEY ) );

b 导入文件：
load data infile ‘memory.csv‘ into table memory FIELDS TERMINATED BY ‘,‘ IGNORE 1 LINES;

c 展示结果：

rdr

更加偏向于整体统计和分析,各个数据结构的占比和某些前缀的的 key 占比情况:
源码地址
安装参考
安装步骤:
Linux amd64
$ wget https://github测试数据/xueqiu/rdr/releases/download/v0.0.1/rdr-linux -O /usr/local/bin/rdr
$ chmod +x /usr/local/bin/rdr

MacOS
$ curl https://github测试数据/xueqiu/rdr/releases/download/v0.0.1/rdr-darwin -o /usr/local/bin/rdr
$ chmod +x /usr/local/bin/rdr

Windows # 浏览器下载下面链接，在点击运行
https://github测试数据/xueqiu/rdr/releases/download/v0.0.1/rdr-windows.exe

rdr 路径:/usr/local/bin/rdr
/usr/local/bin/rdr show -p 8080 dump.rdb
/usr/local/bin/rdr keys dump.rdb
已 mac为例:
下载下来的文件就是二进制文件,可以直接使用 ./rd-darwin
用 web页面查看数据分析:
./rdr-darwin show -p 8080 ~/Downloads/dump.rdb
直接访问: localhost:8080即可看到 web分析结果,类似于:

查看所有的redis key
./rdr keys example.rdb

redis rdb 文件分析工具和使用

标签：展示   ted   elements   工具   hashtable   nan   创建   点击   mysql   

查看更多关于redis rdb 文件分析工具和使用的详细内容...