屌丝道士,叶志平,三毛流浪记

频道:欧洲联赛 日期: 浏览:203

Go生态圈有好几个K/V数据库,我们经常用它来做我们的存储引擎,但是这巨腿螳些数据库引擎的性能如何呢?本文试图用性能而不是功能的数据考察这些数据库,我测试了孟学龙几种场景: 并屌丝道士,叶志平,三毛流浪记发写、并发读、单一写并发读、并发删除,得出了一些有趣沈明月的数据。

测试在两台机器上测试的,一台机械硬盘,一台固态硬盘,使用256字节作为value值的大小,9个字节淑女花苑作为key的大小,测试简单的读写删除操作,并没有测试批量读写操作。 每个测试case测试1分钟。

代码: kvbench

K/V 数据库

-Rocksdb: RocksDB是Faceb郑晓阳ook维护的高性能的嵌入式K/V数据库。它是LevelDB的克隆版,针对多核、SSD做了很多优化。吕成功简历 LSM tree数据结构。

-badger: 一个纯Go实现的快速的嵌入式K/V数据库,针对LSM tree做了优化,在某些情况下可以取得比较好的性能。

-goleveldb: leveldb的纯Go实现,非Google的C++版本

-bolt: 一个广恶警泛使用的K/V数据库,基本上不会有新的功能加入了。

-bbolt: coreos的bolt克隆版,继续维护和扩展bolt的功能。

-buntdb: 一个基于内存的K/V数据库,也可以落盘。

-cznic/kv: 基本上不维护了。

-pebble: 一个性能优异的K/V数据库。

-map (in-memory) with AOF persistence: 基于map数据结构的数据库。

-btree (in-memory) with AOF persistence: 基于btree数据结构的数据库。

btree使用btre贮组词e的数据结构,如果文件路径为:memory:,则直接写内存,而不会存于硬盘文件中天天干影院。fsync为true是会同步硬盘文件。

map使用map的数据结构,如果文件路径为:memory:,则直接写内存,而不会存于硬盘文件中。fsync为true是会同步硬盘文件。

当然,除了基本的K/V操作外,有些数据库还加入了事务、bucket(Column Families)等额外的功能,这也是选型的时候要考虑的一个重要方面。

查看硬件环境

查看磁盘情况:fdisk -l

查看磁盘型号:smartctl -a /dev/sda

下面两个命令不太准, 都显示1:

cat /sys/block/sda/queue/rotational

lsblk -d -o name,rota

使用Mega凯尔亮Cli工具:

/opt/MegaRAID/MegaCli/MegaCli64 -ldpdinfo -aall |grep 'Media Type'

机械硬盘

硬盘是希捷的机械硬盘:

1Vendor: SEAGATE
2Product: ST900MM0168
3User Capacity: 900,185,481,216 bytes [900 GB]
4Rotation Rate: 10500 rpm

2客CPU, 20个物理 CPU core, 开了超线程40个逻辑 CPU core。

32G内存。

1/不写盘(nofsync)

throughputs





btree和map相关的实现最好,因为都是直接的内存操作,而且操作也很简单。而且map更简单,通过hash直接找到对应对象。

对于其它的K/V数据库,相对来说rocksdb性能更好一些,而buntdb在只读的情况下性能不错。

time (late晏伟翔ncy)





耗时基本和吞吐负相关,耗时越长,性能越差,唯一的例外是goleveldb,它的耗时也很短,但是吞吐率却没有足够优秀。

2/同步写盘(fsync)

throughputs





在数据落盘的情况下,写的性能急剧下降,因为每次写都需要同步到硬盘中,比较好的是rocksdb和badger,能达到1000+ op/s, 其它基本都在100以内原千。

time (latency)





和吞天使萌男人团吐率负相关,goleveldb例外。bbolt和kv删除的时候也很慢。

SSD 固态硬盘

采用固态硬盘,我们期望写的性能能提升起来,看测试结果。

10块 SSD, 型号:

1Vendor: AVAGO
2Product: AVAGO
3Revision: 4.66
4User Capacity: 298,999,349,248 b昆特沙ytes [298 GB]
5Device Speed: 6.0Gb/s
6Link Speed: 12.0Gb/s
7Media Type: Solid State Device

1/不写盘(nofsync)

throughputs




读写都很快,rocksdb表现依然很优秀。而惜春纪buntdb的只读依然很快。因为没有同步落盘的操作。

这个数据和前面的不写盘的数据不相同,是因为我换了一台有ssd的机器进行测试。

time (latency)






2/同步写盘(fsync)

throughputs






在落盘的情况下,写操作有了大幅的提升。尤其是goleveldb和badger,但是roc恶魔榨精ksdb的读是远远领先于其它K/V数据的(除了btree和map)。

time (latency)老实交代我是谁





总的万里随波行来说,rocksdb的表现不错。为了保证不丢数据,我们可能需要设置同步硬盘的参数,但是这可能影响写的性能,需要通过批量写和SSD来解决。

对badger有点小失望,当然它对SSD的优化还是很可以的,有可能测试大的数据的时候才能显示出来它的优势。

对于简单的场景,也可以采用btree、map这种简单的数据结构来实现,加上AOF,如果想减少AOF的大小,可以像redis一样合并AOF的操作,去掉无用的中间数据。

原文作者:smallnest


版权申明:内容来源网络,版权归原创者所有。除非无法确认,我们都会标明作者及出处,如有侵权烦请告知,我林念雪们会立即删除并表示歉意。谢谢。