反驳"MySQL InnoDB (不行)的性能问题",千万级别记录来测试说明
2008-10-17 11:12:00 来源:WEB开发网在 JavaEye 上看到一篇对 MySQL FUD(Fear, uncertainty and doubt) 的文章
用MySQL InnoDB Benchmark 性能测试来说明
文中提到:"InnoDB 的磁盘性能很令人担心,MySQL 缺乏良好的 tablespace 真是天大的缺陷!……网上有用户反映存在同样的插入性能问题,百万行记录插入之后,插入速度下降到了 1/30,从开始的 1600行/秒衰退到 50行/秒……"
50行/秒这么慢我从来没见过,见也没人反驳,所以自己再专门验证一下。
Tim's 环境:
MySQL 5.0.26 x86_64
Linux x86_64
iddata 文件大小17G,未使用innodb_file_per_table分表选项
表1: 1000万行左右,表大小 2.2G,含主键有6个索引字段
表2: 3000万行左右,表大小 6.3G,含主键有6个索引字段
MySQL还有其他一些数据也在iddata中,但测试时候其他数据未访问。
MySQL Server Hardware 环境
双 XEON 3G
4G 内存, SCSI 硬盘
非专业非名牌,普通组装的服务器。
表结构就是一般的用户表,包含 int, varchar, datetime 字段类型,无 text,blob 类型字段。
单行长度 0.1K 左右
对表1测试2分钟插入操作,在1千万的表中每个调用插入1行,通过Java JDBC在另外一台测试机上调用。
服务器 CPU 30%
JDBC Result:
INSERT OK /ERR: 73824/0
Java HEAP: 7.12MB of 63.56 MB (11.2%) used
TIME elapse(sec): 129
AVG平均/CUR当前/MAX最大 Inserts/SEC: 572/620/620
再测试一个3000万的表,通过Java JDBC在另外一台测试机上调用。
可能上一个测试2分钟会让人觉得没有说服力,3000万的表二就测试久一点吧。测试了10多分钟,又插入了100万条新的数据
一个调用只插入1行,8个线程。使用了连接池。
测试结果速度非常稳定。
服务器 CPU 30%
OK /ERR: 1,006,907/0
HEAP: 6.57MB of 63.56 MB (10.3%) used
TIME elapse(sec): 1683
AVG/CUR/MAX Inserts/Sec: 598/586/647
测试结果是:3000万行的表再插入100万行速度持续在将近 600行/秒
论坛文章中还提到"看着文件尺寸 100KB 100KB 的增长,是没法体会痛苦的",
根据MySQL文档,这个增长的size可以配置的,如果数据库大量INSERT, 可以把innodb文件设成每次增长100M或更大。
测试后打算回复一下,可惜JavaEye上新注册了的账号没有论坛发文的权限,只好先放在自己家了。感兴趣的朋友可以去那边讨论。
第二天补充:今天觉得文章说服力不够,因为我的测试表没有TEXT/BLOB字段,所以再测试下大字段,加了个TEXT字段,每行TEXT插入10K,整体速度比上个肯定会低一点,
但可以证明没有线性下降的问题,也可以给大家提供更多参考。
表中已有1000万行记录,采用上面相同的程序。
服务器 CPU 持续在 30%左右,测试结果见下图
测试结果每行插入10k数据,速度维持在300行/秒左右。数据库写入速度大致为: 3M/S
下次有时间再试试单表1亿条记录的。我觉得速度应该还会保持。
更多精彩
赞助商链接