Oracle Redo log日志组故障分析

核心提示： 3. 检查IO状况我们可以使用IOSTAT工具检查系统IO状况：gqgai:/home/gqgai>iostat -xn 3extended device statisticsr/sw/s kr/s kw/s wait actv wsvc_t asvc_t%w%b device...

3. 检查IO状况

我们可以使用IOSTAT工具检查系统IO状况：

gqgai:/home/gqgai>iostat -xn 3
　　　　　　　　　　extended device statistics
　　r/s　　w/s　 kr/s　 kw/s wait actv wsvc_t asvc_t　%w　%b device
......
　　0.0　　0.0　　0.0　　0.0　0.0　0.0　　0.0　　0.0　 0　 0 c0t6d0
　　1.8　 38.4　 32.4　281.0　0.0　0.7　　0.0　 16.4　 0　29 c0t10d0
　　1.8　 38.4　 32.4　281.0　0.0　0.5　　0.0　 13.5　 0　27 c0t11d0
　 24.8　 61.3 1432.4　880.1　0.0　0.5　　0.0　　5.4　 0　26 c1t1d0
　　0.0　　0.0　　0.0　　0.0　0.0　0.0　　0.0　　9.1　 0　 0 hurraysms02:vold(pid238)
　　　　　　　　　　extended device statistics
　　r/s　　w/s　 kr/s　 kw/s wait actv wsvc_t asvc_t　%w　%b device
........
　　0.0　　0.0　　0.0　　0.0　0.0　0.0　　0.0　　0.0　 0　 0 c0t6d0
　　0.3　　8.3　　0.3　 47.0　0.0　0.1　　0.0　　9.2　 0　 8 c0t10d0
　　0.0　　8.3　　0.0　 47.0　0.0　0.1　　0.0　　8.0　 0　 7 c0t11d0
　 11.7　 65.3　197.2　522.2　0.0　1.6　　0.0　 20.5　 0 100 c1t1d0
　　0.0　　0.0　　0.0　　0.0　0.0　0.0　　0.0　　0.0　 0　 0 hurraysms02:vold(pid238)
　　　　　　　　　　extended device statistics
　　r/s　　w/s　 kr/s　 kw/s wait actv wsvc_t asvc_t　%w　%b device
........
　　0.0　　0.0　　0.0　　0.0　0.0　0.0　　0.0　　0.0　 0　 0 c0t6d0
　　0.3　 13.7　　2.7　 68.2　0.0　0.2　　0.0　 10.9　 0　12 c0t10d0
　　0.0　 13.7　　0.0　 68.2　0.0　0.1　　0.0　　9.6　 0　11 c0t11d0
　 11.3　 65.3　 90.7　522.7　0.0　1.5　　0.0　 19.5　 0　99 c1t1d0
　　0.0　　0.0　　0.0　　0.0　0.0　0.0　　0.0　　0.0　 0　 0 hurraysms02:vold(pid238)
　　　　　　　　　　extended device statistics
　　r/s　　w/s　 kr/s　 kw/s wait actv wsvc_t asvc_t　%w　%b device
........
　　0.0　　0.0　　0.0　　0.0　0.0　0.0　　0.0　　0.0　 0　 0 c0t6d0
　　0.0　　8.0　　0.0　 42.7　0.0　0.1　　0.0　　9.3　 0　 7 c0t10d0
　　0.0　　8.0　　0.0　 42.7　0.0　0.1　　0.0　　9.1　 0　 7 c0t11d0
　 11.0　 65.7　978.7　525.3　0.0　1.4　　0.0　 17.7　 0　99 c1t1d0
　　0.0　　0.0　　0.0　　0.0　0.0　0.0　　0.0　　0.0　 0　 0 hurraysms02:vold(pid238)
　　　　　　　　　　extended device statistics
　　r/s　　w/s　 kr/s　 kw/s wait actv wsvc_t asvc_t　%w　%b device
........
　　0.0　　0.0　　0.0　　0.0　0.0　0.0　　0.0　　0.0　 0　 0 c0t6d0
　　0.3　 87.7　　2.7　433.7　0.0　2.2　　0.0　 24.9　 0　90 c0t10d0
　　0.0　 88.3　　0.0　436.5　0.0　1.8　　0.0　 19.9　 0　81 c0t11d0
　 89.0　 54.0　725.4　432.0　0.0　2.1　　0.0　 14.8　 0 100 c1t1d0
　　0.0　　0.0　　0.0　　0.0　0.0　0.0　　0.0　　0.0　 0　 0 hurraysms02:vold(pid238)

在以上输出中，我们注意到，存放数据库的主要卷c1t1d0的繁忙程度始终处于99~100,而写速度却只有500K/s左右，这个速度是极为缓慢的。

根据IOSTAT的手册:

(%b percent of time the disk is busy (transactions in progress)
Kw/s kilobytes written per second)

根据我们的常识，T3盘阵通常按Char写速度可以达到10M/s左右，以前测试过一些Tpcc指标，可以参考：www.eygle.com/unix/Use.Bonnie.To.Test.IO.speed.htm。

而正常情况下的数据库随机写通常都在1~2M左右，显然此时的磁盘已经处于不正常状态，经过确认的确是硬盘发生了损坏，Raid5的Group中损坏了一块硬盘。

经过更换以后系统逐渐恢复正常。