No space left on device的分析及解决

核心提示：看到这个错误，第一个反应是磁盘空间满了；但 df 一看，No space left on device的分析及解决，每个分区的空间都还富余的很，从 munin 的监控图表上看 Filesystem usage 也很平稳，可以在创建文件系统（比如用 mke2fs ）的时候根据实际需要来调整这个参数（比如分区如果用于存放超

　　看到这个错误，第一个反应是磁盘空间满了；但 df 一看，每个分区的空间都还富余的很。从 munin 的监控图表上看 Filesystem usage 也很平稳，但下面的 Inode usage 就有问题了，其中一个分区的 usage 已经到了100%。赶紧跑到服务器上 df -i 检查，果然是 Inode 耗尽。原来这个分区是用来扔各种日志和临时文件的，其中有某个程序产生的临时文件又小又多，又没有进行定时回滚，造成在磁盘空间耗尽之前文件系统的 Inode 就被用光了。

　　Linux/Unix like OS 的文件系统中每个目录树中的节点并不是像 Windows 那样直接包含文件的具体信息，而只包含了文件名和 Inode number 。通过 Inode number 所找到对应于文件名的 Inode 节点中才真正记录了文件的大小/物理地址/所有者/访问权限/时间戳/被硬链接的次数等实际的 metadata 。因此你可以在 Linux 系统中通过硬链接( hard link ) 的方式给某个文件创建无数个位于不同目录下的文件名，而实际的文件数据只需要一份拷贝。

　　但也正因为这种文件系统的结构，当你在 Linux 中进行 IO 操作的时候，需要的资源除了磁盘空间以外，还要有剩余的 Inode 才行。缺省情况下， Linux 在系统安装过程中按照1个 Inode 对应 2k 磁盘空间来计算每个分区的最大 Inode 数。一旦文件系统创建之后，每个分区可用 Inode 数就无法进行动态调整。

　　正常来说，一般不太会出现某个分区的 Inode 耗尽而磁盘空间尚余的情况，除非像我碰到的这样垃圾小文件疯长而又没进行有效的清理。但如果确实需要的话，可以在创建文件系统（比如用 mke2fs ）的时候根据实际需要来调整这个参数（比如分区如果用于存放超大视频文件的话 Inode 的数量可以少一些；如果打算存放的文件是大量小于 2k 的迷你文件的话就要考虑多创建一些 Inode）。

　　附：Inode Definition by The Linux Information Project

　　其它人碰到的 No space left on device 原因：

　　超出系统中同时运行的最大 message queue 个数限制 ： 在 root 下用 sysctl kernel.msgmni 检查该参数， sysctl -w kernel.msgmni=XXX 重新设定即可。

　　cvs 异常断开的连接在 /tmp 目录下留下大量的临时文件导致 /tmp 目录满