用 Hadoop 进行分布式数据处理，第 1 部分: 入门

核心提示： 根据前面的讨论，我们需要一个输入集并产生一个输出集，用 Hadoop 进行分布式数据处理，第 1 部分: 入门(5)，第一步是在文件系统中创建一个 input 子目录，工作将放在这个目录中，这会产生相当多的输出（这里的输出比较少是因为只处理两个文件），它显示 map 和 reduce 函数的进度

根据前面的讨论，我们需要一个输入集并产生一个输出集。第一步是在文件系统中创建一个 input 子目录，工作将放在这个目录中。使用以下命令：

#　hadoop-0.20　fs　-mkdir　input　

接下来，在 input 目录中放一些工作。在这里，使用 put 命令把文件从本地文件系统转移到 HDFS 中（见清单 4）。注意，下面的命令格式把源文件转移到 HDFS 子目录 (input) 中。完成之后，在 HDFS 中就有两个文本文件等待处理。

清单 4. 把文件转移到 HDFS 中

#　hadoop-0.20　fs　-put　/usr/src/linux-source-2.6.27/Doc*/memory-barriers.txt　input　
#　hadoop-0.20　fs　-put　/usr/src/linux-source-2.6.27/Doc*/rt-mutex-design.txt　input　
#　

接下来，使用 ls 命令检查文件是否存在（见清单 5）。

清单 5. 检查 HDFS 中的文件

#　hadoop-0.20　fs　-ls　input　
Found　2　items　
-rw-r--r--　1　root　supergroup　78031　2010-04-29　17:35　/user/root/input/memory-barriers.txt　
-rw-r--r--　1　root　supergroup　33567　2010-04-29　17:36　/user/root/input/rt-mutex-design.txt　
#　

确认工作已经放在 HDFS 中之后，就可以执行 MapReduce 函数了。这个函数只需要一个命令，但是需要很长的请求，见清单 6。这个命令请求执行一个 JAR。它实际上实现许多功能，但是这个示例只使用 wordcount。jobtracker 守护进程请求 datanode 执行 MapReduce 作业，这会产生相当多的输出（这里的输出比较少是因为只处理两个文件）。它显示 map 和 reduce 函数的进度，然后提供与文件系统的 I/O 和记录处理相关的统计数据。