在云中使用 MapReduce 和负载平衡

核心提示：云计算旨在通过 Internet 提供随需应变的资源或服务，通常视数据中心的规模和可靠性水平而定，在云中使用 MapReduce 和负载平衡，MapReduce 是一个为并行处理大量数据而设计的编程模型，它将工作划分为一个独立任务组成的集合，Ubuntu 8.2 以上，深入 MapReduce 算法之前，它是一种并行编

云计算旨在通过 Internet 提供随需应变的资源或服务，通常视数据中心的规模和可靠性水平而定。MapReduce 是一个为并行处理大量数据而设计的编程模型，它将工作划分为一个独立任务组成的集合。它是一种并行编程，由某种功能随需应变的云（如 Google 的 BigTable、Hadoop 和Sector）提供支持。

在本文中，将使用遵从 Randomized Hydrodynamic Load Balancing 技术（下文将详细介绍）的负载平衡算法。利用虚拟化来降低成本和物理服务器的实际数目；更重要的是，将使用虚拟化用来实现高效的物理计算机 CPU 利用。

要从本文获取最多的知识，您应该大致了解云计算的概念、Randomized Hydrodynamic Load Balancing 技术和 Hadoop MapReduce 编程模型。最好对并行程序设计有一个基本的了解，了解 Java™ 或其他面向对象的语言的编程知识将很有帮助。

在本文中，要实现 MapReduce 算法，系统应装有以下软件：

Hadoop 0.20.1.

Eclipse IDE 3.0 以上（或 Rational Application Developer 7.1）。

Ubuntu 8.2 以上。

深入 MapReduce 算法之前，我们将建立基本的云架构、负载平衡、MapReduce 和并行编程 — 至少对本文这是足够了。