MapReduce

Hadoop MapReduce 是一个用于编写大数据应用程序的软件框架，其程序能以可靠、高容错的方式在成千上万个节点的集群上并行处理 TB 级数据集。它将分布式并行编程抽象为 Map 与 Reduce 两个函数，使开发者无需关心底层细节。

核心功能

• 采用“分而治之”思想，将大规模数据集操作分发到各分节点完成。
• 将编程模型抽象为 Map（映射）与 Reduce（归约）两个用户函数。
• 框架自动处理分布式存储、工作调度、负载均衡与容错。
• JobTracker 负责任务调度，TaskTracker 负责执行工作。
• 支持对海量数据集的高容错并行处理。
• 适用于数据可分解为彼此独立的子任务并可完全并行的场景。
• 屏蔽网络通信与容错处理等复杂问题，降低开发门槛。
• 与 Hadoop 生态的其他组件紧密协作，构成批处理基石。

适用场景

适用于超大规模数据集的离线批处理、日志分析与 ETL 计算。对需要高容错、可水平扩展的分布式计算场景较为合适。

技术规格与支持平台

• Apache Hadoop
• Java
• 分布式计算
• 授权形态：商业软件（需授权使用）