Pig

Apache Pig 是一个用于分析大数据集的平台，由表达数据分析程序的高级语言与评估这些程序的基础架构组成。Pig 程序的结构适合大量并行化，常被用于处理特大量数据集。该产品面向 Hadoop 生态的数据分析开发者。

核心功能

• Pig Latin 文本语言易于编程，轻松实现并行执行
• 理想化问题让系统自动优化任务执行
• 可扩展，用户可创建特殊目的的函数
• 编译器为 Map-Reduce 程序产生序列用于大规模并行实现
• 通过数据流序列明确编码复杂多步转换
• 支持 Hadoop 0.23.X、1.X 或 2.X 多版本
• 可选 Python 2.7 用于 Streaming UDF 与 Ant 用于构建

适用场景

适用于 Hadoop 上的大规模数据集并行分析、ETL 与多步数据转换场景。适合偏好高级语言而非直接编写 MapReduce 的分析师。

技术规格与支持平台

• 运行于 Hadoop 集群，需 Java 1.7 与 HADOOP_HOME 配置
• 开源项目，提供 Pig Latin 语言