Sqoop

Apache Sqoop 是一个在 Apache Hadoop 与结构化数据存储之间高效传输大量数据的工具。它可将关系型数据库（如 MySQL、Oracle、Postgres 等）中的数据导入 HDFS，也可将 HDFS 数据导出到关系型数据库。该产品面向需要在 Hadoop 与数据库间搬运数据的工程师。

核心功能

• 通过 Hadoop MapReduce 把关系型数据导入 HDFS
• import 时按 split-by 参数切分并分配到不同 map
• 根据 split-by 字段类型采用不同切分方法
• 支持按 num-mappers 控制并行导入区域数量
• 可将 HDFS 数据导出回关系型数据库
• 支持 MySQL、Oracle、Postgres 等多种关系型数据库
• 适合大批量数据在 Hadoop 与数据库间迁移

适用场景

适用于将关系型数据库数据批量导入 Hadoop 进行分析，或将计算结果导出的场景。适合构建数据仓库与大数据管道的团队。

技术规格与支持平台

• 运行于 Hadoop 生态，连接多种关系型数据库
• 开源项目，提供 import/export 工具