Apache Flume

Apache Flume 是一个高可用、高可靠的分布式海量日志采集、聚合与传输系统，由 Cloudera 提供。它支持在日志系统中定制各类数据发送方以收集数据，并对数据进行简单处理，再写到各种可定制的数据接收方。

核心功能

• 日志采集：将各服务器中的数据收集起来送到指定目的地（如 HDFS）。
• Event 模型：以 event 为基本传输单位封装数据，并携带 headers 头信息。
• Agent 架构：agent 作为 Java 进程，包含 source、channel、sink 三个核心组件。
• 事务保障：在 event 级别保证传输事务，先缓存于 channel 再送达 sink。
• 聚合传输：支持对数据进行简单处理与聚合后批量传输。
• 可定制：支持定制各类数据源（source）与接收方（sink），适配不同系统。
• 分布式：适合在日志收集节点分布式部署，横向扩展采集能力。

适用场景

适用于大数据平台的日志采集管道，如将应用服务器日志实时汇聚到 HDFS 供后续分析，是 Hadoop 生态中数据采集环节的常用组件。

技术规格与支持平台

• 分布式日志收集系统，基于 Java 进程运行，核心为 source-channel-sink 架构。
• 生态归属 Hadoop，常与 HDFS 配合；授权形态：商业支持版本（源自 Apache 开源项目）。