Flume

Flume 是一个可高效收集、聚合和移动大量日志数据的可靠分布式系统，拥有基于流动数据流的简单灵活架构。它包含多种故障转移与恢复机制，具备健壮的可靠性与高容错性。

核心功能

• 可靠性：提供 end-to-end、Store on failure、Best effort 三级保障。
• 可扩展性：agent、collector、storage 三层架构均可水平扩展。
• 可管理性：由 master 统一管理，支持 web 与 shell 两种管理形式。
• 功能可扩展性：用户可按需添加 agent、collector 或 storage。
• 节点故障时日志可传送到其他节点而不丢失。
• 多 master 利用 ZooKeeper 与 gossip 保证动态配置一致。
• 自带 file、syslog 等 agent 及 HDFS 等 storage 组件。
• 数据模型简单可扩展，支持应用在线分析。

适用场景

适用于海量日志的采集、聚合与传输到 HDFS 等存储的场景。对需要可靠、可水平扩展的日志管道的大数据平台较为合适。

技术规格与支持平台

• Apache Flume
• Java
• 日志聚合
• 授权形态：商业软件（需授权使用）