Avro

Avro 是一个基于二进制数据传输的高性能数据序列化系统，在 Hadoop 生态（如 HBase、Hive 的客户端与服务端通信）中被采用。它可将数据结构或对象转化为便于存储或传输的格式，专为数据密集型应用设计。

核心功能

• 丰富的数据结构类型，支持复杂数据建模。
• 快速、可压缩的二进制数据形式，节约存储与网络带宽。
• 提供存储持久数据的文件容器。
• 可实现远程过程调用（RPC）。
• 支持简单动态语言结合功能，便于脚本语言使用。
• 跨编程语言实现（C、C++、C#、Java、Python、Ruby、PHP 等）。
• 依赖模式（Schema），动态加载相关数据模式减少写入开销。
• 数据及其模式自我描述，便于动态脚本与跨语言交换。

适用场景

适用于 Hadoop 生态中大规模数据的序列化存储与跨语言 RPC 通信。对需要在磁盘与网络间高效交换结构化数据的场景较为合适。

技术规格与支持平台

• Apache Avro
• Java/多语言
• Hadoop 生态
• 授权形态：商业软件（需授权使用）