HDFS

HDFS（Hadoop Distributed File System）是运行在通用硬件上的分布式文件系统，与其他分布式文件系统相似但有显著区别。它支持高容错、面向低成本硬件部署，并为包含大型数据集的应用提供高吞吐量数据访问。HDFS 是 Apache Hadoop 的子项目。

核心功能

• 硬件故障检测与自动快速恢复作为核心设计目标
• 为批量处理设计，重视数据吞吐量而非交互响应
• 支持 GB 到 TB 级别的典型大文件与高聚合带宽
• 简单一致性模型：一次写、多次读取的操作模式
• 移动计算比移动数据更经济，减少网络拥堵
• 适合 MapReduce 与网络爬虫等程序模型
• 通过数据流方式访问数据集而非普通文件系统

适用场景

适用于大规模数据集的批处理存储，如日志分析、数据仓库底层与 MapReduce 计算场景。适合需要高吞吐、高容错且低成本硬件的分布式存储。

技术规格与支持平台

• 作为 Apache Hadoop 子项目，运行于通用硬件集群
• 开源项目（本目录以商业形式提供相关支持）