DeepSeek发布高性能并行文件系统3FS，支持深度学习应用

近日，DeepSeek正式发布了其最新的高性能并行文件系统——3FS（Fire-Flyer File System），该系统专为现代环境下的数据密集型应用而设计，尤其是在深度学习领域的应用场景中展现出强大的性能支持。3FS能够有效利用现代固态硬盘（SSD）和远程直接内存访问（RDMA）网络的带宽，使得数据的访问速度有了显著提升，极大地优化了训练和推理的效率。

3FS的非凡性能

在性能测试中，3FS展现出了不少亮眼的数据。具体而言，在一个由180个节点组成的集群环境中，3FS能够实现高达6.6 TiB/s的聚合读取吞吐量，这一速度令人振奋，并为大规模数据处理提供了强有力的支持。同时，在仅25个节点的集群中进行的GraySort基准测试中，3FS的吞吐率也达到了3.66 TiB/min，显示出其在不同规模下的优异性能。

3FS的每个客户端节点的KVCache查找峰值吞吐量更是超过了40 GiB/s，这对于需要频繁进行数据读写的深度学习工作负载是一项不可或缺的优势。更重要的是，3FS采用去中心化架构，强一致性语义确保了在并行操作下数据的准确性和可靠性。

应用场景与支持能力

3FS不仅仅是一个高性能的文件系统，它的设计初衷是针对AI训练与推理工作负载所带来的各种挑战。通过提供共享存储层，3FS极大地简化了分布式应用程序的开发过程。无论是数据准备，数据加载，还是检查点设置与推理缓存，3FS都能高效地支持各种AI工作负载。

在DeepSeek的V3/R1版本中，3FS被广泛应用于多个关键环节，包括训练数据的预处理、数据集的加载、模型检查点的保存与重新加载、嵌入向量的搜索，以及推理过程中KVCache的高效查找等。这些关键环节的优化直接关系到深度学习模型训练与推理的效率，而3FS正是这一切的助力。

相关工具Smallpond的发布

在发布3FS的同时，DeepSeek还为广大开发者开源了基于3FS构建的数据处理框架——Smallpond。Smallpond是一款轻量级的数据处理框架，建立在DuckDB与3FS之上，具有高性能的数据处理能力，能够扩展至PB级的数据集，操作简单，无需持续运行的服务。

Smallpond的设计理念是为简化数据处理工作流而生，其高效的数据处理能力使得开发者可以更专注于算法的优化，而无需过多关注数据存储与访问的细节。一旦与3FS配合使用，Smallpond能够充分发挥出优势，帮助用户更快地完成数据准备与处理，有效推动深度学习模型的开发进程。

未来展望

随着数据规模的不断扩大，深度学习模型的训练与推理所需的资源也越来越庞大。对存储系统与数据处理效率的需求不断提升，3FS的发布为解决这些挑战提供了新的思路和方向。DeepSeek在开源社区的积极探索，展示了其对技术前沿的敏锐洞察与回应能力。

未来，3FS将持续优化与扩展，力争以更高的性能与更丰富的功能来服务于AI开发者们的需求。同时，DeepSeek也在不断地推动开源项目的进展，未来将继续为大家分享更多技术成果，促进深度学习领域的发展。

3FS的开源地址为：https://github/deepseek-ai/3FS，开发者们可以实时体验这一高性能系统带来的效率提升。而基于3FS开发的小型数据处理框架Smallpond也在Github上公开，欢迎用户探索更多功能：https://github/deepseek-ai/smallpond。

DeepSeek所推出的3FS与Smallpond，为深度学习的实际应用提供了令人振奋的支持工具。预计随着越来越多科研人员与开发者的加入，这两款开源工具将在深度学习领域引发新的技术革命。