DeepSeek 开源周的 5 号炸弹来啦!又是集束炸弹!3FS 和 smallpond!
我不敢相信DeepSeek甚至颠覆了存储架构...... 我上次为网络文件系统震惊还是HDFS和CEPH. 但这些都是面向磁盘的分布式文件系统. 现在一个真正意义上面向现代SSD和RDMA网络的文件系统诞生了!
飞火流星文件系统(3FS)- 一种利用现代 SSD 和 RDMA 网络全带宽的并行文件系统
这个文件系统可以在 180 节点集群中达到6.6 TiB/s 总读取吞吐量,每个客户端节点 KVCache 查找峰值吞吐量 40+ GiB。
另一个 smallpond(小池塘)是基于 3FS 的数据处理框架!
这个框架由 DuckDB 提供的高性能数据处理,可扩展以处理 PB 级数据集!
地址:https://t.co/a1fGox15Xu
地址:https://t.co/gmGX4HJdTA
#DeepSeek #deepseek开源周
点击图片查看原图
点击图片查看原图