谷歌文件系统
The Google File System
贡献:大数据三大论文,开启了大数据时代
Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung
Google, Inc.
摘要
我们设计并实现了谷歌文件系统(Google File System, GFS)——这是一个面向大规模分布式数据密集型应用的可扩展分布式文件系统。它能够在廉价的商用硬件上运行,同时提供容错能力,并向大量客户端提供高聚合性能。
尽管与此前的分布式文件系统有着诸多相同目标,但我们的设计源于对应用负载和技术环境的观察(包括当前现状与未来预期),这些观察反映出我们与一些早期文件系统假设存在显著分歧。这促使我们重新审视传统选择,并探索截然不同的设计切入点。
该文件系统已成功满足了我们的存储需求。它作为存储平台在谷歌内部被广泛部署,用于生成和处理各项服务所使用的数据,以及需要大规模数据集的研发工作。截至目前,最大的集群在超过一千台机器的数千块磁盘上提供了数百TB的存储容量,并被数百个客户端并发访问。
在本文中,我们介绍了为支持分布式应用而设计的文件系统接口扩展,讨论了设计中的诸多方面,并给出了微观基准测试与实际应用场景下的性能测量结果。
分类与主题描述
D [4]: 3-分布式文件系统
通用术语
设计、可靠性、性能、测量
关键词
容错、可扩展性、数据存储、集群存储
*邮箱:{sanjay, hgobioff, shuntak}@google.com
未经许可,不得以营利或商业优势为目的制作或分发本文的数字或纸质副本;副本需标注本声明及首页完整引用信息。如需其他形式的复制、再发布、在服务器上发布或向列表重新分发,需要事先获得特定许可和/或支付费用。