zz198808 / bfs

The Baidu File System.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Travis Build Status

Jenkins Build Status

##背景 百度的核心数据库Tera将数据持久化在分布式文件系统上,文件系统的性能、稳定性和扩展性意义重大,当前使用中的文件系统无法满足Tera在这几方面的需求,所以我们从Tera需求出发,开发了百度自己的分布式文件系统。

构建

在百度内部,可以直接运行:
sh internal_build.sh
外部构建请参考.travis.yml中的步骤。

Sandbox

Sandbox目录下包含了运行单机测试的环境和脚本。
deploy.sh: 在本地部署一个包含4个chunkserver、1个nameserver的集群
start.sh: 启动部署好的集群
clear.sh: 清理集群
small_test.sh 简单的自动化测试脚本,会调用上面三个脚本,并使用bfs_client测试文件系统的基本功能

日志规则与说明

为了简化日志打印,并便于grep,
所有block id的打印使用“#%ld "的格式(即前加#,后加空格)
所有chunkserver id打印使用"C%d "的格式
所有entry id打印使用"E%ld "的格式

##前世 突然想写个分布式文件系统~

  1. 支持表格系统的持久化数据存储
  2. 支持混布系统的临时数据存储
  3. 支持mapreduce的大文件存储

想加入的人在这留个名吧:

yanshiguang~
yuanyi~
yuyangquan~
leiliyuan~

About

The Baidu File System.

License:BSD 3-Clause "New" or "Revised" License


Languages

Language:C++ 92.0%Language:Protocol Buffer 3.1%Language:Shell 2.9%Language:Makefile 1.9%