`

淘宝 TFS 文件系统/分布式文件系统

阅读更多

  淘宝Tfs文件系统安装

 

一、NS DS 上都安装执行的:
 
官网地址:http://code.taobao.org/p/tfs/wiki/deploy/ (下载安装):
1、需要确保安装了automake autoconfig 和 libtool, 使用auotmake --version查看,一般情况下已安装
 Yum –y install automake autoconfig libtool
 
2、TFS依赖于底层开发包tbnet,需要下载tbsys和tbnet源代码(svn checkout http://code.taobao.org/svn/tb-common-utils/trunk/ tb-common-utils)
 
yum –y install libtool mysql-devel readline readline-devel
 
[root@localhost home]# ls
cd tb-common-utils tb-common-utils.zip tfs-1.4.tar.gz
[root@localhost home]# unzip tb-common-utils.zip
[root@localhost home]# cd tb-common-utils
[root@localhost tb-common-utils]# vi /etc/profile
# /etc/profile
export TBLIB_ROOT="/usr/local/tfs_lib"
(ps:建议将这行命令直接写入~/.bash_profile,然后执行“. ~/.bash_profile”)。 进入tb-common-utils文件夹, 执行build.sh进行安装.
 
[root@localhost tb-common-utils]# chmod a+x build.sh
[root@localhost tb-common-utils]# ./build.sh
安装在 /usr/local/tfs_lib 目录下了
 
[root@svnshangde2 home]# tar zxvf tfs-1.4.tar.gz -C /usr/src/
[root@svnshangde2 home]# cd /usr/src/tfs-1.4/
[root@svnshangde tfs-1.4]# ./build.sh init
[root@svnshangde2 tfs-1.4]# ./configure --prefix=/usr/local/tfs
[root@svnshangde2 tfs-1.4]# make
[root@svnshangde2 tfs-1.4]# make install
 
二、DS 上操作:
1.       安装ext4格式工具:
 
yum –y install e4fsprogs e4fsprogs-devel
 
2.       建立数据目录:
[root@svnshangde home]# mkdir -p /home/disk1
[root@svnshangde home]# mkdir -p /home/disk2
v[root@svnshangde home]# mkdir -p /home/disk3
 
3.       格式硬盘:
[root@svnshangde home]# mkfs.ext4 /dev/sdb
[root@svnshangde home]# mkfs.ext4 /dev/sdc
[root@svnshangde home]# mkfs.ext4 /dev/sdd
 
4.挂载硬盘
[root@svnshangde home]# mount /dev/sdb /home/disk1
[root@svnshangde home]# mount /dev/sdc /home/disk2
[root@svnshangde home]# mount /dev/sdd /home/disk3
 
6.查看挂载分区:
[root@svnshangde home]# mount

[root@svnshangde home]# df

7、配置文件:(附件):

(3.10 _3.11ns.conf)(3.20_3.21 ds.conf)(3.20_3.21ads.conf)

8、存储区预分配:(ds上)
[root@svnshangde scripts]# ./stfs format 1,2,3
成功则返回:SUCCESSFULLY 信息
 
三、启动:(ns ds ):
[root@ns1 scripts]# ./tfs start_ns    (3.10 3.11上)
 
[root@svnshangde scripts]# ./tfs start_ds 1,2,3 (3.20 3.21上)
 
四、查看:
(1)[root@ns1 scripts]# ./tfs check_ns                    (3.10 3.11上)
  nameserver is running pid: 31150             
 
(2)[root@svnshangde scripts]# ./tfs check_ds              (3.20 3.21上)
 dataserver [ 1 2 3 ] is running
 
(3)查看block块:

 

(4)[root@svnshangde bin]# ./ssm -s 192.168.3.10:8108    (随便一台连接ns)

show >
可以看到有8个可写块:一台上就有24个可写快:

 

(5)查看ds实际用掉容量:

 

(6)查看block信息:

7 )连接 ns 及上传 aa.txt 文件:

(8)返回如下信息:成功!

更多详解介绍可参考官方网站        http://code.taobao.org/p/tfs/wiki/index/

分享到:
评论

相关推荐

    淘宝TFS分布式文件系统安装说明手册.doc

    淘宝TFS分布式文件系统安装说明手册

    tfs-1.3 淘宝内部使用的分布式文件系统 代码

    TFS,Taobao File System,淘宝内部使用的分布式文件系统,主要针对海量小文件的随机读写访问性能做了特殊优化,承载着淘宝主站所有图片、商品描述等数据的存储。

    淘宝文件系统TFS深入分析

    TFS(Taobao FileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供...

    淘宝分布式文件系统

    淘宝文件分布式存储方案!开源项目,C++编写,适用于很多企业

    阿里巴巴开源的分布式文件系统 TFS.zip

    TFS(Taobao FileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,其设计目标是支持海量的非结构化数据。 目前,国内自主研发的文件系统可谓凤毛麟角。淘宝在这一领域做了有效的探索和...

    淘宝分布式文件储存引擎——TFS

    淘宝分布式文件储存引擎——TFS

    淘宝分布式文件服务器taobao file system tfs配置文件

    淘宝分布式文件服务器taobao file system tfs配置文件 为线上正在使用的生产配置 具体配置项可视自己服务微调,配置项含义参考tfs.taobao.org的文档说明.有无备份集群不影响TFS的运行,若没有,则去掉备份集群的配置

    TFS使用文档说明

    TFS(Team Foundation Server)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。TFS为淘宝...

    TFS安装部署

    TFS(Taobao File System)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供...

    tfs_server.exe

    TFS(Team Foundation Server)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。TFS为淘宝...

    Taobao File System

    FileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储...

    VS2010使用TFS2010的图文教程.rar

    TFS,Taobao File System,淘宝内部使用的分布式文件系统,主要针对海量小文件的随机读写访问性能做了特殊优化,承载着淘宝主站所有图片、商品描述等数据的存储。 本文和大家讲下如何在VS2010里面创建项目并添加到...

    章文嵩:淘宝软件基础设施构建实践架构解析

    阐述了淘宝基础设施的规模与挑战,并以淘宝的图片存储与CDN系统的发展历程为例,介绍了淘宝自主开发的分布式文件系统TFS版本的演变,对比了淘宝CDN系统节点的新、老架构。

    淘宝技术这十年

    淘宝文件系统——TFS淘宝KV缓存系统——Tair第5章 分布式电子商务操作系统在飞速发展的背后,隐患已经埋下。在技术架构的制约下,团队协作越来越艰难,代码越来越臃肿,开发的效率越来越低,新业务的需求越来越多,...

    云存储在淘宝网的实际应用—详解TFS

    分布式文件系统在电子交易网站中会有广泛的用途,例如淘宝网,现在的交易额已经超过了600亿/每天,这是一个什么概念,香港一天的消费品市场也就600亿,也就是说一个淘宝已经超过香港了,而要达到这么大的交易量,...

Global site tag (gtag.js) - Google Analytics