|
一、分布式文件系统简介
分布式文件系统是指可以将用户上传的很多很多文件保存在多台计算机上，主要解决单台服务器硬盘容量不够用问题，并且能够做到数据传输的负载均衡、以及数据存储的主从备份。流行的开源分布式文件系统有很多，介绍如下：
mogileFS：Key-Value型元文件系统，不支持FUSE，应用程序访问它时需要API，主要用在web领域处理海量小图片，效率相比mooseFS高很多。
fastDFS：国人在mogileFS的基础上进行改进的key-value型文件系统，同样不支持FUSE，提供比mogileFS更好的性能。
mooseFS：支持FUSE，相对比较轻量级，对master服务器有单点依赖，用perl编写，性能相对较差，国内用的人比较多
glusterFS：支持FUSE，比mooseFS庞大
ceph：支持FUSE，客户端已经进入了linux-2.6.34内核，也就是说可以像ext3/rasierFS一样，选择ceph为文件系统。彻底的分布式，没有单点依赖，用C编写，性能较好。基于不成 熟的btrfs，其本身也非常不成熟。
lustre：Oracle公司的企业级产品，非常庞大，对内核和ext3深度依赖
NFS：老牌网络文件系统，最近好几年没发展，废了。
FastDFS是由淘宝的余庆先生所开发，是一个轻量级、高性能的开源分布式文件系统，用纯C语言开发，包括文件存储、文件同步、文件访问（上传、下载）、存取负载均衡、在线扩容、相同内容只存储一份等功能，适合有大容量存储需求的应用或系统。做分布式系统开发时，其中要解决的一个问题就是图片、音视频、文件共享的问题，分布式文件系统正好可以解决这个需求。同类的分布式文件系统有谷歌的GFS、HDFS（Hadoop）、TFS（淘宝）等。
FastDFS两个主要的角色：Tracker Server 和 Storage Server Tracker Server：跟踪服务器，主要负责调度storage节点与client通信，在访问上起负载均衡的作用，和记录storage节点的运行状态，是连接client和storage节点的枢纽。 Storage Server：存储服务器，保存文件和文件的meta data（元数据） Group：文件组，也可以称为卷。同组内服务器上的文件是完全相同的，做集群时往往一个组会有多台服务器，上传一个文件到同组内的一台机器上后，FastDFS会将该文件即时同步到同组内的其它所有机器上，起到备份的作用。 meta data：文件相关属性，键值对（Key Value Pair）方式，如：width=1024, height=768。和阿里云OSS的meta data相似。
二、安装FastDFS单节点
2.1 安装gcc [Shell] 纯文本查看 复制代码 yum -y install gcc[/align]
[align=center]#后面会用到解压命令（unzip），所以这里可以用yum把unzip 也装一下[/align]
[align=center]yum install -y unzip zip[/align]
[align=center]#还有后面还要安装nginx的依赖库:[/align]
[align=center]yum -y install gcc pcre pcre-devel zlib zlib-devel openssl openssl-devel
2.2 安装libevent
[Shell] 纯文本查看 复制代码 #注意：libevent CentOS自带的有，无需安装。[/align]
[align=center]yum -y install libevent 2.3 安装libfastcommon-master
[AppleScript] 纯文本查看 复制代码 unzip libfastcommon-master.zip[/align]
[align=center]cd libfastcommon-master[/align]
[align=center]./make.sh [/align]
[align=center]./make.sh install [Shell] 纯文本查看 复制代码 unzip fastdfs-master-V5.05.zip[/align]
[align=center]cd fastdfs-master[/align]
[align=center]./make.sh [/align]
[align=center]./make.sh install
三、配置并启动FastDFS
3.1 配置tracker服务器
[Shell] 纯文本查看 复制代码 cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf[/align]
[align=center]vi /etc/fdfs/tracker.conf [/align]
[align=center]# 修改的内容如下： [/align]
[align=center]disabled=false # 启用配置文件 [/align]
[align=center]port=22122 # tracker服务器端口（默认22122） [/align]
[align=center]base_path=/fastdfs/tracker # 存储日志和数据的根目录[/align]
[align=center]# ln -s /usr/bin/fdfs_trackerd /usr/local/bin[/align]
[align=center]# ln -s /usr/bin/stop.sh /usr/local/bin[/align]
[align=center]# ln -s /usr/bin/restart.sh /usr/local/bin[/align]
[align=center]#新建目录： [/align]
[align=center]/fastdfs/tracker[/align]
[align=center]#关闭防火墙： [/align]
[align=center]chkconfig iptables off[/align]
[align=center]#启动tracker服务器: [/align]
[align=center]/etc/init.d/fdfs_trackerd start[/align]
[align=center]#停止tracker服务器: [/align]
[align=center]/etc/init.d/fdfs_trackerd stop[/align]
[align=center]#检查FastDFS Tracker Server是否启动成功：[/align]
[align=center]ps -ef | grep fdfs_trackerd [/align]
[align=center]#设置tracker服务开机启动:[/align]
[align=center]chkconfig fdfs_trackerd on 3.2 配置storage服务器
[Shell] 纯文本查看 复制代码 cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
vi /etc/fdfs/storage.conf
# 修改的内容如下:
disabled=false # 启用配置文件
port=23000 # storage服务端口
base_path=/fastdfs/storage # 数据和日志文件存储根目录
store_path0=/fastdfs/storage # 第一个存储目录
tracker_server=192.168.56.101:22122 # tracker服务器IP和端口
http.server_port=8888 # http访问文件的端口
ln -s /usr/bin/fdfs_storaged /usr/local/bin
#新建目录： /fastdfs/storage
#关闭防火墙：
chkconfig iptables off
#启动storage服务器：
/etc/init.d/fdfs_storaged start
#停止storage服务器：
/etc/init.d/fdfs_storaged stop
#检查FastDFS Tracker Server是否启动成功：
ps -ef | grep fdfs_storaged
#设置storage服务开机启动：
chkconfig fdfs_storaged on 四、测试FastDFS
4.1 配置Tracker客户端 [Shell] 纯文本查看 复制代码 cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf[/align]
[align=center]vi /etc/fdfs/client.conf[/align]
[align=center]# 修改以下配置，其它保持默认 [/align]
[align=center]base_path=/fastdfs/tracker [/align]
[align=center]tracker_server=192.168.56.101:22122 4.2 执行客户端上传命令
[AppleScript] 纯文本查看 复制代码 /usr/bin/fdfs_upload_file [/align]
[align=center]/etc/fdfs/client.conf [/align]
[align=center]/usr/local/mao/cs.jpg [/align]
[align=center]group1/M00/00/00/wKg4ZVh8U-SANp6OAAHhOIDwENQ234.jpg[/align]
[align=center]# 能返回以上文件ID，说明文件已经上传成功 五、使用nginx访问FastDFS
5.1 在所有storage节点安装fastdfs-nginx-module [Shell] 纯文本查看 复制代码 unzip fastdfs-nginx-module-master.zip
5.2 安装Nginx [Shell] 纯文本查看 复制代码 tar -zxvf nginx-1.10.0.tar.gz[/align]
[align=center]# 执行下面的命令安装nginx的依赖库（前面已经装过了）:[/align]
[align=center]yum -y install gcc pcre pcre-devel zlib zlib-devel openssl openssl-devel[/align]
[align=center]# 注意：在执行./configure配置nginx参数的时候，需要将fastdfs-nginx-moudle源码作为模块编译进去：[/align]
[align=center]./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=/usr/fds/fastdfs-nginx-module/src[/align]
[align=center]# 编译并安装:[/align]
[align=center]make && make install
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c: 在函数‘ngx_http_fastdfs_handler’中:
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:882: 错误：‘struct fdfs_http_context’没有名为‘arg’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:883: 错误：‘struct fdfs_http_context’没有名为‘header_only’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:884: 错误：‘struct fdfs_http_context’没有名为‘url’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:885: 错误：‘struct fdfs_http_context’没有名为‘output_headers’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:886: 错误：‘struct fdfs_http_context’没有名为‘send_file’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:887: 错误：‘struct fdfs_http_context’没有名为‘send_reply_chunk’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:887: 错误：‘fdfs_send_reply_chunk’未声明(在此函数内第一次使用)
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:888: 错误：‘struct fdfs_http_context’没有名为‘proxy_handler’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:894: 错误：‘struct fdfs_http_context’没有名为‘if_modified_since’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:897: 错误：‘struct fdfs_http_context’没有名为‘if_modified_since’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:927: 错误：‘struct fdfs_http_context’没有名为‘range’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:933: 错误：‘struct fdfs_http_context’没有名为‘if_range’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:933: 错误：‘true’未声明(在此函数内第一次使用)
[size=12.0000pt]make[1]: *** [objs/addon/src/ngx_http_fastdfs_module.o] 错误 1
[size=12.0000pt]make[1]: Leaving directory `/usr/fds/nginx-1.8.0'
[size=12.0000pt]make: *** [build] 错误 2
[size=12.0000pt]
[Shell] 纯文本查看 复制代码 # 解决办法：[/align]
[align=center]# 执行以下2条命令，然后重新make[/align]
[align=center]# ln -sv /usr/include/fastcommon /usr/local/include/fastcommon[/align]
[align=center]# ln -sv /usr/include/fastdfs /usr/local/include/fastdfs[/align]
[align=center]启动、停止、重启[/align]
[align=center]# 1.启动nginx[/align]
[align=center]nginx [/align]
[align=center]# 可通过ps -ef | grep nginx查看nginx是否已启动成功 [/align]
[align=center]# 2.停止nginx[/align]
[align=center]nginx -s stop[/align]
[align=center]# 3. 重新启动[/align]
[align=center]nginx -s reload[/align]
[align=center]#配置nginx开机启动[/align]
[align=center]#将/usr/bin/nginx命令添加到/etc/rc.d/rc.local文件中，rc.local文件会在系统启动的时候执行。但如果是CentOS7则建议将开机启动服务写成服务描述文件添加到系统服务中，所以rc.local默认没有执行权限，需要给它添加执行权限。[/align]
[align=center]shell> vi /etc/rc.d/rc.local[/align]
[align=center]# 添加如下参数[/align]
[align=center]/usr/bin/nginx[/align]
[align=center]chmod +x /etc/rc.d/rc.local
5.3 配置nginx与FastDFS关联配置文件
[Shell] 纯文本查看 复制代码 # 复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录， 并修改[/align]
[align=center]cp /usr/local/mao/fastdfs-nginx-module-master/src/mod_fastdfs.conf /etc/fdfs/[/align]
[align=center]vi /etc/fdfs/mod_fastdfs.conf[/align]
[align=center]# 修改以下配置：[/align]
[align=center]connect_timeout=10 # 客户端访问文件连接超时时长（单位：秒）[/align]
[align=center]base_path=/tmp # 临时目录[/align]
[align=center]tracker_server=192.168.56.101:22122 # tracker服务IP和端口[/align]
[align=center]storage_server_port=23000 # storage服务端口[/align]
[align=center]group_name=group1 # 组名[/align]
[align=center]url_have_group_name=true # 访问链接前缀加上组名[/align]
[align=center]store_path0=/fastdfs/storage # 文件存储路径[/align]
[align=center]# 复制 FastDFS 的部分配置文件到/etc/fdfs 目录[/align]
[align=center]cd /usr/local/mao/fastdfs-master/conf/[/align]
[align=center]cp http.conf mime.types /etc/fdfs/[/align]
[align=center]# 在/fastdfs/storage文件存储目录下创建软连接，将其链接到实际存放数据的目录[/align]
[align=center]ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00[/align]
[align=center]# 配置nginx访问storage文件[/align]
[align=center]vi /opt/nginx/conf/nginx.conf user nobody; worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; server { listen 8888; server_name localhost; location ~/group([0-9])/M00 { ngx_fastdfs_module; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } }
六、启动测试
[Shell] 纯文本查看 复制代码 nginx -s reload
#启动nginx后，如果打印出ngx_http_fastdfs_set pid=xxx，表示fastdfs-nginx-module模块加载成功了，xxx表示模块的进程ID。
#如果报：
#nginx: [error] open() "/opt/nginx/logs/nginx.pid" failed (2: No such file or directory)
#则执行：
nginx -c /opt/nginx/conf/nginx.conf
| 
收藏
淘帖
踩
