黑马程序员技术交流社区

标题: [石家庄校区]FastDFS简介 [打印本页]

作者: longxf_sjz    时间: 2019-10-19 10:54
标题: [石家庄校区]FastDFS简介
        FastDFS由跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)构成。
一 跟踪服务器Tracker Server
  负责接收客户端的请求,选择合适的组合StorageServer ,他们与StorageServer之间也用心跳机制来检查对方是否还活着。Tracker需要管理的信息也都放在内存中,并且里面所有  的Tracker都是对等的,很容易扩展客户端访问集群的时候会随机分配一个Tracker来和客户端交互。
  
二 存储服务器Storage Server
        主要负责提供容量和备份服务。他们是以group为单位,一个group里面的Storage数据互相备份,也就是数据是一样的。这种方法的好处是可以隔离不同应用的数据,比如一个应用的数据放在一个group里面,缺点也很明显了, 整个group的容量其实就是每一个Stroage的容量,容量会受到限制。而且部署时候Storage的容量要保持一致,这样可以避免浪费资源当group里有机子坏掉的时候,数据恢复只能依赖group组内的其他服务器,会比较慢。写操作的时候,storage会将他所挂载的所有数据存储目录的底下都创建2级子目录,每一级256个总共65536个,新写的文件会以hash的方式被路由到其中某个子目录下,然后将文件数据作为本地文件存储到该目录中。


三 客户端Client
        主要是上传下载数据的服务器,也就是我们自己的项目所部署在的服务器。每个客户端服务器都需要安装Nginx
       
四 文件上传流程
    1. Client询问Tracker server应上传到哪个Storage server;
    2. Tracker server返回一台可用的Storage server,返回的数据为该Storage server的IP地址和端口;
    3. Client直接和该Storage server建立连接,进行文件上传。
    4. Storage server返回新生成的文件ID,文件上传结束。
    5. 连接关闭。
       
五 文件下载流程
    1. client询问tracker可以下载指定文件的storage,参数为文件ID(组名和文件名);
    2. tracker返回一台可用的storage;
    3. client直接和storage通信完成文件下载。
    4. 连接关闭。
       
六 基于spring boot,实现文件上传和下载
[Java] 纯文本查看 复制代码
@SpringBootTest
        @RunWith(SpringRunner.class)
        public class TestFastDFS {

                //上传文件
                @Test
                public void testUpload(){

                        try {
                                //加载fastdfs-client.properties配置文件
                                ClientGlobal.initByProperties("config/fastdfs-client.properties");
                                //定义TrackerClient,用于请求TrackerServer
                                TrackerClient trackerClient = new TrackerClient();
                                //连接tracker
                                TrackerServer trackerServer = trackerClient.getConnection();
                                //获取Stroage
                                StorageServer storeStorage = trackerClient.getStoreStorage(trackerServer);
                                //创建stroageClient
                                StorageClient1 storageClient1 = new StorageClient1(trackerServer,storeStorage);
                                //向stroage服务器上传文件
                                //本地文件的路径
                                String filePath = "d:/logo.png";
                                //上传成功后拿到文件Id
                                String fileId = storageClient1.upload_file1(filePath, "png", null);
                                System.out.println(fileId);
                                //group1/M00/00/01/wKhlQVuhU3eADb4pAAAawU0ID2Q159.png

                        } catch (Exception e) {
                                e.printStackTrace();
                        }

                }


                //下载文件
                @Test
                public void testDownload(){
                        try {
                                //加载fastdfs-client.properties配置文件
                                ClientGlobal.initByProperties("config/fastdfs-client.properties");
                                //定义TrackerClient,用于请求TrackerServer
                                TrackerClient trackerClient = new TrackerClient();
                                //连接tracker
                                TrackerServer trackerServer = trackerClient.getConnection();
                                //获取Stroage
                                StorageServer storeStorage = trackerClient.getStoreStorage(trackerServer);
                                //创建stroageClient
                                StorageClient1 storageClient1 = new StorageClient1(trackerServer,storeStorage);
                                //下载文件
                                //文件id
                                String fileId = "group1/M00/00/01/wKhlQVuhU3eADb4pAAAawU0ID2Q159.png";
                                byte[] bytes = storageClient1.download_file1(fileId);
                                //使用输出流保存文件
                                FileOutputStream fileOutputStream = new FileOutputStream(new File("c:/logo.png"));
                                fileOutputStream.write(bytes);
                        } catch (IOException e) {
                                e.printStackTrace();
                        } catch (MyException e) {
                                e.printStackTrace();
                        }
                }

        }







欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) 黑马程序员IT技术论坛 X3.2