【java开发安装篇】之安装FastDFS

狐狸与小兔的故事
828 阅读11分钟

Linux下FastDFS的安装

前言:安装FastDFS比较复杂，文章篇幅很长，请耐心按照步骤一步一步来，如果版本不匹配的话，会遇到很多问题，尽量使用我这套版本进行安装...

废话不多说，直接上图，简单粗暴...

1、创建fastdfs安装目录，我的是在etc/fastdfs

首先在etc目录下的hosts文件添加一行IP地址

192.168.1.14 file.gaci.com

如果要本机访问虚拟机，在C:\Windows\System32\drivers\etc\hosts中同样增加一行

2、下载安装libfastcommon

我这边使用的是wget命令：

wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz

如果遇到wget未找到命令，使用命令:yum -y install wget 再次使用上面的wget命令下载安装包

接下来解压安装包到当前目录下

解压成功，接下来就是编译，安装

使用./make.sh命令可能会出现如下错误

使用如下的命令

yum -y install zlib zlib-devel pcre pcre-devel gcc gcc-c++ openssl openssl-devel libevent libevent-devel perl unzip net-tools wget

然后再使用./make.sh命令

使用./make.sh install进行安装

libfastcommon.so 安装到了/usr/lib64/libfastcommon.so，但是FastDFS主程序设置的lib目录是/usr/local/lib，所以需要创建软链接。

# ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
# ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
# ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
# ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

3、下载安装fastDFS

我使用的是wget命令

wget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz

解压fastdfs

编译fastdfs

安装fastdfs

默认安装方式安装后的相应文件与目录
A、服务脚本：

/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_tracker

B、配置文件（这三个是作者给的样例配置文件） :

/etc/fdfs/client.conf.sample
/etc/fdfs/storage.conf.sample
/etc/fdfs/tracker.conf.sample

C、命令工具在 /usr/bin/ 目录下：

fdfs_appender_test
fdfs_appender_test1
fdfs_append_file
fdfs_crc32
fdfs_delete_file
fdfs_download_file
fdfs_file_info
fdfs_monitor
fdfs_storaged
fdfs_test
fdfs_test1
fdfs_trackerd
fdfs_upload_appender
fdfs_upload_file
stop.sh
restart.sh

FastDFS 服务脚本设置的 bin 目录是 /usr/local/bin， 但实际命令安装在 /usr/bin/ 下。
**两种方式： **
1）修改FastDFS 服务脚本中相应的命令路径，也就是把 /etc/init.d/fdfs_storaged 和/etc/init.d/fdfs_tracker 两个脚本中的 /usr/local/bin 修改成 /usr/bin
然后运行命令 vim fdfs_trackerd
使用查找替换命令进统一修改:%s+/usr/local/bin+/usr/bin
运行命令 vim fdfs_storaged
使用查找替换命令进统一修改:%s+/usr/local/bin+/usr/bin

2）建立 /usr/bin 到 /usr/local/bin 的软链接，我是用这种方式。

# ln -s /usr/bin/fdfs_trackerd   /usr/local/bin
# ln -s /usr/bin/fdfs_storaged   /usr/local/bin
# ln -s /usr/bin/stop.sh         /usr/local/bin
# ln -s /usr/bin/restart.sh      /usr/local/bin

4、配置FastDFS跟踪器(Tracker)

FastDFS配置文件详解
bbs.chinaunix.net/forum.php?m…
目录进入 /etc/fdfs，复制 FastDFS 跟踪器样例配置文件 tracker.conf.sample，并重命名为 tracker.conf

修改tracker.conf文件
配置文件是否不生效，false 为生效
disabled=false
提供服务的端口
port=22122
Tracker 数据和日志目录地址(根目录必须存在,子目录会自动创建)
base_path=/usr/fastdfs/tracker HTTP 服务端口
http.server_port=80
创建tracker基础数据目录，即base_path对应的目录
mkdir -p /usr/fastdfs/tracker
防火墙打开跟踪端口
进入 etc/sysconfig/iptables

添加如下端口行：

-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT

重启防火墙：

启动tracker
可以用这种方式启动

/etc/init.d/fdfs_trackerd start

也可以用这种方式启动，前提是上面创建了软链接，后面都用这种方式

service fdfs_trackerd start

查看 FastDFS Tracker 是否已成功启动 ，22122端口正在被监听，则算是Tracker服务安装成功。

关闭Tracker命令：

service fdfs_trackerd stop

设置Tracker开机启动

chkconfig fdfs_trackerd on

或者：

vim /etc/rc.d/rc.local

加入配置：

/etc/init.d/fdfs_trackerd start

tracker server 目录及文件结构
Tracker服务启动成功后，会在base_path下创建data、logs两个目录。目录结构如下：

${base_path}
  |__data
  |   |__storage_groups.dat：存储分组信息
  |   |__storage_servers.dat：存储服务器列表
  |__logs
  |   |__trackerd.log： tracker server 日志文件

5、配置FastDFS 存储 (Storage)

进入 /etc/fdfs 目录，复制 FastDFS 存储器样例配置文件 storage.conf.sample，并重命名为 storage.conf

编辑storage.conf文件
配置文件是否不生效，false 为生效
disabled=false

指定此 storage server 所在 组(卷)
group_name=group1

storage server 服务端口
port=23000

心跳间隔时间，单位为秒 (这里是指主动向 tracker server 发送心跳)
heart_beat_interval=30

Storage 数据和日志目录地址(根目录必须存在，子目录会自动生成)
base_path=/usr/fastdfs/storage

存放文件时 storage server 支持多个路径。这里配置存放文件的基路径数目，通常只配一个目录
store_path_count=1

逐一配置 store_path_count 个路径，索引号基于 0
如果不配置 store_path0，那它就和 base_path 对应的路径一样。
store_path0=/usr/fastdfs/file

FastDFS 存储文件时，采用了两级目录。这里配置存放文件的目录个数。

如果本参数只为 N（如： 256），那么 storage server 在初次运行时，会在 store_path 下自动创建 N * N 个存放文件的子目录。

subdir_count_per_path=256

tracker_server 的列表 ，会主动连接 tracker_server
有多个 tracker server 时，每个 tracker server 写一行

tracker_server=file.gaci.com:22122

允许系统同步的时间段 (默认是全天) 。一般用于避免高峰同步产生一些问题而设定。

sync_start_time=00:00
sync_end_time=23:59
# 访问端口
http.server_port=80

创建Storage基础数据目录，对应base_path目录

防火墙中打开存储器端口（默认的 23000）

vi /etc/sysconfig/iptables

添加如下端口行：

-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT

重启防火墙：

启动storage
**注意：**启动Storage前确保Tracker是启动的。
初次启动成功，会在 /ljzsg/fastdfs/storage 目录下创建 data、 logs 两个目录。
可以用这种方式启动

/etc/init.d/fdfs_storaged start

也可以用这种方式，后面都用这种

service fdfs_storaged start

查看 Storage 是否成功启动，23000 端口正在被监听，就算 Storage 启动成功。

netstat -unltp|grep fdfs

关闭Storage命令：

service fdfs_storaged stop

查看Storage和Tracker是否在通信：

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

设置 Storage 开机启动

chkconfig fdfs_storaged on

或者：

vim /etc/rc.d/rc.local

加入配置：

/etc/init.d/fdfs_storaged start

6、文件上传测试

修改 Tracker 服务器中的客户端配置文件

cd /etc/fdfs
cp client.conf.sample client.conf
vi client.conf

修改如下配置即可，其它默认

Client 的数据和日志目录

base_path=/usr/fastdfs/client

Tracker端口

tracker_server=file.gaci.com:22122

创建/usr/fastdfs下的client文件

上传测试
在linux内部执行如下命令上传 name.jpg 图片

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/name.jpg

group1/M00/00/00/wKgBEl4LBr2ADhGoAAAw9HW8yuU088.jpg

返回的文件ID由group、存储目录、两级子目录、fileid、文件后缀名（由客户端指定，主要用于区分文件类型）拼接而成。

上面将文件上传成功了，但我们无法下载。因此安装Nginx作为服务器以支持Http方式访问文件。同时，后面安装FastDFS的Nginx模块也需要Nginx。
安装步骤见七：安装nginx

7、FastDFS 配置 Nginx 模块

fastdfs-nginx-module 模块说明
FastDFS 通过 Tracker 服务器，将文件放在Storage服务器存储，但是同组存储服务器之间需要进行文件复制，有同步延迟的问题。
假设 Tracker 服务器将文件上传到了 192.168.51.128，上传成功后文件 ID已经返回给客户端。
此时 FastDFS 存储集群机制会将这个文件同步到同组存储192.168.51.129，在文件还没有复制完成的情况下，客户端如果用这个文件 ID 在 192.168.51.129上取文件,就会出现文件无法访问的错误。
而 fastdfs-nginx-module 可以重定向文件链接到源服务器取文件，避免客户端由于复制延迟导致的文件无法访问错误。

1.安装配置nginx模块
下载 fastdfs-nginx-module、解压
这里为啥这么长一串呢，因为最新版的master与当前nginx有些版本问题。

wget https://github.com/happyfish100/fastdfs-nginx-module/archive/5e5f3566bbfa57418b5506aaefbe107a42c9fcb1.zip
解压
unzip 5e5f3566bbfa57418b5506aaefbe107a42c9fcb1.zip
重命名
mv fastdfs-nginx-module-5e5f3566bbfa57418b5506aaefbe107a42c9fcb1  fastdfs-nginx-module-master
使用wget命令下载

解压

重命名

配置nginx
在nginx中添加模块
先停掉nginx服务

/usr/local/nginx/sbin/nginx -s stop

进入nginx解压包目录

添加模块

重新编译，安装

make && make install

查看Nginx的模块

/usr/local/nginx/sbin/nginx -V

复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录， 并修改

修改如下配置，其它默认
连接超时时间

connect_timeout=10

Tracker Server

tracker_server=file.gaci.com:22122

StorageServer 默认端口

storage_server_port=23000

如果文件ID的uri中包含/group**，则要设置为true

url_have_group_name = true

Storage 配置的store_path0路径，必须和storage.conf中的一致

store_path0=/usr/fastdfs/file

复制 FastDFS 的部分配置文件到/etc/fdfs 目录

cd /usr/fastdfs/fastdfs-5.05/conf
cp anti-steal.jpg http.conf mime.types /etc/fdfs/

配置nginx，修改nginx.conf

vi /usr/local/nginx/conf/nginx.conf

修改配置，其它的默认
在80端口下添加fastdfs-nginx模块

location ~/group([0-9])/M00 {
    ngx_fastdfs_module;
}

在/ljzsg/fastdfs/file 文件存储目录下创建软连接，将其链接到实际存放数据的目录，这一步可以省略。

ln -s /ljzsg/fastdfs/file/data/ /ljzsg/fastdfs/file/data/M00

启动nginx
打印处如下就算配置成功

8、Java客户端

前面文件系统平台搭建好了，现在就要写客户端代码在系统中实现上传下载，这里只是简单的测试代码。
首先要搭建好FastDFS客户端的Java开发环境
由于项目是Web项目，我新建一个空的maven项目，导入依赖。
**重点：**为什么我不去下载jar包，maven依赖，会下载相关的jar包，有可能一个依赖需要5个jar包，手动去下载jar包，会导致jar包缺失，之前搞json-schema，报一个错导一个，导致方式很慢，也容易出错，就新建一个空maven项目，导入依赖，自动下载相关的jar包。
如果是maven项目把下面的依赖添加到pom文件，如果是web项目就需要自己去手动下载jar包，也可以新建空maven项目，导入依赖，把下载下来的jar包添加到web项目里。
其它的方式，参考官方文档：github.com/happyfish10…

<dependency>
   <groupId>net.oschina.zcx7878</groupId>
   <artifactId>fastdfs-client-java</artifactId>
   <version>1.27.0.0</version>
</dependency>

引入配置文件
可以选择导入的jar包下

可直接复制包下的 fastdfs-client.properties.sample 或者fdfs_client.conf.sample，到你的项目中，去掉.sample。
我这里选择fastdfs-client.properties.sample。

配置方式： 第一种：
直接复制 fastdfs-client.properties.sample 中的配置到项目配置文件 config.properties 中，修改tracker_servers。只需要加载这个配置文件即可

我选择的是复制文件

然后在spring文件配置fastdfs属性值

新建

9、Java API

由于本人公司的项目jdk升级会导致很多问题，我另新建一个项目，把文件管理系统抽出来。
代码见fastdf代码压缩文件 路径：/usr/allToolAndCode目录下的fastdfscode.zip
封装的FastDFS Java API本人参考：github.com/bojiangzhou…

10、权限控制

前面使用nginx支持http方式访问文件，但所有人都能直接访问这个文件服务器了，所以做一下权限控制。
FastDFS的权限控制是在服务端开启token验证，客户端根据文件名、当前unix时间戳、秘钥获取token，在地址中带上token参数即可通过http方式访问文件。

服务端开启token验证
修改http.conf

vi /etc/fdfs/http.conf

设置为true表示开启token验证

http.anti_steal.check_token=true

设置token失效的时间单位为秒(s)

http.anti_steal.token_ttl=1800

密钥，跟客户端配置文件的fastdfs.http_secret_key保持一致

http.anti_steal.secret_key=FASTDFS147258369

如果token检查失败，返回的页面

http.anti_steal.token_check_fail=/gaci/fastdfs/page/403.html

记得重启服务。

配置客户端

客户端只需要设置如下两个参数即可，两边的密钥保持一致。

token 防盗链功能

fastdfs.http_anti_steal_token=true

密钥

fastdfs.http_secret_key=FASTDFS1234567890

客户端生成token
访问文件需要带上生成的token以及unix时间戳，所以返回的token是token和时间戳的拼接。
之后，将token拼接在地址后即可访问：file.gaci.com/group1/M00/00/00/wKgBEl4LBr2ADhGoAAAw9HW8yuU088.jpg?token=078d370098b03e9020b82c829c205e1f&ts=1508141521

/**
       * 获取访问服务器的token，拼接到地址后面
       *
       * @param filepath 文件路径 group1/M00/00/00/wKgBEl4LBr2ADhGoAAAw9HW8yuU088.jpg
       * @param httpSecretKey 密钥
       * @return 返回token，如： token=078d370098b03e9020b82c829c205e1f&ts=1508141521
       */
      public static String getToken(String filepath, String httpSecretKey){
          // unix seconds jdk1.8
         int ts = (int) Instant.now().getEpochSecond();
        // token
        String token = "null";
         try {
            token = ProtoCommon.getToken(getFilename(filepath), ts, httpSecretKey);
        } catch (UnsupportedEncodingException e) {
             e.printStackTrace();
        } catch (NoSuchAlgorithmException e) {
            e.printStackTrace();
        } catch (MyException e) {
            e.printStackTrace();
        }

        StringBuilder sb = new StringBuilder();
         sb.append("token=").append(token);
         sb.append("&ts=").append(ts);

         return sb.toString();
     }

结语：以往都是看别人的博客进行学习技术，其中不乏有精华博客也有吊儿郎当的CV大法文章，所以决定将自己所学所用所整理的知识分享给大家，主要还是想为了后浪们少走些弯路，多些正能量的博客，如有错漏，欢迎指正，仅希望大家能在我的博客中学到知识，解决到问题，那么就足够了。谢谢大家！（转载请注明原文出处）

avatar
文章
阅读
粉丝