网站建设需要审批吗,大型门户网站建设哪便宜,做化工的有哪些网站,上海工程相关的公司目录
概述
什么是分布式文件系统
核心概念
目录结构
上传机制
下载机制
Linux中搭建FastDFS
常用指令
SpringBoot整合FastDFS
FastDFS集成Nginx 概述
FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件#xff…目录
概述
什么是分布式文件系统
核心概念
目录结构
上传机制
下载机制
Linux中搭建FastDFS
常用指令
SpringBoot整合FastDFS
FastDFS集成Nginx 概述
FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件建议范围4KB file_size 500MB为载体的在线服务如相册网站、视频网站等等。
FastDFS特性
文件不分块存储上传的文件和OS文件系统中的文件一一对应支持相同内容的文件只保存一份节约磁盘空间下载文件支持HTTP协议可以使用内置Web Server也可以和其他Web Server配合使用支持在线扩容支持主从文件 什么是分布式文件系统
单机时代
初创时期由于时间紧迫在各种资源有限的情况下通常就直接在项目目录下建立静态文件夹用于用户存放项目中的文件资源。如果按不同类型再细分可以在项目目录下再建立不同的子目录来区分。例如resources\static\file、resources\static\img等。 注意
优点便利使用方便。
缺点文件越多存放越混乱。 独立文件服务器
随着公司业务不断发展将代码和文件放在同一服务器的弊端就会越来越明显。为了解决上面的问题引入独立图片服务器 流程
项目上传文件时首先通过ftp或者ssh将文件上传到图片服务器的某个目录下再通过Ngnix或者Apache来访问此目录下的文件返回一个独立域名的图片URL地址前端使用文件时就通过这个URL地址读取。 分布式文件系统
业务继续发展单台服务器存储和响应也很快到达了瓶颈新的业务需要文件访问具有高响应性、高可用性来支持系统。 优点
扩展能力: 毫无疑问扩展能力是一个分布式文件系统最重要的特点高可用性: 在分布式文件系统中高可用性包含两层一是整个文件系统的可用性二是数据的完整和一致性弹性存储: 可以根据业务需要灵活地增加或缩减数据存储以及增删存储池中的资源而不需要中断系统运行。
缺点系统复杂度稍高需要更多服务器 核心概念
FastDFS服务端有三个角色跟踪服务器tracker、存储服务器storage和客户端client。
tracker
跟踪服务器主要做调度工作起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息是客户端和数据服务器交互的枢纽。 Storage
存储服务器又称存储节点或数据服务器文件和文件属性meta data都保存到存储服务器上。Storage server直接利用OS的文件系统调用管理文件。 Client
客户端作为业务请求的发起方通过专有接口使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。FastDFS向使用者提供基本文件访问接口比如upload、download、append、delete等以客户端库的方式提供给用户使用。 Group
组 也可称为卷。 同组内服务器上的文件是完全相同的 同一组内的storage server之间是对等的 文件上传、 删除等操作可以在任意一台storage server上进行 。 流程
Tracker相当于FastDFS的大脑不论是上传还是下载都是通过tracker来分配资源客户端一般可以使用Ngnix等静态服务器来调用或者做一部分的缓存存储服务器内部分为卷或者叫做组卷于卷之间是平行的关系可以根据资源的使用情况随时增加卷内服务器文件相互同步备份以达到容灾的目的。 目录结构 上传机制
首先客户端请求tracker服务获取到可使用的storage服务器的ip地址和端口然后将文件上传到storage服务器storage服务器接收到请求后生产文件并且将文件内容保存到磁盘当中并返回file_id、路径信息、文件名等信息客户端保存相关信息上传完毕 内部机制如下
1、选择Tracker server
当集群中不止一个Tracker server时由于Tracker之间是完全对等的关系客户端在upload文件时可以任意选择一个trakcer。
2、选择Storage server
当选定Group后Tracker会在Group内选择一个Storage Server给客户端
3、选择Storage path
当分配好Storage Server后客户端将向Storage发送写文件请求Storage将会为文件分配一个数据存储目录。
注意
剩余存储空间最多的优先。
4、生成Fileid
选定存储目录之后Storage会为文件生一个Fileid由Storage Server Ip、文件创建时间、文件大小、文件crc32和一个随机数拼接而成然后将这个二进制串进行base64编码转换为可打印的字符串。
5、生成文件名
当文件存储到某个子目录后即认为该文件存储成功接下来会为该文件生成一个文件名文件名由group、存储目录、两级子目录、fileid、文件后缀名由客户端指定主要用于区分文件类型拼接而成。 下载机制
客户端向tracker发送请求tracker返回可用的storage服务器ip和端口客户端将file_id发送给storage服务器storage服务器将文件返回给客户端 内部机制如下
client询问tracker下载文件的storage参数为文件标识组名和文件名tracker返回一台可用的storageclient直接和storage通讯完成文件下载 Linux中搭建FastDFS
1、下载所需要的插件和tar包
下载安装gcc安装方式为yum安装需网络yum install gcc-c perl-devel pcre-devel openssl-devel zlib-devel wget下载安装FastDFSwget https://github.com/happyfish100/fastdfs/archive/V6.06.tar.gz下载安装FastDFS依赖wget https://github.com/happyfish100/libfastcommon/archive/V1.0.43.tar.gz 2、解压缩两个tar包
tar -zxvf V1.0.43.tar.gz -C /usr/local
tar -zxvf V6.06.tar.gz-C /usr/local3、编译并安装注意需要先编译安装依赖包在编译安装FastDFS
编译并安装libfastcommoncd /usr/local/libfastcommon-1.0.43/./make.sh ./make.sh install编译并安装FastDFS
cd /usr/local/fastdfs-6.06
./make.sh ./make.sh install4、进入/etc/fdfs中修改配置文件的名字fdfs只识别后缀为conf的文件为配置文件
cd /etc/fdfs/
cp client.conf.sample client.conf
cp storage.conf.sample storage.conf
cp tracker.conf.sample tracker.conf5、创建tracker服务修改tracker.conf配置文件
创建tracker目录
mkdir -p /data/fastdfs/tracker
修改配置文件
vim /etc/fdfs/tracker.conf
disabledfalse #启用配置文件
port22122 #设置 tracker 的端口号
base_path/data/fastdfs/tracker #设置 tracker 的数据文件和日志目录需预先创建
http.server_port8888 #设置 http 端口号http.server_port8888 #指的是在tracker服务器上启动http服务进程如:apache或者nginx 启动时所监听的端口启动tracker服务
/etc/init.d/fdfs_trackerd start
检查tracker服务
netstat -lntup | grep fdfs
tcp 0 0 0.0.0.0:22122 0.0.0.0:* LISTEN 10757/fdfs_trackerd 6、创建storage服务修改storage.conf文件
创建storage目录
mkdir -p /data/fastdfs/base
mkdir -p /data/fastdfs/storage
修改配置文件
vim /etc/fdfs/storage.conf
disabledfalse #启用配置文件
group_namegroup1 #组名根据实际情况修改
port23000 #设置 storage 的端口号
base_path/data/fastdfs/base #设置 storage 的日志目录需预先创建
store_path_count1 #存储路径个数需要和 store_path 个数匹配
store_path0/data/fastdfs/storage #存储路径
tracker_server172.31.16.121:22122 #tracker 服务器的 IP 地址和端口号
http.server_port8888 #设置storage上启动的http服务的端口号如安装的nginx的端口号启动storage服务
/etc/init.d/fdfs_storaged start
查看storage服务
netstat -lntup |grep fdfs
tcp 0 0 0.0.0.0:23000 0.0.0.0:* LISTEN 10892/fdfs_storaged
tcp 0 0 0.0.0.0:22122 0.0.0.0:* LISTEN 10757/fdfs_trackerd7、需改client配置文件
vim /etc/fdfs/client.conf
connect_timeout30
network_timeout60
base_path/data/fastdfs/client # 日志路径
tracker_server192.168.66.100:22122 # 追踪服务器的IP有多个服务器可以另一行
创建日志目录
mkdir -p /data/fastdfs/client查看启动的服务
ps -ef | grep fdfsroot 13080 1 0 03:12 ? 00:00:00 /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf
root 13223 1 0 03:14 ? 00:00:00 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
root 13233 7419 0 03:14 pts/0 00:00:00 grep --colorauto fdfs 常用指令 1、上传指令
指令参数
fdfs_upload_file config_file local_filename [storage_ip:port] [store_path_index]
参数含义
config_file 客户端配置文件路径local_filename 本地文件路径[storage_ip:port] 可选参数[store_path_index] 可选参数
指令使用
[roottracker fdfs]# fdfs_upload_file /etc/fdfs/client.conf 上传的文件路径 注意
上传文件后会返回文件在FastDFS中的唯一文件标识即卷名文件名 2、下载指令
指令参数
fdfs_download_file config_file file_id [local_filename] [download_offset download_bytes]
参数含义
config_file 配置文件路径file_id 文件在FastDFS中的唯一文件标识即卷名文件名[local_filename] 文件下载地址download_offset 可选参数文件下载开始时间download_bytes 可选参数文件下载的字节数
指令使用
[roottracker fdfs]# fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/wKhygVwnUUOAcgYHCCZp2Ahsb3g964.rpm /root/java/xxx.rpm 3、查看文件信息指令
指令参数
fdfs_file_info config_file file_id
参数含义
config_file 配置文件路径file_id 文件在FastDFS中的唯一文件标识即卷名文件名
指令使用
[roottracker fdfs]# fdfs_file_info /etc/fdfs/client.conf group1/M00/00/00/wKhygVwnUUOAcgYHCCZp2Ahsb3g964.rpm 4、删除指令
指令参数
fdfs_delete_file config_file file_id
参数含义
config_file 配置文件路径file_id 文件在FastDFS中的唯一文件标识即卷名文件名
指令使用
[roottracker fdfs]# fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/wKhygVwnUUOAcgYHCCZp2Ahsb3g964.rpm
注意:
删除指令使用后文件在该卷中的所有备份都会被删除因为卷内的存储节点会相互同步故慎用 SpringBoot整合FastDFS
1、引入fastdfs的依赖并且在yml文件中配置fdfs dependencygroupIdcom.github.tobato/groupIdartifactIdfastdfs-client/artifactIdversion1.26.5/version/dependency fdfs:so-timeout: 1501connect-timeout: 601thumb-image:width: 150height: 150tracker-list:- 192.168.138.102:22122server:port: 8080
2、编写控制器
package com.itbaizhan.fastdfs_blog.controller;import com.github.tobato.fastdfs.domain.fdfs.StorePath;
import com.github.tobato.fastdfs.service.FastFileStorageClient;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.multipart.MultipartFile;Controller
public class FdfsController {//fastdfs的客户端操作对象Autowiredprivate FastFileStorageClient fastFileStorageClient;//通过该路径跳转到上传页面RequestMapping(/index)public String index(){return index;}//处理上传业务RequestMapping(/upload)public String upload(MultipartFile file){try {String fileName file.getOriginalFilename();String suffix fileName.substring(fileName.lastIndexOf(.)1);/*** 参数一文件输入流* 参数二文件大小* 参数三文件后缀名* 参数四元对象*/StorePath storePath fastFileStorageClient.uploadFile(file.getInputStream(), file.getSize(), suffix, null);System.out.println(storePath.getFullPath());//输出文件的唯一标识}catch (Exception ex){ex.printStackTrace();}//成功之后跳转到成功页return ok;}}3、编写index.html通过wangEditor实现文件上传
!DOCTYPE html
html langen
headmeta charsetUTF-8title文件上传/title
/head
bodydiv iddiv1p欢迎使用bwangEditor/b富文本编辑器/p/div!--引入js--script typetext/javascript srchttps://cdn.jsdelivr.net/npm/wangeditor4.7.15/dist/wangEditor.js/scriptscript typetext/javascriptvar E window.wangEditor;const editornew E(#div1)//设置文件上传的参数名称editor.config.uploadFileNamefile//配置server接口地址editor.config.uploadImgServer/upload//2Meditor.config.uploadImgMaxSize2*1024*1024editor.config.uploadImgAccept[jpg,jpeg,png,gif,bmp,webp]//一次最多上传5个图片editor.config.uploadImgMaxLength5editor.create()/script
/body
/html 4、编写成功页
!DOCTYPE html
html langen
headmeta charsetUTF-8title完成页/title
/head
body上传图片成功,点击a href/index返回/a
/body
/html
5、启动控制器访问路径http://localhost:8080/index跳转到文件上传页面因为我们没有返回成功的状态码所以不管我们是否成功都无法跳转到成功页面但是其实是已经上传成功了大家如果想要做的更加完整可以返回一个成功的状态码具体前往wangEditor的官网查看
但是我们可以通过控制器的输出获取到文件的唯一标识然后在虚拟机中获取文件的信息 FastDFS集成Nginx
Nginx服务器是一个高性能的web服务器与反向代理服务器。 FastDFS集成Nginx的2个原因
1、为分布式文件系统提供Http服务支持
通过Nginx的web服务代理访问分布式文件系统的存储节点从而实现通过http请求访问存储节点资源。 注意
src 属性值图像文件的 URL。也就是引用该图像的文件的的绝对路径或相对路径。 2、解决复制延迟问题
由于FastDFS的同卷的存储节点之间需要同步当文件尚未同步完成时访问请求到达改节点获取的数据将是未同步完的不完整数据即为复制延迟问题。通过Nginx检测请求的存储节点的数据若该存储节点的数据尚未同步完成则将请求转发至数据的原存储节点从而解决复制延迟问题。 下载Fastdfs的Nginx模块包
cd /usr/localwget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.22.tar.gztar -zxvf V1.22.tar.gz 安装Nginx依赖文件
yum install -y gcc gcc-c zlib zlib-devel openssl openssl-devel pcre pcre-devel gd-devel epel-release 下载Nginx软件包
wget https://nginx.org/download/nginx-1.19.2.tar.gztar -zxvf nginx-1.19.2.tar.gzcd nginx-1.19.2/ 配置Nginx服务器
#建立Makefile文件检查Linux系统环境以及相关的关键属性。./configure --add-module/usr/local/fastdfs-nginx-module-1.22/src/#编译项目主要将gcc源代码编译成可执行的目标文件make#根据上一步骤编译完成的数据安装到预定的目录中。make install
注意
–add-module为nginx添加一个fastdfs-nginx-module模块值为该模块在当前系统的路径–prefix指定nginx安装位置 将Fastdfs软件包里面的http.conf和mime.types拷贝到/etc/fdfs目录下
cp /usr/local/fastdfs-6.06/conf/mime.types /etc/fdfs/cp /usr/local/fastdfs-6.06/conf/http.conf /etc/fdfs/ 配置Nginx的fastdfs模块并编辑文件
#拷贝文件[rootlocalhost opt]cp /usr/local/fastdfs-nginx-module-1.22/src/mod_fastdfs.conf /etc/fdfs/[rootlocalhost fdfs] vim mod_fastdfs.conf#保存日志目录base_path/data/fastdfs/storage #tracker 服务器的 IP 地址以及端口号tracker_server192.168.66.100:22122#文件url中是否有group 名url_have_group_name true #存储路径store_path0/data/fastdfs/storage group_count 1 #设置组的个数#然后在末尾添加分组信息目前只有一个分组就只写一个[group1]group_namegroup1storage_server_port23000store_path_count1store_path0/data/fastdfs/storage 配置Nginx
server{listen 80;server_name localhost;location ~ /group[1-3]/M00 {alias /data/fastdfs/storage/data;ngx_fastdfs_module; //使用FastDFS集成Nginx的模块}# 根目录下返回403location / {return 403;}# log fileaccess_log logs/img_access.log access;} 启动Ningx服务
# 进入sbin目录[roottracker nginx]# cd sbin/# 启动服务 -c指定配置文件[roottracker sbin]# ./nginx -c /usr/local/nginx/conf/nginx.conf 查看服务启动情况
[roottracker sbin]# ps -ef | grep nginx 启动追踪服务与存储节点服务
[roottracker sbin]# fdfs_trackerd /etc/fdfs/tracker.conf start[roottracker sbin]# fdfs_storaged /etc/fdfs/storage.conf start 上传图片测试
将图片上传至linux系统后使用指令上传至分布式文件系统
[roottracker fdfs]# fdfs_upload_file /etc/fdfs/client.conf /root/xxxxx.pnggroup1/M00/00/00/wKhyj1wrIUWAL5ASAAAfA8PiO7Y493.png 通过浏览器远程访问
http://192.168.66.100/group1/M00/00/00/wKhyj1wrIfqAD3NFAAn1fNRE8_M976.png
