若您想使用你自己的域名来展示OSS存储上的文件，只要设置CNAME就可以了。 你可以直接将你的域名下的一个二级域名CNAME到OSS的地址 如将static.yourdomainname.com CNAME storage.aliyun.com即可。 CNAME设置成功后，原来访问的是 storage.aliyun.com/yourbucket/yourfile, 变为 xxx.yourdomain.com/yourbucket/yourfile

说明：我绑定了二级域名，本演示采用二级域名oss 来介绍，我实际使用的是二级域名pic 。新手第一次分享使用经验，望各位大神手下留情... 第一步：新建bucket，我的是 杭州地区，hz1 第二步： 设置域名A记录，将二级域名oss解析至你的ip地址： 第三步：设置二级域名oss： 添加二级域名oss： 第四步：下载验证文件上传至二级域名根目录： 验证绑定： 设置CNAME解析，将二级域名的A记录更改为CNAME解析： 第五步：上传扩展框架，见附件： 附件有扩展框架，请对应自己的版本号，X3.2可以使用X3.1的扩展框架，将 扩展框架内 extend文件夹上传至Discuz根目录；将 扩展框架内 source文件夹下的文件按照对应目录上传至 Discuz根目录的source文件夹下 第六步：到config_global.php添加如下配置信息： // ---------------------------  CONFIG EXTENT --------------------------- // $_config['extend']['storage']['curstorage']= 'aliyun'; $_config['extend']['storage']['aliyun']['access_id']= ' 你的access_id '; $_config['extend']['storage']['aliyun']['access_key']= ' 你的access_key '; $_config['extend']['storage']['aliyun']['access_host']=  'http:// 你的bucket 名称.oss-cn-hangzhou.aliyuncs.com/'; $_config['extend']['storage']['aliyun']['bucket']= '你的bucket 名称'; $_config['extend']['storage']['aliyun']['attachurl']= 'http:// 你的二级域名.xxx.com/'; 第七步：在Discuz后台，全局——上传设置——远程附件，开启远程附件，设置远程访问url为你设置的二级域名（演示为oss，实际使用pic）。 然后保存，更新缓存，设置完毕！ 验证效果，在论坛发图片： oss后台，演示为hz1，实际使用oss0427： 附件：扩展框架 希望大家都能成功使用oss，期望阿里云能给我们提供oss优惠额度！

基于Nginx及FastDFS，完成商品图片的上传及展示 一、传统图片存储及展示方式      存在问题： 1）大并发量上传访问图片时，需要对web应用做负载均衡，但是会存在图片共享问题 2）web应用服务器的存储空间有限，它是web应用服务器，而不是存储服务器。 3）web应用服务器的本身的io读写性能不高，图片上传下载时，速度偏慢 4）web应用服务器访问图片时，由于图片内容较大，并发量大的时候，会占用web应用服务器的带宽，这样该web应用服务器的其他功能就会受到较大的影响。    解决方案： 1）将图片集中存储到IO读写性能高的图片服务器中。 2）下载访问图片时，使用http服务器直接读取图片服务器中的图片。 二、集群模式   (1)Nginx快速入门 Nginx是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP服务器。主要应用于：HTTP服务器、反向代理服务器\负载均衡服务器、虚拟主机。    Nginx的安装（另见《电商常用软件安装篇》）    Nginx的使用（通过修改nginx.conf配置文件实现） 1）虚拟主机配置    将网络中的每一台计算机分成多个虚拟主机，每个虚拟主机可以单独对外提供www服务。    a)基于端口配置（ip地址一致，端口不一致） #基于80端口的虚拟主机 server { listen 80; server_name 192.168.242.128; location / { root html; index index.html index.htm; } } #基于81端口的虚拟主机 server { listen 81; server_name 192.168.242.128; location /{ root html81; index index.html index.htm; } }    b)基于域名配置 ①修改hosts文件，实现ip地址和域名的映射配置：   Hosts文件的位置：C:\Windows\System32\drivers\etc\hosts   建议使用SwitchHosts工具修改本地DNS配置。 ②配置nginx.conf     #基于www.aaa.com域名的虚拟主机 server {        listen 80; server_name www.aaa.com; location /{ root htmlaaa; index index.html index.htm; } } #基于www.bbb.com域名的虚拟主机 server { listen 80; server_name www.bbb.com; location /{ root htmlbbb; index index.html index.htm; } } 2）反向代理配置 通常的代理服务器，只用于代理内部网络对Internet的连接请求；而反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的连接请求。 简单理解：以tomcat为中心，以内外网为前提，tomcat主动出击是正向代理，而tomcat 被动接受请求就是反向代理。 3）负载均衡配置 简单理解：反向代理负载均衡技术是把将来自internet上的连接请求以反向代理的方式动态地转发给内部网络上的多台服务器进行处理，从而达到负载均衡的目的。 ① 负载均衡的方式：硬负载（F5服务器）、软负载（Nginx） ② 负载均衡的策略：轮询、ip_hash等 ③ 具体配置 tomcat+nginx演示： 反向代理案例中，通过域名www.tomcat1.com访问时，后台只有8080端口服务进行响应。 负载均衡配置时，通过域名www.tomcat1.com访问时，后台除了8080端口响应，再添加一台8282服务器响应服务。 修改nginx配置文件，修改如下： upstream tomcat1{ #weight 权重，默认是1，权重越高，被分配的几率越大 server 192.168.242.128:8080  weight=2; server 192.168.242.128:8282; }   #配置一个虚拟主机 server { listen 80; server_name www.tomcat1.com; location / { proxy_pass http://tomcat1; } }  (2)FastDFS  FastDFS是用C语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。 1）FastDFS架构（Tracker server + Storage server） ① Tracker server作用是对Storage server进行负载均衡和调度，在文件上传时会直接请求Tracker server，然后Tracker server可以根据一些策略找到Storage server来提供文件上传服务。所以可以将tracker称为追踪服务器或调度服务器。 ② Storage server作用是文件存储，客户端上传的文件最终存储在Storage服务器上，Storage server没有实现自己的文件系统而是利用操作系统的文件系统来管理文件。可以将storage称为存储服务器。 具体架构如下图：   2）Tracker 集群 FastDFS集群中的Tracker server可以有多台，Tracker server之间是相互平等关系同时提供服务，Tracker server不存在单点故障。客户端请求Tracker server采用轮询方式，如果请求的tracker无法提供服务则换另一个tracker。 3）Storage集群 Storage集群采用了分组存储方式。storage集群由一个或多个组构成，一个组由一台或多台存储服务器组成，组内的Storage server之间是平等关系，不同组的Storage server之间不会相互通信，同组内的Storage server之间会相互连接进行文件同步，从而保证同组内每个storage上的文件完全一致的。一个组的存储容量为该组内存储服务器容量最小的那个，集群存储总容量为集群中所有组的存储容量之和，由此可见组内存储服务器的软硬件配置最好是一致的。 采用分组存储方式的好处是灵活、可控性较强。比如上传文件时，可以由客户端直接指定上传到的组也可以由tracker进行调度选择。一个分组的存储服务器访问压力较大时，可以在该组增加存储服务器来扩充服务能力（纵向扩容）。当系统容量不足时，可以增加组来扩充存储容量（横向扩容）。 4）Storage状态收集 Storage server会连接集群中所有的Tracker server，定时向他们报告自己的状态，包括磁盘剩余空间、文件同步状况、文件上传下载次数等统计信息。 5）文件上传流程   客户端上传文件后存储服务器将文件ID返回给客户端，此文件ID用于以后访问该文件的索引信息。文件索引信息包括：组名，虚拟磁盘路径，数据两级目录，文件名。   n 组名：文件上传后所在的storage组名称，在文件上传成功后有storage服务器返回，需要客户端自行保存。 n 虚拟磁盘路径：storage配置的虚拟路径，与磁盘选项store_path*对应。如果配置了store_path0则是M00，如果配置了store_path1则是M01，以此类推。 n 数据两级目录：storage服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件。 n 文件名：与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含：源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。 6）文件下载流程   tracker根据请求的文件路径即文件ID来快速定义文件。 比如请求下边的文件：   1.通过组名tracker能够很快的定位到客户端需要访问的存储服务器组是group1，并选择合适的存储服务器提供客户端访问。   2.存储服务器根据“文件存储虚拟磁盘路径”和“数据文件两级目录”可以很快定位到文件所在目录，并根据文件名找到客户端需要访问的文件。

HTML5中，我们常常用到storage，那这个storage到底是什么？有啥用呢？其实，storage是个很简单的东西，只要熟悉JavaScript中对象的童鞋，看完小编本文的分享，对storage的概念及用法应该都能掌握个七七八八了。在HTML5中，你可以吧storage 想象成是储存在客户端（浏览器）中的一些 javascript 对象，那么有什么用呢？举个简单的例子，百度搜索会把你每次的搜索关键字用 storage（localStorage） 存储下来，那么下次你再搜索相同的内容的时候，它会优先将你曾经搜过的内容进行下拉展示。 关于 storage 的内容，可以用 chrome 下的 Resources 面板进行查看。方法：1、clear() 删除所有值。ff 没有实现2、getItem(name) 根据指定的名字 name 获取对应的值3、key(index) 获得 index 位置处的值的名字4、removeItem(name) 删除由 name 指定的名值对5、setItem(name, value) 为指定的 name 设置一个对应的值也可以用点语法和方括号语法来访问设置，但是建议用上面的方法。除此之外，还需要注意的一点就是 value 必须是字符串 。sessionStorage顾名思义，sessionStorage 对象存储特定于某个会话的数据，也就是该数据只保持到浏览器关闭，或者更准确地说是保持到该页面标签关闭为止。对于同一个页面，在不同标签中打开，是拥有不同的 sessionStorage 对象的，而如果相同页面，刷新后，sessionStorage 对象也会重新开始。// 设置sessionStorage.setItem('name', 'maiziedu');sessionStorage.age = '10';// 读取var name = sessionStorage.getItem('name'); // maizieduvar age = sessionStorage.age; // 10// 遍历for (var i = 0, len = sessionStorage.length; i < len; i++) {var key = sessionStorage.key(i);var value = sessionStorage.getItem(key);console.log(key, value);}// age 10// name maiziedu// 也可以用 for infor (var key in sessionStorage) {console.log(key, sessionStorage.getItem(key));}// 删除delete sessionStorage.name;sessionStorage.removeItem('age');因为 sessionStorage 对象绑定于某个服务器会话，所以当文件在本地运行的时候是不可用的。sessionStorage 对象主要用于仅针对会话的小段数据的存储，如果需要跨域会话存储数据，那么就要使用 localStorage 了。localStoragelocalStorage 和 sessionStorage 大抵相同。可以多页面访问同一个 localStorage 对象，但是页面必须来自同一域名（子域名无效），使用同一种协议，同一个端口（同源策略）。至于 localStorage 的使用方法，可以参考上面 sessionStorage 的使用。Storage 事件对 Storage 对象进行任何修改，都会在文档上触发 Storage 事件。当通过属性或 setItem() 方法保存数据，使用 delete 操作符或者 removeItem() 删除数据，或者调用 clear() 方法时，都会发生该事件。这个事件的 event 对象有如下属性：1、domain 发生变化的存储空间的域名2、key 设置或者删除的键名3、newValue 如果是设置值，则是新值；如果是删除键，则是 null4、oldValue 键被更改之前的值遗憾的是，webkit（chrome）还不支持这个事件，尽管 IE8 以及 ff 支持其部分属性，但因为 chrome 的不支持，注定其到目前为止还无法广泛使用。EventUtil.addHandler(document, 'storage', function(e) {console.log(e.domain, e.key, e.newValue, e.oldValue);}); 以上就是html5中，涉及到的storage相关内容及其使用方法，如果大家在前端开发中，需要实现上述功能，不妨可以试试上述方法。

StorageStorage 提供了访问特定域名下的会话级别或永久级别的存储功能，例如，可以添加、修改或删除存储的数据项。键值对是以字符串的形式存储。且是同步的方式存储，所以长字符串频繁读取会造成卡顿。Storage 属性Storage.length 返回一个整数，表示存储的数量项个数。Storage 方法Storage.key(idx) 通过 idx 返回对应数据项的键。顺序规则不是增加顺序。Storage.getItem(key) 通过 键 返回对应数据项的 值。也可以通过localStorage[key]或者localStorage.key来获取值。Storage.setItem(key, value) 通过 键 设置对应数据项的 值。也可以通过 = 号赋值。Storage.removeItem(key) 通过 键 移除对应数据项。Storage.clear() 清空存储中所有内容localStorage永久级别的本地存储。Window.localStorage，各个窗口都可以共享使用，如果其他窗口修改之后，会触发 storage 通知事件。sessionStorage会话级别的本地存储。Window.sessionStorage，在浏览器打开期间一直保持，并且重新加载或恢复页面仍会保持。新窗口或者新页面不会共享。注意事项各浏览器支持的 localStorage 和 sessionStorage 容量上限不同。localStorage 有可能会在空间不足被清理、或者用户主动清理。因为是同步操作，所以会有卡顿问题。localForagelocalForage 是一个 JavaScript 库，通过简单类似 localStorage API 的异步存储来改进你的 Web 应用程序的离线体验。它能存储多种类型的数据，而不仅仅是字符串。localForage 有一个优雅降级策略，若浏览器不支持 IndexedDB 或 WebSQL，则使用 localStorage。在所有主流浏览器中都可用：Chrome，Firefox，IE 和 Safari（包括 Safari Mobile）。

为什么要使用分布式文件系统呢？ 嗯，这个问题问的好，使用了它对我们有哪些好处？带着这个问题我们来往下看： 单机时代 初创时期由于时间紧迫，在各种资源有限的情况下，通常就直接在项目目录下建立静态文件夹，用于用户存放项目中的文件资源。如果按不同类型再细分，可以在项目目录下再建立不同的子目录来区分。例如：resourcesstaticfile、resourcesstaticimg等。 优点：这样做比较便利，项目直接引用就行，实现起来也简单，无需任何复杂技术，保存数据库记录和访问起来也很方便。 缺点：如果只是后台系统的使用一般也不会有什么问题，但是作为一个前端网站使用的话就会存在弊端。一方面，文件和代码耦合在一起，文件越多存放越混乱；另一方面，如果流量比较大，静态文件访问会占据一定的资源，影响正常业务进行，不利于网站快速发展。 独立文件服务器 随着公司业务不断发展，将代码和文件放在同一服务器的弊端就会越来越明显。为了解决上面的问题引入独立图片服务器，工作流程如下：项目上传文件时，首先通过ftp或者ssh将文件上传到图片服务器的某个目录下，再通过ngnix或者apache来访问此目录下的文件，返回一个独立域名的图片URL地址，前端使用文件时就通过这个URL地址读取。 优点：图片访问是很消耗服务器资源的（因为会涉及到操作系统的上下文切换和磁盘I/O操作），分离出来后，Web/App服务器可以更专注发挥动态处理的能力；独立存储，更方便做扩容、容灾和数据迁移；方便做图片访问请求的负载均衡，方便应用各种缓存策略（HTTP Header、Proxy Cache等），也更加方便迁移到CDN。 缺点：单机存在性能瓶颈，容灾、垂直扩展性稍差 分布式文件系统 通过独立文件服务器可以解决一些问题，如果某天存储文件的那台服务突然down了怎么办？可能你会说，定时将文件系统备份，这台down机的时候，迅速切换到另一台就OK了，但是这样处理需要人工来干预。另外，当存储的文件超过100T的时候怎么办？单台服务器的性能问题？这个时候我们就应该考虑分布式文件系统了。 业务继续发展，单台服务器存储和响应也很快到达了瓶颈，新的业务需要文件访问具有高响应性、高可用性来支持系统。分布式文件系统，一般分为三块内容来配合，服务的存储、访问的仲裁系统，文件存储系统，文件的容灾系统来构成，仲裁系统相当于文件服务器的大脑，根据一定的算法来决定文件存储的位置，文件存储系统负责保存文件，容灾系统负责文件系统和自己的相互备份。 优点：扩展能力: 毫无疑问，扩展能力是一个分布式文件系统最重要的特点；高可用性: 在分布式文件系统中，高可用性包含两层，一是整个文件系统的可用性，二是数据的完整和一致性；弹性存储: 可以根据业务需要灵活地增加或缩减数据存储以及增删存储池中的资源，而不需要中断系统运行 缺点：系统复杂度稍高，需要更多服务器 FastDFS 毫无疑问FastDFS就属于我们上面介绍的分布式文件系统，下面我们来详细了解一下： 什么是FastDFS FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务，如相册网站、视频网站等等。在UC基于FastDFS开发向用户提供了：网盘，社区，广告和应用下载等业务的存储服务。 FastDFS是一款开源的轻量级分布式文件系统纯C实现，支持Linux、FreeBSD等UNIX系统类google FS，不是通用的文件系统，只能通过专有API访问，目前提供了C、Java和PHP API为互联网应用量身定做，解决大容量文件存储问题，追求高性能和高扩展性FastDFS可以看做是基于文件的key value pair存储系统，称作分布式文件存储服务更为合适。 FastDFS特性： 文件不分块存储，上传的文件和OS文件系统中的文件一一对应支持相同内容的文件只保存一份，节约磁盘空间下载文件支持HTTP协议，可以使用内置Web Server，也可以和其他Web Server配合使用支持在线扩容支持主从文件存储服务器上可以保存文件属性（meta-data）V2.0网络通信采用libevent，支持大并发访问，整体性能更好FastDFS相关概念 FastDFS服务端有三个角色：跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）。 tracker server：跟踪服务器，主要做调度工作，起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息，是客户端和数据服务器交互的枢纽。相比GFS中的master更为精简，不记录文件索引信息，占用的内存量很少。 Tracker是FastDFS的协调者，负责管理所有的storage server和group，每个storage在启动后会连接Tracker，告知自己所属的group等信息，并保持周期性的心跳，tracker根据storage的心跳信息，建立group==>[storage server list]的映射表。 Tracker需要管理的元信息很少，会全部存储在内存中；另外tracker上的元信息都是由storage汇报的信息生成的，本身不需要持久化任何数据，这样使得tracker非常容易扩展，直接增加tracker机器即可扩展为tracker cluster来服务，cluster里每个tracker之间是完全对等的，所有的tracker都接受stroage的心跳信息，生成元数据信息来提供读写服务。 storage server：存储服务器（又称：存储节点或数据服务器），文件和文件属性（meta data）都保存到存储服务器上。Storage server直接利用OS的文件系统调用管理文件。 Storage server（后简称storage）以组（卷，group或volume）为单位组织，一个group内包含多台storage机器，数据互为备份，存储空间以group内容量最小的storage为准，所以建议group内的多个storage尽量配置相同，以免造成存储空间的浪费。 以group为单位组织存储能方便的进行应用隔离、负载均衡、副本数定制（group内storage server数量即为该group的副本数），比如将不同应用数据存到不同的group就能隔离应用数据，同时还可根据应用的访问特性来将应用分配到不同的group来做负载均衡；缺点是group的容量受单机存储容量的限制，同时当group内有机器坏掉时，数据恢复只能依赖group内地其他机器，使得恢复时间会很长。 group内每个storage的存储依赖于本地文件系统，storage可配置多个数据存储目录，比如有10块磁盘，分别挂载在/data/disk1-/data/disk10，则可将这10个目录都配置为storage的数据存储目录。 storage接受到写文件请求时，会根据配置好的规则（后面会介绍），选择其中一个存储目录来存储文件。为了避免单个目录下的文件数太多，在storage第一次启动时，会在每个数据存储目录里创建2级子目录，每级256个，总共65536个文件，新写的文件会以hash的方式被路由到其中某个子目录下，然后将文件数据直接作为一个本地文件存储到该目录中。 client：客户端，作为业务请求的发起方，通过专有接口，使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。FastDFS向使用者提供基本文件访问接口，比如upload、download、append、delete等，以客户端库的方式提供给用户使用。 另外两个概念： group ：组， 也可称为卷。 同组内服务器上的文件是完全相同的 ，同一组内的storage server之间是对等的， 文件上传、 删除等操作可以在任意一台storage server上进行 。 meta data ：文件相关属性，键值对（ Key Value Pair） 方式，如：width=1024,heigth=768 。 Tracker相当于FastDFS的大脑，不论是上传还是下载都是通过tracker来分配资源；客户端一般可以使用ngnix等静态服务器来调用或者做一部分的缓存；存储服务器内部分为卷（或者叫做组），卷于卷之间是平行的关系，可以根据资源的使用情况随时增加，卷内服务器文件相互同步备份，以达到容灾的目的。 上传机制 首先客户端请求Tracker服务获取到存储服务器的ip地址和端口，然后客户端根据返回的IP地址和端口号请求上传文件，存储服务器接收到请求后生产文件，并且将文件内容写入磁盘并返回给客户端file_id、路径信息、文件名等信息，客户端保存相关信息上传完毕。 内部机制如下： 1、选择tracker server 当集群中不止一个tracker server时，由于tracker之间是完全对等的关系，客户端在upload文件时可以任意选择一个trakcer。 选择存储的group 当tracker接收到upload file的请求时，会为该文件分配一个可以存储该文件的group，支持如下选择group的规则： 1、Round robin，所有的group间轮询2、Specified group，指定某一个确定的group3、Load balance，剩余存储空间多多group优先 2、选择storage server 当选定group后，tracker会在group内选择一个storage server给客户端，支持如下选择storage的规则： 1、Round robin，在group内的所有storage间轮询2、First server ordered by ip，按ip排序3、First server ordered by priority，按优先级排序（优先级在storage上配置） 3、选择storage path 当分配好storage server后，客户端将向storage发送写文件请求，storage将会为文件分配一个数据存储目录，支持如下规则： 1、Round robin，多个存储目录间轮询2、剩余存储空间最多的优先 4、生成Fileid 选定存储目录之后，storage会为文件生一个Fileid，由storage server ip、文件创建时间、文件大小、文件crc32和一个随机数拼接而成，然后将这个二进制串进行base64编码，转换为可打印的字符串。 选择两级目录 当选定存储目录之后，storage会为文件分配一个fileid，每个存储目录下有两级256*256的子目录，storage会按文件fileid进行两次hash（猜测），路由到其中一个子目录，然后将文件以fileid为文件名存储到该子目录下。 5、生成文件名 当文件存储到某个子目录后，即认为该文件存储成功，接下来会为该文件生成一个文件名，文件名由group、存储目录、两级子目录、fileid、文件后缀名（由客户端指定，主要用于区分文件类型）拼接而成。 下载机制 客户端带上文件名信息请求Tracker服务获取到存储服务器的ip地址和端口，然后客户端根据返回的IP地址和端口号请求下载文件，存储服务器接收到请求后返回文件给客户端。 跟upload file一样，在download file时客户端可以选择任意tracker server。tracker发送download请求给某个tracker，必须带上文件名信息，tracke从文件名中解析出文件的group、大小、创建时间等信息，然后为该请求选择一个storage用来服务读请求。由于group内的文件同步时在后台异步进行的，所以有可能出现在读到时候，文件还没有同步到某些storage server上，为了尽量避免访问到这样的storage，tracker按照如下规则选择group内可读的storage。 1、该文件上传到的源头storage - 源头storage只要存活着，肯定包含这个文件，源头的地址被编码在文件名中。2、文件创建时间戳==storage被同步到的时间戳 且(当前时间-文件创建时间戳) > 文件同步最大时间（如5分钟) - 文件创建后，认为经过最大同步时间后，肯定已经同步到其他storage了。3、文件创建时间戳 < storage被同步到的时间戳。 - 同步时间戳之前的文件确定已经同步了4、(当前时间-文件创建时间戳) > 同步延迟阀值（如一天）。 - 经过同步延迟阈值时间，认为文件肯定已经同步了。 同步时间管理 当一个文件上传成功后，客户端马上发起对该文件下载请求（或删除请求）时，tracker是如何选定一个适用的存储服务器呢？ 其实每个存储服务器都需要定时将自身的信息上报给tracker，这些信息就包括了本地同步时间（即，同步到的最新文件的时间戳）。而tracker根据各个存储服务器的上报情况，就能够知道刚刚上传的文件，在该存储组中是否已完成了同步。同步信息上报如下图： 写文件时，客户端将文件写至group内一个storage server即认为写文件成功，storage server写完文件后，会由后台线程将文件同步至同group内其他的storage server。 每个storage写文件后，同时会写一份binlog，binlog里不包含文件数据，只包含文件名等元信息，这份binlog用于后台同步，storage会记录向group内其他storage同步的进度，以便重启后能接上次的进度继续同步；进度以时间戳的方式进行记录，所以最好能保证集群内所有server的时钟保持同步。 storage的同步进度会作为元数据的一部分汇报到tracker上，tracke在选择读storage的时候会以同步进度作为参考。 比如一个group内有A、B、C三个storage server，A向C同步到进度为T1 (T1以前写的文件都已经同步到B上了），B向C同步到时间戳为T2（T2 > T1)，tracker接收到这些同步进度信息时，就会进行整理，将最小的那个做为C的同步时间戳，本例中T1即为C的同步时间戳为T1（即所有T1以前写的数据都已经同步到C上了）；同理，根据上述规则，tracker会为A、B生成一个同步时间戳。 精巧的文件ID-FID 说到下载就不得不提文件索引（又称：FID）的精巧设计了。文件索引结构如下图，是客户端上传文件后存储服务器返回给客户端，用于以后访问该文件的索引信息。文件索引信息包括：组名，虚拟磁盘路径，数据两级目录，文件名。 组名：文件上传后所在的存储组名称，在文件上传成功后有存储服务器返回，需要客户端自行保存。虚拟磁盘路径：存储服务器配置的虚拟路径，与磁盘选项store_path*对应。数据两级目录：存储服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件。文件名：与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含：源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。 快速定位文件 知道FastDFS FID的组成后，我们来看看FastDFS是如何通过这个精巧的FID定位到需要访问的文件。 1、通过组名tracker能够很快的定位到客户端需要访问的存储服务器组，并将选择合适的存储服务器提供客户端访问；2、存储服务器根据“文件存储虚拟磁盘路径”和“数据文件两级目录”可以很快定位到文件所在目录，并根据文件名找到客户端需要访问的文件。 如何搭建FastDFS？参考博客的这篇文章FastDFS 集群 安装 配置 下图为某用户搭建的架构示意图文中图片均来源于网络参考官方网站配置文档Java客户端分布式文件系统FastDFS设计原理FASTDFS 本文作者:纯洁的微笑-ityouknow链接：http://www.ityouknow.com/fastdfs/2018/01/06/distributed-file-system-fastdfs.html

页面可用的缓存包括:Http Cache, Local Storage, Session Storage以及Application Cache. 它们都可以用来减少请求数量，以提高页面的性能及减少流量消耗，这对于移动端的浏览器来说更为重要 (另外还有Memory Cache, 不过对于前端工程而言是透明的)。 Http Cache 最为常用的缓存机制。相对后三项属于浏览器内核内的模块(也是H5中定义的标准)，Http Cache早已存在于HTTP模块中了。它是网络层对HTTP协议实现中一部分。它基于对响应头中的Cache Conrol信息进行解析，执行新鲜度检查、条件更新等操作来管理缓存。缓存的容量限制及淘汰、更新算法在各个浏览器中实现都不相同，属于浏览器及页面开发优化的一个重点。比如缓存赵多的内容会使得网页请求的数量更少，但是缓存的内容达到一定量后，会导致查询及I/O变慢，反而使得投入产出比下降。容量是基于存储空间而定，不同的浏览器会有不同的最大值，而且不同的用户在实际使用是对缓存总量的依赖也不同。这些都是浏览器性能优化时考虑的内容。 详细内容可以通过<<管好页面缓存>>了解。 它的一个问题在于缓存内容的淘汰基于算法的实现，无法保证单独针对需要保留某个资源。所有的资源都可能因为缓存策略的变化，存储空间的变化而遭到淘汰。所以针对这种场景，HTML5定义了能更好地支持离线浏览的Applcation Cache。 Application Cache   应用于离线场景下可以让用户继续使用页面的场景，比如支持离线的游戏、及Office编辑应用等。 没有明确的容量限制，WebKit系列的浏览器会有每个域名5MBytes的限制(默认而已，具体会有变化)。考虑到一些浏览器存储时使用UTF-16编码，并不能真正达5MBytes。 Application Cache是一种基于请求的主动缓存，缓存的内容受Cache Control信息控制，包括相关的新鲜度检测等。 实际应用时, Application Cache比较容易出问题, 典型的有，如何更改manifest文件以达到资源更新的目的，以及可能会造成重复缓存(manifest解析的时机不同)。 在决定使用Application Cache，一定要好好读读这篇文章:<<Application Cache is a Douchebag>>。 Application Cache提供的API非常简单，它并不依赖于JS就可以实现缓存的目的，同是又可以通过API来获得缓存的状态。详细内容参考H5规范中的定义<<Offline Web Applications>>。 Local Storage & Session Storage 使用方式和Cookie相似，主要应对Cookie不适合存储较大数据的情况，否则会导致与服务器交互的数据变大，性能易受到影响。。相对于Applcation Cache, 它们的使用依赖于JS, 但是简单明确。 Local Storage及Session Storage在H5称为Web Storage, 使用相同的API, 只是两者存在周期不同。前者可以一直存储，没有时间限制。后者则只存在于一个会话期，用户关闭浏览器后就会清除（除非浏览器支持重启后恢复上次的会话）。 在存储的API中，有不同的调用方式, 其性能是有差异的，并且不同的浏览器表现迥异： 可能的原因是相对大家都关注的JS Engine执行性能问题的逐步改善，DOM的操作时间对性能的影响更大。下面的数据来自IE团队针对使用较多AJAX请求的页面的统计: Web Storage的最大问题在于存储的同步问题，好在有一些JS库可以帮助改善这个问题。详细的内容可以阅读<<HTML5 and JavaScript Web Apps>>第6章Optimizing with Web Storage. 转载请注明出处: http://blog.csdn.net/horkychen   

上一篇文章《一次FastDFS并发问题的排查经历》介绍了一次生产排查并发问题的经历，可能有些人对FastDFS不是特别的了解，因此计划写几篇文章完整的介绍一下这个软件。 为什么要使用分布式文件系统呢？ 嗯，这个问题问的好，使用了它对我们有哪些好处？带着这个问题我们来往下看： 单机时代 初创时期由于时间紧迫，在各种资源有限的情况下，通常就直接在项目目录下建立静态文件夹，用于用户存放项目中的文件资源。如果按不同类型再细分，可以在项目目录下再建立不同的子目录来区分。例如：resources\static\file、resources\static\img等。 优点：这样做比较便利，项目直接引用就行，实现起来也简单，无需任何复杂技术，保存数据库记录和访问起来也很方便。 缺点：如果只是后台系统的使用一般也不会有什么问题，但是作为一个前端网站使用的话就会存在弊端。一方面，文件和代码耦合在一起，文件越多存放越混乱；另一方面，如果流量比较大，静态文件访问会占据一定的资源，影响正常业务进行，不利于网站快速发展。 独立文件服务器 随着公司业务不断发展，将代码和文件放在同一服务器的弊端就会越来越明显。为了解决上面的问题引入独立图片服务器，工作流程如下：项目上传文件时，首先通过ftp或者ssh将文件上传到图片服务器的某个目录下，再通过ngnix或者apache来访问此目录下的文件，返回一个独立域名的图片URL地址，前端使用文件时就通过这个URL地址读取。 优点：图片访问是很消耗服务器资源的（因为会涉及到操作系统的上下文切换和磁盘I/O操作），分离出来后，Web/App服务器可以更专注发挥动态处理的能力；独立存储，更方便做扩容、容灾和数据迁移；方便做图片访问请求的负载均衡，方便应用各种缓存策略（HTTP Header、Proxy Cache等），也更加方便迁移到CDN。 缺点：单机存在性能瓶颈，容灾、垂直扩展性稍差 分布式文件系统 通过独立文件服务器可以解决一些问题，如果某天存储文件的那台服务突然down了怎么办？可能你会说，定时将文件系统备份，这台down机的时候，迅速切换到另一台就OK了，但是这样处理需要人工来干预。另外，当存储的文件超过100T的时候怎么办？单台服务器的性能问题？这个时候我们就应该考虑分布式文件系统了。 业务继续发展，单台服务器存储和响应也很快到达了瓶颈，新的业务需要文件访问具有高响应性、高可用性来支持系统。分布式文件系统，一般分为三块内容来配合，服务的存储、访问的仲裁系统，文件存储系统，文件的容灾系统来构成，仲裁系统相当于文件服务器的大脑，根据一定的算法来决定文件存储的位置，文件存储系统负责保存文件，容灾系统负责文件系统和自己的相互备份。 优点：扩展能力: 毫无疑问，扩展能力是一个分布式文件系统最重要的特点；高可用性: 在分布式文件系统中，高可用性包含两层，一是整个文件系统的可用性，二是数据的完整和一致性；弹性存储: 可以根据业务需要灵活地增加或缩减数据存储以及增删存储池中的资源，而不需要中断系统运行 缺点：系统复杂度稍高，需要更多服务器 FastDFS 毫无疑问FastDFS就属于我们上面介绍的分布式文件系统，下面我们来详细了解一下： 什么是FastDFS FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务，如相册网站、视频网站等等。在UC基于FastDFS开发向用户提供了：网盘，社区，广告和应用下载等业务的存储服务。 FastDFS是一款开源的轻量级分布式文件系统纯C实现，支持Linux、FreeBSD等UNIX系统类google FS，不是通用的文件系统，只能通过专有API访问，目前提供了C、Java和PHP API为互联网应用量身定做，解决大容量文件存储问题，追求高性能和高扩展性FastDFS可以看做是基于文件的key value pair存储系统，称作分布式文件存储服务更为合适。 FastDFS特性： 文件不分块存储，上传的文件和OS文件系统中的文件一一对应 支持相同内容的文件只保存一份，节约磁盘空间 下载文件支持HTTP协议，可以使用内置Web Server，也可以和其他Web Server配合使用 支持在线扩容 支持主从文件 存储服务器上可以保存文件属性（meta-data）V2.0网络通信采用libevent，支持大并发访问，整体性能更好 FastDFS相关概念 FastDFS服务端有三个角色：跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）。 tracker server：跟踪服务器，主要做调度工作，起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息，是客户端和数据服务器交互的枢纽。相比GFS中的master更为精简，不记录文件索引信息，占用的内存量很少。 Tracker是FastDFS的协调者，负责管理所有的storage server和group，每个storage在启动后会连接Tracker，告知自己所属的group等信息，并保持周期性的心跳，tracker根据storage的心跳信息，建立group==>[storage server list]的映射表。 Tracker需要管理的元信息很少，会全部存储在内存中；另外tracker上的元信息都是由storage汇报的信息生成的，本身不需要持久化任何数据，这样使得tracker非常容易扩展，直接增加tracker机器即可扩展为tracker cluster来服务，cluster里每个tracker之间是完全对等的，所有的tracker都接受stroage的心跳信息，生成元数据信息来提供读写服务。 storage server：存储服务器（又称：存储节点或数据服务器），文件和文件属性（meta data）都保存到存储服务器上。Storage server直接利用OS的文件系统调用管理文件。 Storage server（后简称storage）以组（卷，group或volume）为单位组织，一个group内包含多台storage机器，数据互为备份，存储空间以group内容量最小的storage为准，所以建议group内的多个storage尽量配置相同，以免造成存储空间的浪费。 以group为单位组织存储能方便的进行应用隔离、负载均衡、副本数定制（group内storage server数量即为该group的副本数），比如将不同应用数据存到不同的group就能隔离应用数据，同时还可根据应用的访问特性来将应用分配到不同的group来做负载均衡；缺点是group的容量受单机存储容量的限制，同时当group内有机器坏掉时，数据恢复只能依赖group内地其他机器，使得恢复时间会很长。 group内每个storage的存储依赖于本地文件系统，storage可配置多个数据存储目录，比如有10块磁盘，分别挂载在/data/disk1-/data/disk10，则可将这10个目录都配置为storage的数据存储目录。 storage接受到写文件请求时，会根据配置好的规则（后面会介绍），选择其中一个存储目录来存储文件。为了避免单个目录下的文件数太多，在storage第一次启动时，会在每个数据存储目录里创建2级子目录，每级256个，总共65536个文件，新写的文件会以hash的方式被路由到其中某个子目录下，然后将文件数据直接作为一个本地文件存储到该目录中。 client：客户端，作为业务请求的发起方，通过专有接口，使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。FastDFS向使用者提供基本文件访问接口，比如upload、download、append、delete等，以客户端库的方式提供给用户使用。 另外两个概念： group ：组， 也可称为卷。 同组内服务器上的文件是完全相同的 ，同一组内的storage server之间是对等的， 文件上传、 删除等操作可以在任意一台storage server上进行 。 meta data ：文件相关属性，键值对（ Key Value Pair） 方式，如：width=1024,heigth=768 。 Tracker相当于FastDFS的大脑，不论是上传还是下载都是通过tracker来分配资源；客户端一般可以使用ngnix等静态服务器来调用或者做一部分的缓存；存储服务器内部分为卷（或者叫做组），卷于卷之间是平行的关系，可以根据资源的使用情况随时增加，卷内服务器文件相互同步备份，以达到容灾的目的。 上传机制 首先客户端请求Tracker服务获取到存储服务器的ip地址和端口，然后客户端根据返回的IP地址和端口号请求上传文件，存储服务器接收到请求后生产文件，并且将文件内容写入磁盘并返回给客户端file_id、路径信息、文件名等信息，客户端保存相关信息上传完毕。 内部机制如下： 1、选择tracker server 当集群中不止一个tracker server时，由于tracker之间是完全对等的关系，客户端在upload文件时可以任意选择一个trakcer。 选择存储的group 当tracker接收到upload file的请求时，会为该文件分配一个可以存储该文件的group，支持如下选择group的规则： 1、Round robin，所有的group间轮询 2、Specified group，指定某一个确定的group 3、Load balance，剩余存储空间多多group优先 2、选择storage server 当选定group后，tracker会在group内选择一个storage server给客户端，支持如下选择storage的规则： 1、Round robin，在group内的所有storage间轮询 2、First server ordered by ip，按ip排序 3、First server ordered by priority，按优先级排序（优先级在storage上配置） 3、选择storage path 当分配好storage server后，客户端将向storage发送写文件请求，storage将会为文件分配一个数据存储目录，支持如下规则： 1、Round robin，多个存储目录间轮询 2、剩余存储空间最多的优先 4、生成Fileid 选定存储目录之后，storage会为文件生一个Fileid，由storage server ip、文件创建时间、文件大小、文件crc32和一个随机数拼接而成，然后将这个二进制串进行base64编码，转换为可打印的字符串。 选择两级目录 当选定存储目录之后，storage会为文件分配一个fileid，每个存储目录下有两级256*256的子目录，storage会按文件fileid进行两次hash（猜测），路由到其中一个子目录，然后将文件以fileid为文件名存储到该子目录下。 5、生成文件名 当文件存储到某个子目录后，即认为该文件存储成功，接下来会为该文件生成一个文件名，文件名由group、存储目录、两级子目录、fileid、文件后缀名（由客户端指定，主要用于区分文件类型）拼接而成。 下载机制 客户端带上文件名信息请求Tracker服务获取到存储服务器的ip地址和端口，然后客户端根据返回的IP地址和端口号请求下载文件，存储服务器接收到请求后返回文件给客户端。 跟upload file一样，在download file时客户端可以选择任意tracker server。tracker发送download请求给某个tracker，必须带上文件名信息，tracke从文件名中解析出文件的group、大小、创建时间等信息，然后为该请求选择一个storage用来服务读请求。由于group内的文件同步时在后台异步进行的，所以有可能出现在读到时候，文件还没有同步到某些storage server上，为了尽量避免访问到这样的storage，tracker按照如下规则选择group内可读的storage。 1、该文件上传到的源头storage - 源头storage只要存活着，肯定包含这个文件，源头的地址被编码在文件名中。 2、文件创建时间戳==storage被同步到的时间戳 且(当前时间-文件创建时间戳) > 文件同步最大时间（如5分钟) - 文件创建后，认为经过最大同步时间后，肯定已经同步到其他storage了。 3、文件创建时间戳 < storage被同步到的时间戳。 - 同步时间戳之前的文件确定已经同步了 4、(当前时间-文件创建时间戳) > 同步延迟阀值（如一天）。 - 经过同步延迟阈值时间，认为文件肯定已经同步了。 同步时间管理 当一个文件上传成功后，客户端马上发起对该文件下载请求（或删除请求）时，tracker是如何选定一个适用的存储服务器呢？ 其实每个存储服务器都需要定时将自身的信息上报给tracker，这些信息就包括了本地同步时间（即，同步到的最新文件的时间戳）。而tracker根据各个存储服务器的上报情况，就能够知道刚刚上传的文件，在该存储组中是否已完成了同步。同步信息上报如下图： 写文件时，客户端将文件写至group内一个storage server即认为写文件成功，storage server写完文件后，会由后台线程将文件同步至同group内其他的storage server。 每个storage写文件后，同时会写一份binlog，binlog里不包含文件数据，只包含文件名等元信息，这份binlog用于后台同步，storage会记录向group内其他storage同步的进度，以便重启后能接上次的进度继续同步；进度以时间戳的方式进行记录，所以最好能保证集群内所有server的时钟保持同步。 storage的同步进度会作为元数据的一部分汇报到tracker上，tracke在选择读storage的时候会以同步进度作为参考。 比如一个group内有A、B、C三个storage server，A向C同步到进度为T1 (T1以前写的文件都已经同步到B上了），B向C同步到时间戳为T2（T2 > T1)，tracker接收到这些同步进度信息时，就会进行整理，将最小的那个做为C的同步时间戳，本例中T1即为C的同步时间戳为T1（即所有T1以前写的数据都已经同步到C上了）；同理，根据上述规则，tracker会为A、B生成一个同步时间戳。 精巧的文件ID-FID 说到下载就不得不提文件索引（又称：FID）的精巧设计了。文件索引结构如下图，是客户端上传文件后存储服务器返回给客户端，用于以后访问该文件的索引信息。文件索引信息包括：组名，虚拟磁盘路径，数据两级目录，文件名。 组名：文件上传后所在的存储组名称，在文件上传成功后有存储服务器返回，需要客户端自行保存。 虚拟磁盘路径：存储服务器配置的虚拟路径，与磁盘选项store_path*对应。 数据两级目录：存储服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件。 文件名：与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含：源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。 快速定位文件 知道FastDFS FID的组成后，我们来看看FastDFS是如何通过这个精巧的FID定位到需要访问的文件。 1、通过组名tracker能够很快的定位到客户端需要访问的存储服务器组，并将选择合适的存储服务器提供客户端访问； 2、存储服务器根据“文件存储虚拟磁盘路径”和“数据文件两级目录”可以很快定位到文件所在目录，并根据文件名找到客户端需要访问的文件。 如何搭建FastDFS？参考我博客的这篇文章FastDFS 集群 安装 配置，下图为某用户搭建的架构示意图 文中图片均来源于网络 参考 官方网站配置文档Java客户端分布式文件系统FastDFS设计原理FASTDFS 作者：纯洁的微笑  出处：www.ityouknow.com  本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。 本文如对您有帮助，还请多帮 【推荐】 下此文。 如果喜欢我的文章，请关注我的公众号 分类: fastdfs 本文转自纯洁的微笑博客博客园博客，原文链接：http://www.cnblogs.com/ityouknow/p/8240976.html，如需转载请自行联系原作者

上一篇文章《一次FastDFS并发问题的排查经历》介绍了一次生产排查并发问题的经历，可能有些人对FastDFS不是特别的了解，因此计划写几篇文章完整的介绍一下这个软件。 为什么要使用分布式文件系统呢？ 嗯，这个问题问的好，使用了它对我们有哪些好处？带着这个问题我们来往下看： 单机时代 初创时期由于时间紧迫，在各种资源有限的情况下，通常就直接在项目目录下建立静态文件夹，用于用户存放项目中的文件资源。如果按不同类型再细分，可以在项目目录下再建立不同的子目录来区分。例如：resources\static\file、resources\static\img等。 优点：这样做比较便利，项目直接引用就行，实现起来也简单，无需任何复杂技术，保存数据库记录和访问起来也很方便。 缺点：如果只是后台系统的使用一般也不会有什么问题，但是作为一个前端网站使用的话就会存在弊端。一方面，文件和代码耦合在一起，文件越多存放越混乱；另一方面，如果流量比较大，静态文件访问会占据一定的资源，影响正常业务进行，不利于网站快速发展。 独立文件服务器 随着公司业务不断发展，将代码和文件放在同一服务器的弊端就会越来越明显。为了解决上面的问题引入独立图片服务器，工作流程如下：项目上传文件时，首先通过ftp或者ssh将文件上传到图片服务器的某个目录下，再通过ngnix或者apache来访问此目录下的文件，返回一个独立域名的图片URL地址，前端使用文件时就通过这个URL地址读取。 优点：图片访问是很消耗服务器资源的（因为会涉及到操作系统的上下文切换和磁盘I/O操作），分离出来后，Web/App服务器可以更专注发挥动态处理的能力；独立存储，更方便做扩容、容灾和数据迁移；方便做图片访问请求的负载均衡，方便应用各种缓存策略（HTTP Header、Proxy Cache等），也更加方便迁移到CDN。 缺点：单机存在性能瓶颈，容灾、垂直扩展性稍差 分布式文件系统 通过独立文件服务器可以解决一些问题，如果某天存储文件的那台服务突然down了怎么办？可能你会说，定时将文件系统备份，这台down机的时候，迅速切换到另一台就OK了，但是这样处理需要人工来干预。另外，当存储的文件超过100T的时候怎么办？单台服务器的性能问题？这个时候我们就应该考虑分布式文件系统了。 业务继续发展，单台服务器存储和响应也很快到达了瓶颈，新的业务需要文件访问具有高响应性、高可用性来支持系统。分布式文件系统，一般分为三块内容来配合，服务的存储、访问的仲裁系统，文件存储系统，文件的容灾系统来构成，仲裁系统相当于文件服务器的大脑，根据一定的算法来决定文件存储的位置，文件存储系统负责保存文件，容灾系统负责文件系统和自己的相互备份。 优点：扩展能力: 毫无疑问，扩展能力是一个分布式文件系统最重要的特点；高可用性: 在分布式文件系统中，高可用性包含两层，一是整个文件系统的可用性，二是数据的完整和一致性；弹性存储: 可以根据业务需要灵活地增加或缩减数据存储以及增删存储池中的资源，而不需要中断系统运行 缺点：系统复杂度稍高，需要更多服务器 FastDFS 毫无疑问FastDFS就属于我们上面介绍的分布式文件系统，下面我们来详细了解一下： 什么是FastDFS FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务，如相册网站、视频网站等等。在UC基于FastDFS开发向用户提供了：网盘，社区，广告和应用下载等业务的存储服务。 FastDFS是一款开源的轻量级分布式文件系统纯C实现，支持Linux、FreeBSD等UNIX系统类google FS，不是通用的文件系统，只能通过专有API访问，目前提供了C、Java和PHP API为互联网应用量身定做，解决大容量文件存储问题，追求高性能和高扩展性FastDFS可以看做是基于文件的key value pair存储系统，称作分布式文件存储服务更为合适。 FastDFS特性： 文件不分块存储，上传的文件和OS文件系统中的文件一一对应 支持相同内容的文件只保存一份，节约磁盘空间 下载文件支持HTTP协议，可以使用内置Web Server，也可以和其他Web Server配合使用 支持在线扩容 支持主从文件 存储服务器上可以保存文件属性（meta-data）V2.0网络通信采用libevent，支持大并发访问，整体性能更好 FastDFS相关概念 FastDFS服务端有三个角色：跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）。 tracker server：跟踪服务器，主要做调度工作，起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息，是客户端和数据服务器交互的枢纽。相比GFS中的master更为精简，不记录文件索引信息，占用的内存量很少。 Tracker是FastDFS的协调者，负责管理所有的storage server和group，每个storage在启动后会连接Tracker，告知自己所属的group等信息，并保持周期性的心跳，tracker根据storage的心跳信息，建立group==>[storage server list]的映射表。 Tracker需要管理的元信息很少，会全部存储在内存中；另外tracker上的元信息都是由storage汇报的信息生成的，本身不需要持久化任何数据，这样使得tracker非常容易扩展，直接增加tracker机器即可扩展为tracker cluster来服务，cluster里每个tracker之间是完全对等的，所有的tracker都接受stroage的心跳信息，生成元数据信息来提供读写服务。 storage server：存储服务器（又称：存储节点或数据服务器），文件和文件属性（meta data）都保存到存储服务器上。Storage server直接利用OS的文件系统调用管理文件。 Storage server（后简称storage）以组（卷，group或volume）为单位组织，一个group内包含多台storage机器，数据互为备份，存储空间以group内容量最小的storage为准，所以建议group内的多个storage尽量配置相同，以免造成存储空间的浪费。 以group为单位组织存储能方便的进行应用隔离、负载均衡、副本数定制（group内storage server数量即为该group的副本数），比如将不同应用数据存到不同的group就能隔离应用数据，同时还可根据应用的访问特性来将应用分配到不同的group来做负载均衡；缺点是group的容量受单机存储容量的限制，同时当group内有机器坏掉时，数据恢复只能依赖group内地其他机器，使得恢复时间会很长。 group内每个storage的存储依赖于本地文件系统，storage可配置多个数据存储目录，比如有10块磁盘，分别挂载在/data/disk1-/data/disk10，则可将这10个目录都配置为storage的数据存储目录。 storage接受到写文件请求时，会根据配置好的规则（后面会介绍），选择其中一个存储目录来存储文件。为了避免单个目录下的文件数太多，在storage第一次启动时，会在每个数据存储目录里创建2级子目录，每级256个，总共65536个文件，新写的文件会以hash的方式被路由到其中某个子目录下，然后将文件数据直接作为一个本地文件存储到该目录中。 client：客户端，作为业务请求的发起方，通过专有接口，使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。FastDFS向使用者提供基本文件访问接口，比如upload、download、append、delete等，以客户端库的方式提供给用户使用。 另外两个概念： group ：组， 也可称为卷。 同组内服务器上的文件是完全相同的 ，同一组内的storage server之间是对等的， 文件上传、 删除等操作可以在任意一台storage server上进行 。 meta data ：文件相关属性，键值对（ Key Value Pair） 方式，如：width=1024,heigth=768 。 Tracker相当于FastDFS的大脑，不论是上传还是下载都是通过tracker来分配资源；客户端一般可以使用ngnix等静态服务器来调用或者做一部分的缓存；存储服务器内部分为卷（或者叫做组），卷于卷之间是平行的关系，可以根据资源的使用情况随时增加，卷内服务器文件相互同步备份，以达到容灾的目的。 上传机制 首先客户端请求Tracker服务获取到存储服务器的ip地址和端口，然后客户端根据返回的IP地址和端口号请求上传文件，存储服务器接收到请求后生产文件，并且将文件内容写入磁盘并返回给客户端file_id、路径信息、文件名等信息，客户端保存相关信息上传完毕。 内部机制如下： 1、选择tracker server 当集群中不止一个tracker server时，由于tracker之间是完全对等的关系，客户端在upload文件时可以任意选择一个trakcer。 选择存储的group 当tracker接收到upload file的请求时，会为该文件分配一个可以存储该文件的group，支持如下选择group的规则： 1、Round robin，所有的group间轮询 2、Specified group，指定某一个确定的group 3、Load balance，剩余存储空间多多group优先 2、选择storage server 当选定group后，tracker会在group内选择一个storage server给客户端，支持如下选择storage的规则： 1、Round robin，在group内的所有storage间轮询 2、First server ordered by ip，按ip排序 3、First server ordered by priority，按优先级排序（优先级在storage上配置） 3、选择storage path 当分配好storage server后，客户端将向storage发送写文件请求，storage将会为文件分配一个数据存储目录，支持如下规则： 1、Round robin，多个存储目录间轮询 2、剩余存储空间最多的优先 4、生成Fileid 选定存储目录之后，storage会为文件生一个Fileid，由storage server ip、文件创建时间、文件大小、文件crc32和一个随机数拼接而成，然后将这个二进制串进行base64编码，转换为可打印的字符串。 选择两级目录 当选定存储目录之后，storage会为文件分配一个fileid，每个存储目录下有两级256*256的子目录，storage会按文件fileid进行两次hash（猜测），路由到其中一个子目录，然后将文件以fileid为文件名存储到该子目录下。 5、生成文件名 当文件存储到某个子目录后，即认为该文件存储成功，接下来会为该文件生成一个文件名，文件名由group、存储目录、两级子目录、fileid、文件后缀名（由客户端指定，主要用于区分文件类型）拼接而成。 下载机制 客户端带上文件名信息请求Tracker服务获取到存储服务器的ip地址和端口，然后客户端根据返回的IP地址和端口号请求下载文件，存储服务器接收到请求后返回文件给客户端。 跟upload file一样，在download file时客户端可以选择任意tracker server。tracker发送download请求给某个tracker，必须带上文件名信息，tracke从文件名中解析出文件的group、大小、创建时间等信息，然后为该请求选择一个storage用来服务读请求。由于group内的文件同步时在后台异步进行的，所以有可能出现在读到时候，文件还没有同步到某些storage server上，为了尽量避免访问到这样的storage，tracker按照如下规则选择group内可读的storage。 1、该文件上传到的源头storage - 源头storage只要存活着，肯定包含这个文件，源头的地址被编码在文件名中。 2、文件创建时间戳==storage被同步到的时间戳 且(当前时间-文件创建时间戳) > 文件同步最大时间（如5分钟) - 文件创建后，认为经过最大同步时间后，肯定已经同步到其他storage了。 3、文件创建时间戳 < storage被同步到的时间戳。 - 同步时间戳之前的文件确定已经同步了 4、(当前时间-文件创建时间戳) > 同步延迟阀值（如一天）。 - 经过同步延迟阈值时间，认为文件肯定已经同步了。 同步时间管理 当一个文件上传成功后，客户端马上发起对该文件下载请求（或删除请求）时，tracker是如何选定一个适用的存储服务器呢？ 其实每个存储服务器都需要定时将自身的信息上报给tracker，这些信息就包括了本地同步时间（即，同步到的最新文件的时间戳）。而tracker根据各个存储服务器的上报情况，就能够知道刚刚上传的文件，在该存储组中是否已完成了同步。同步信息上报如下图： 写文件时，客户端将文件写至group内一个storage server即认为写文件成功，storage server写完文件后，会由后台线程将文件同步至同group内其他的storage server。 每个storage写文件后，同时会写一份binlog，binlog里不包含文件数据，只包含文件名等元信息，这份binlog用于后台同步，storage会记录向group内其他storage同步的进度，以便重启后能接上次的进度继续同步；进度以时间戳的方式进行记录，所以最好能保证集群内所有server的时钟保持同步。 storage的同步进度会作为元数据的一部分汇报到tracker上，tracke在选择读storage的时候会以同步进度作为参考。 比如一个group内有A、B、C三个storage server，A向C同步到进度为T1 (T1以前写的文件都已经同步到B上了），B向C同步到时间戳为T2（T2 > T1)，tracker接收到这些同步进度信息时，就会进行整理，将最小的那个做为C的同步时间戳，本例中T1即为C的同步时间戳为T1（即所有T1以前写的数据都已经同步到C上了）；同理，根据上述规则，tracker会为A、B生成一个同步时间戳。 精巧的文件ID-FID 说到下载就不得不提文件索引（又称：FID）的精巧设计了。文件索引结构如下图，是客户端上传文件后存储服务器返回给客户端，用于以后访问该文件的索引信息。文件索引信息包括：组名，虚拟磁盘路径，数据两级目录，文件名。 组名：文件上传后所在的存储组名称，在文件上传成功后有存储服务器返回，需要客户端自行保存。 虚拟磁盘路径：存储服务器配置的虚拟路径，与磁盘选项store_path*对应。 数据两级目录：存储服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件。 文件名：与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含：源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。 快速定位文件 知道FastDFS FID的组成后，我们来看看FastDFS是如何通过这个精巧的FID定位到需要访问的文件。 1、通过组名tracker能够很快的定位到客户端需要访问的存储服务器组，并将选择合适的存储服务器提供客户端访问； 2、存储服务器根据“文件存储虚拟磁盘路径”和“数据文件两级目录”可以很快定位到文件所在目录，并根据文件名找到客户端需要访问的文件。 如何搭建FastDFS？参考我博客的这篇文章FastDFS 集群 安装 配置，下图为某用户搭建的架构示意图 文中图片均来源于网络 参考 官方网站配置文档Java客户端分布式文件系统FastDFS设计原理FASTDFS 作者：纯洁的微笑 出处：www.ityouknow.com 本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。 本文如对您有帮助，还请多帮 【推荐】 下此文。 如果喜欢我的文章，请关注我的公众号