如何实现离线文件?

简介: 近段时间,有几个朋友问我如何实现类似QQ离线文件的功能。不想一一作答,就写一篇博文来比较完整的解释这个问题。       所谓“离线文件”,就是当接收者不在线时,发送者先把文件传送给服务端,在服务器上暂时保存,等接收者上线时,服务端再把文件发送给他。

      近段时间,有几个朋友问我如何实现类似QQ离线文件的功能。不想一一作答,就写一篇博文来比较完整的解释这个问题。

      所谓“离线文件”,就是当接收者不在线时,发送者先把文件传送给服务端,在服务器上暂时保存,等接收者上线时,服务端再把文件发送给他。当然,要想实现离线文件的功能,其最基本的前提是要先实现传送文件的功能,我们就以ESFramework提供的传送文件的功能为基础,在其之上一步步完成一个基本的离线文件功能。

      下面我们就用户在使用离线文件时,按各个动作发生的先后顺序,介绍程序方面与之对应的设计与实现。

1.客户端发送离线文件

      当用户选择好一个文件,并点击“发送离线文件”按钮时,其目的是要将这个文件传送给服务端,这可以直接使用IFileOutter的BeginSendFile方法:

    /// <summary>
    /// 发送方准备发送文件(夹)。
/// </summary> /// <param name="accepterID">接收文件(夹)的用户ID</param> /// <param name="fileOrDirPath">被发送文件(夹)的路径</param> /// <param name="comment">其它附加备注。如果是在类似FTP的服务中,该参数可以是保存文件(夹)的路径</param> /// <param name="projectID">返回文件传送项目的编号</param> void BeginSendFile(string accepterID, string fileOrDirPath, string comment, out string projectID);

      如果将参数accepterID传入null,表示文件的接收者就是服务端。那么我们要如何区分,这不是一个最终由服务端接收的文件,而是要传给另一个用户的离线文件了?这里,我们可以巧用comment参数,比如,comment参数如果为null,就表示普通的上传文件;comment不为null,就表示一个离线文件,并且其值就是文件最终接收者的ID。(当然,如果在你的项目中,comment参数已经有了其它用途,我们可以进一步扩展它,加上一些标签,使其能够标志出离线文件)。

      下面这个调用示例,就是将Test.txt文件离线发送给aa01。

    string filePath = ...; //要发送文件的路径
    string projectID = null;
    fileOutter.BeginSendFile(null, filePath, "aa01", out projectID);

2.服务端接收离线文件     

      客户端调用BeginSendFile方法请求发送文件后,服务端会触发IFileController的FileRequestReceived事件。同理,我们判断该事件的comment参数,当其不为null时,表示是个离线文件。在答复客户端同意接收文件之前,我们需要先将离线文件的相关信息保存起来,这里我们使用OfflineFileItem类来封装这些信息。

    /// <summary>
    /// 离线文件条目
    /// </summary>
    public class OfflineFileItem
    {        
        /// <summary>
        /// 条目的唯一编号,数据库自增序列,主键。
        /// </summary>
        public string AutoID { get; set; }
       
        /// <summary>
        /// 离线文件的名称。
        /// </summary>
        public string FileName { get; set; }
       
        /// <summary>
        /// 文件的大小。
        /// </summary>
        public ulong FileLength { get; set; }
       
        /// <summary>
        /// 发送者ID。
        /// </summary>
        public string SenderID { get; set; }
     
        /// <summary>
        /// 接收者ID。
        /// </summary>
        public string AccepterID { get; set; }
       
        /// <summary>
        /// 在服务器上存储离线文件的临时路径。
        /// </summary>
        public string RelayFilePath { get; set; }
    }

        有了OfflineFileItem的定义之后,我们就可以处理IFileController的FileRequestReceived事件了。 

   rapidServerEngine.FileController.FileRequestReceived += new CbFileRequestReceived(fileController_FileRequestReceived);

   ObjectManager<string, OfflineFileItem> offlineFileItemManager = new ObjectManager<string, OfflineFileItem>(); //可以把ObjectManager类看作一个线程安全的Dictionary。
    void fileController_FileRequestReceived(string projectID, string senderID, string fileName, ulong totalSize, ResumedProjectItem resumedFileItem, string comment)
    {
       string saveFilePath = "......" ;//根据某种策略得到存放文件的路径
       if (comment != null) //根据约定,comment不为null,表示为离线文件,其值为最终接收者的ID。
        {
            string accepterID = comment;
            OfflineFileItem item = new OfflineFileItem();
            item.AccepterID = accepterID;
            item.FileLength = totalSize;
            item.FileName = fileName;
            item.SenderID = senderID ;
            item.RelayFilePath = saveFilePath;
            offlineFileItemManager.Add(projectID, item);
        }

        //给客户端回复同意,并开始准备接收文件。
        rapidServerEngine.FileController.BeginReceiveFile(projectID ,saveFilePath);
    }      

      上面的代码做了三件事情:

(1)根据某种策略得到存放文件的路径。

(2)创建一个离线文件信息条目,保存在内存中。

(3)回复客户端,并准备接收文件。

    需要重点说明的是第一点,对于一般的小型项目,在服务端我们可以将所有的离线文件存放在当前服务器的某个目录下;但是对于大型项目,一般需要使用DFS(分布式文件系统)来存储这些临时的离线文件。

    客户端收到服务器的回复后,会正式开始传送文件,如果传送过程中,因为某种原因导致传送中断,则服务端会触发IFileController.FileReceivingEvents的FileTransDisruptted事件。在该事件处理函数中,我们从内存中移除对应的离线文件信息条目: 

    rapidServerEngine.FileController.FileReceivingEvents.FileTransDisruptted += new CbGeneric<TransferingProject, FileTransDisrupttedType>(fileReceivingEvents_FileTransDisruptted);

    void fileReceivingEvents_FileTransDisruptted(TransferingProject project, FileTransDisrupttedType type)
    {
        offlineFileItemManager.Remove(project.ProjectID);
    }

      如果文件正常传送完毕,则服务端会触发IFileController.FileReceivingEvents的FileTransCompleted事件。此时,我们将对应的离线文件信息条目从内存转移存储到数据库中,以防止服务器重启时导致信息丢失: 

    rapidServerEngine.FileController.FileReceivingEvents.FileTransCompleted += new CbGeneric<TransferingProject>(fileReceivingEvents_FileTransCompleted);

    IOfflineFilePersister offlineFilePersister = ......;
    void fileReceivingEvents_FileTransCompleted(TransferingProject project)
    {
        OfflineFileItem item = offlineFileItemManager.Get(project.ProjectID);
        offlineFilePersister.Add(item);
        offlineFileItemManager.Remove(project.ProjectID);
    }

       我们设计IOfflineFilePersister接口,用于与数据库中的OfflineFileItem表交互。 

    public interface IOfflineFilePersister
    {
        /// <summary>
        /// 将一个离线文件条目保存到数据库中。
         /// </summary>       
        void Add(OfflineFileItem item);

        /// <summary>
        ///  从数据库中删除主键值为ID的条目。
         /// </summary>       
        void Remove(string id);

        /// <summary>
        /// 从数据库中提取接收者为指定用户的所有离线文件条目。
         /// </summary>       
        List<OfflineFileItem> GetByAccepter(string accepterID);
    }

       我们可以使用ADO.NET或者EntityFramework实现上述接口。

3.服务端发送离线文件给最终接收者

      当真正的接收者上线时,服务端要把相关的离线文件发送给他。通过预定UserManager的SomeOneConnected事件,我们知道用户上线的时刻。 

    rapidServerEngine.UserManager.SomeOneConnected += new CbGeneric<UserData>(userManager_SomeOneConnected);

    void userManager_SomeOneConnected(UserData data)
    {
        List<OfflineFileItem> list = offlineFilePersister.GetByAccepter(data.UserID);
        if (list != null)
        {
            foreach (OfflineFileItem item in list)
            {
                string projectID = null ;
                rapidServerEngine.FileController.BeginSendFile(item.AccepterID, item.RelayFilePath, item.SenderID, out projectID);
                offlineFilePersister.Remove(item.AutoID);
                File.Delete(item.RelayFilePath);
            }
        }
    }

      上面的代码做了三件事情:

(1)从数据库中查找所有接收者为登录用户的离线文件信息条目。

(2)将离线文件逐个发送给这个用户

(3)从数据库中删除相应的条目,从磁盘上删除对应的离线文件。

      实际上,第(3)点我们可以延迟到文件发送完成时,才执行删除操作。这样,就可以在发送万一意外中断时,使得重新发送成为可能。

      客户端接收到服务端的发送文件请求时,会触发IFileOutter的FileRequestReceived事件,此时也可以根据comment参数的内容,来判断其是否为离线文件。后续的步骤的实现就相当容易了,这里就不再赘述了。

 

      本文简洁地描述了实现离线文件功能的主要思路和基本模型,在实际的项目开发时,可以根据具体的需求在这个模型的基础上,进一步完善,包括很多细节和异常处理都需要加入进来。

目录
相关文章
|
2月前
|
Java 数据处理 调度
Dataphin常见问题之离线管道同步数据datax就报连接超时如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
2月前
|
关系型数据库 MySQL API
Flink CDC产品常见问题之读取不到或读取不全消息如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
5月前
|
消息中间件 存储 NoSQL
离线与实时数据开发方案
离线与实时数据开发方案
61 0
|
7月前
|
BI
quickBI上传文件数据源中的替换文件后端逻辑是怎么实现的
quickBI上传后的所有文件 都会追加到物理表中,那么替换其中一个文件,怎么找到物理表里此原文件对应的数据呢,物理表里是需要建一个关联字段吗
|
3月前
|
Web App开发 弹性计算 DataWorks
DataWork数据处理问题之开发页面展示不出来如何解决
DataWork数据处理是指使用DataWorks平台进行数据开发、数据处理和数据治理的活动;本合集将涵盖DataWork数据处理的工作流程、工具使用和问题排查,帮助用户提高数据处理的效率和质量。
32 5
|
1月前
|
存储 消息中间件 NoSQL
Redis列表:高效消息通信与实时数据处理的利器
Redis列表:高效消息通信与实时数据处理的利器
|
3月前
|
SQL DataWorks 关系型数据库
DataWork数据处理问题之提示不存在如何解决
DataWork数据处理是指使用DataWorks平台进行数据开发、数据处理和数据治理的活动;本合集将涵盖DataWork数据处理的工作流程、工具使用和问题排查,帮助用户提高数据处理的效率和质量。
41 0
|
3月前
|
消息中间件 SQL 关系型数据库
Flink数据源问题合集之设置成批量模式如何解决
Flink数据源是指Apache Flink用于读取外部系统数据的接口或组件;本合集将探讨Flink数据源的类型、配置方法和最佳实践,以及在使用数据源时可能遇到的错误和解决方案。
32 2
|
3月前
|
缓存 算法 BI
【天衍系列 02】深入理解Flink的FileSink 组件:实时流数据持久化与批量写入
【天衍系列 02】深入理解Flink的FileSink 组件:实时流数据持久化与批量写入