数据搬运工DSS~介绍

简介:

DSS介绍

DSS是为了实现异地数据同步而开发的一套.net平台的应用程序,它寄宿到windows服务上,由多个客户端和一个服务端组成,其中客户端用来收集数据(数据源端),服务端用来将数据写入指定数据库(数据目的端),整个数据传输的过程采用socket来实现,数据量单次在200K左右,保证了传输的性能;在服务端通过仓储大叔的CacheQueue队列组件来解决高并发的问题,队列为了便于后台维护,采用了文件存储的方式。

DSS系统架构图

DSS数据一致性的设计

DSS解决方案图

DSS为每个客户端配置一个单独的端口,减少数据冲突

<socketServer>
    <servers>
      <!-- maxMessageSize:1000K,socketBufferSize:8192,缓冲区指处理多少字节后进行真实的处理,如写文件写库等-->
      <server name="client1"
              port="8403"
              socketBufferSize="819200"
              messageBufferSize="819200"
              maxMessageSize="10240000"
              maxConnections="200000"
              serviceType="Tsingda.DSS.Server.ListeningService.Application.DSSCommandManager, Tsingda.DSS.Server.ListeningService.Application"
              protocol="dssBinary"/>
      <server name="client2"
              port="8402"
              socketBufferSize="819200"
              messageBufferSize="819200"
              maxMessageSize="10240000"
              maxConnections="200000"
              serviceType="Tsingda.DSS.Server.ListeningService.Application.DSSCommandManager, Tsingda.DSS.Server.ListeningService.Application"
              protocol="dssBinary"/>
      <server name="strCmd"
             port="8404"
             socketBufferSize="8192"
             messageBufferSize="8192"
             maxMessageSize="102400"
             maxConnections="20000"
             serviceType="Tsingda.DSS.Server.ListeningService.Application.StringCommandManager, Tsingda.DSS.Server.ListeningService.Application"
             protocol="asyncBinary"/>
    </servers>
  </socketServer>

好了,对于数据搬运工就介绍到这里,下次我们将分析一下源代码的实现!

本文转自博客园张占岭(仓储大叔)的博客,原文链接:数据搬运工DSS~介绍,如需转载请自行联系原博主。

目录
相关文章
|
7月前
|
存储 安全 信息无障碍
可信计算平台与安全芯片扫盲文
可信计算平台与安全芯片扫盲文
178 0
|
7月前
|
存储 运维 安全
隐语实训营-第1讲:数据可信流通
数据流通中存在信任问题,传统运维信任在数据流通外循环时有不可控的安全风险,因此需要从运维信任转向技术信任,包括使用CA证书+远程认证确保可信身份、使用隐私计算等技术控制跨域使用权、平衡能力预期的不可能三角,并实施全链路审计。此外,数据密态流通可保障全链路安全可控,而“密态天空计算”可以作为支持数据安全流通的基础设施。
137 2
|
监控 安全 网络协议
HCIE-Datacom Day01:HCIA理论学习:数通通信网络基础
HCIE-Datacom Day01:HCIA理论学习:数通通信网络基础
114 0
|
网络协议 网络性能优化 网络架构
HCIE-Datacom Day02:HCIA理论学习:网络参考模型(一)
HCIE-Datacom Day02:HCIA理论学习:网络参考模型(一)
102 0
|
网络协议 网络架构
HCIE-Datacom Day03:HCIA理论学习:网络参考模型(二)
HCIE-Datacom Day03:HCIA理论学习:网络参考模型(二)
92 0
|
机器学习/深度学习 安全 数据安全/隐私保护
「隐语小课」LDP和CDP在联邦学习中对于隐私性以及鲁棒性的作用
「隐语小课」LDP和CDP在联邦学习中对于隐私性以及鲁棒性的作用
377 0
|
网络协议 网络架构
(*长期更新)软考网络工程师学习笔记——Section 1 物理层和数据通信(上)
(*长期更新)软考网络工程师学习笔记——Section 1 物理层和数据通信
(*长期更新)软考网络工程师学习笔记——Section 1 物理层和数据通信(上)
|
存储 负载均衡 安全
(*长期更新)软考网络工程师学习笔记——Section 16 磁盘存储技术和网络规划设计
(*长期更新)软考网络工程师学习笔记——Section 16 磁盘存储技术和网络规划设计
(*长期更新)软考网络工程师学习笔记——Section 16 磁盘存储技术和网络规划设计
|
存储 内存技术
(*长期更新)软考网络工程师学习笔记——Section 1 物理层和数据通信(下)
(*长期更新)软考网络工程师学习笔记——Section 1 物理层和数据通信
(*长期更新)软考网络工程师学习笔记——Section 1 物理层和数据通信(下)
|
安全 iOS开发
PCI DSS 2.0标准出炉 未涉及移动支付技术
PCI安全标准委员会在10月28日下午发布了PCI DSS(支付卡行业数据安全标准)第二版。PCI安全标准委员会负责制定商家和服务提供商处理敏感的持卡人数据的网络和安全标准。 据PCI安全标准委员会总经理Bob Russo说,新标准对于目前的PCI DSS 1.2版标准没有重大的修改。
1091 0