数据搬运工DSS~介绍

简介:

DSS介绍

DSS是为了实现异地数据同步而开发的一套.net平台的应用程序,它寄宿到windows服务上,由多个客户端和一个服务端组成,其中客户端用来收集数据(数据源端),服务端用来将数据写入指定数据库(数据目的端),整个数据传输的过程采用socket来实现,数据量单次在200K左右,保证了传输的性能;在服务端通过仓储大叔的CacheQueue队列组件来解决高并发的问题,队列为了便于后台维护,采用了文件存储的方式。

DSS系统架构图

DSS数据一致性的设计

DSS解决方案图

DSS为每个客户端配置一个单独的端口,减少数据冲突

<socketServer>
    <servers>
      <!-- maxMessageSize:1000K,socketBufferSize:8192,缓冲区指处理多少字节后进行真实的处理,如写文件写库等-->
      <server name="client1"
              port="8403"
              socketBufferSize="819200"
              messageBufferSize="819200"
              maxMessageSize="10240000"
              maxConnections="200000"
              serviceType="Tsingda.DSS.Server.ListeningService.Application.DSSCommandManager, Tsingda.DSS.Server.ListeningService.Application"
              protocol="dssBinary"/>
      <server name="client2"
              port="8402"
              socketBufferSize="819200"
              messageBufferSize="819200"
              maxMessageSize="10240000"
              maxConnections="200000"
              serviceType="Tsingda.DSS.Server.ListeningService.Application.DSSCommandManager, Tsingda.DSS.Server.ListeningService.Application"
              protocol="dssBinary"/>
      <server name="strCmd"
             port="8404"
             socketBufferSize="8192"
             messageBufferSize="8192"
             maxMessageSize="102400"
             maxConnections="20000"
             serviceType="Tsingda.DSS.Server.ListeningService.Application.StringCommandManager, Tsingda.DSS.Server.ListeningService.Application"
             protocol="asyncBinary"/>
    </servers>
  </socketServer>

好了,对于数据搬运工就介绍到这里,下次我们将分析一下源代码的实现!

本文转自博客园张占岭(仓储大叔)的博客,原文链接:数据搬运工DSS~介绍,如需转载请自行联系原博主。

目录
相关文章
|
4月前
|
监控 安全 数据可视化
BSC币安链/TRC波场链铭文交易所系统开发详细方案/步骤逻辑/指南项目/源码功能
基于BSC(币安链)和TRC(波场链)的铭文交易所系统开发
|
9月前
|
机器学习/深度学习 安全 数据安全/隐私保护
「隐语小课」LDP和CDP在联邦学习中对于隐私性以及鲁棒性的作用
「隐语小课」LDP和CDP在联邦学习中对于隐私性以及鲁棒性的作用
227 0
|
11月前
|
5G
带你读《5G 系统技术原理与实现》——3.6 NSA 业务流程
带你读《5G 系统技术原理与实现》——3.6 NSA 业务流程
|
12月前
|
存储
LinkFlow CDP科普篇02:五点区分CDP与DMP
数据源决定了CDP和DMP的本质区别
66 0
|
区块链 开发者
深入分析Metaforce/Forsage/魔豹联盟/Polygon马蹄链Matic/佛萨奇2.0系统开发实现技术原理丨成熟及源码
 智能合约dapp开发技术主要由以太坊区块链网络提供支持,该网络提供了一系列的智能合约技术,这些智能合约可以让开发者快速、安全地构建出功能强大的dapp。智能合约dapp开发技术主要包括以太坊智能合约语言Solidity,以太坊智能合约框架Truffle,Web3.js,以太坊区块链浏览器Mist等
|
人工智能 物联网 大数据
MetaForce佛萨奇系统开发(方案及功能)丨魔豹联盟佛萨奇MetaForce系统开发(详细及逻辑)
 当然,区块链只是元宇宙概念涵盖的众多技术之一。元宇宙是由虚拟现实、增强现实和互联网相结合创造的沉浸式数字世界。元宇宙的内涵及关键技术要求进一步打破时空限制(5G和物联网),真实沉浸感(VR),价值的传递(Web 3.0、区块链)。此前,IDC还绘制了元宇宙涵盖的技术概念。
|
安全
马蹄(波场)佛萨奇2.0项目系统开发技术介绍讲解方案
马蹄(波场)佛萨奇2.0项目系统开发技术介绍讲解方案
166 0
|
监控 机器人
狩猎者defi夹子机器开发技术原理的分析
过去一年的时间里,DeFi可谓是迅速崛起,发展态势极其迅猛。虽然DeFi尚处于发展早期阶段,但活跃度和参与度都呈指数地在增长。在DeFi中,交易被打包的顺序极大地影响了DeFi的经济利益。例如,在 UniSwap 中,同样两个针对某交易对的买单,先被执行的交易将获得更多代币。若你在一笔买单前买入同样的代币,然后又赶紧卖出,则将毫无风险的获利。
|
区块链 Android开发 iOS开发
表彰;metaforce佛萨奇模式系统开发逻辑分析
表彰;metaforce佛萨奇模式系统开发逻辑分析
188 0
|
安全 区块链 数据安全/隐私保护
工程师的灵魂拷问:你的密钥安全吗?
密钥管理是密码学应用的核心问题之一。任何涉及加密/签名的应用,无论算法本身机制多么安全,最终都会受到灵魂拷问:你密钥存在哪儿?本文实现了一种安全的密钥管理方案,基于安全多方计算技术,避免了客户端、服务器端内存中的密钥泄露风险,并已经在阿里集团内的密钥管理系统上线。
4443 1