数据搬运工DSS~介绍

简介:

DSS介绍

DSS是为了实现异地数据同步而开发的一套.net平台的应用程序,它寄宿到windows服务上,由多个客户端和一个服务端组成,其中客户端用来收集数据(数据源端),服务端用来将数据写入指定数据库(数据目的端),整个数据传输的过程采用socket来实现,数据量单次在200K左右,保证了传输的性能;在服务端通过仓储大叔的CacheQueue队列组件来解决高并发的问题,队列为了便于后台维护,采用了文件存储的方式。

DSS系统架构图

DSS数据一致性的设计

DSS解决方案图

DSS为每个客户端配置一个单独的端口,减少数据冲突

<socketServer>
    <servers>
      <!-- maxMessageSize:1000K,socketBufferSize:8192,缓冲区指处理多少字节后进行真实的处理,如写文件写库等-->
      <server name="client1"
              port="8403"
              socketBufferSize="819200"
              messageBufferSize="819200"
              maxMessageSize="10240000"
              maxConnections="200000"
              serviceType="Tsingda.DSS.Server.ListeningService.Application.DSSCommandManager, Tsingda.DSS.Server.ListeningService.Application"
              protocol="dssBinary"/>
      <server name="client2"
              port="8402"
              socketBufferSize="819200"
              messageBufferSize="819200"
              maxMessageSize="10240000"
              maxConnections="200000"
              serviceType="Tsingda.DSS.Server.ListeningService.Application.DSSCommandManager, Tsingda.DSS.Server.ListeningService.Application"
              protocol="dssBinary"/>
      <server name="strCmd"
             port="8404"
             socketBufferSize="8192"
             messageBufferSize="8192"
             maxMessageSize="102400"
             maxConnections="20000"
             serviceType="Tsingda.DSS.Server.ListeningService.Application.StringCommandManager, Tsingda.DSS.Server.ListeningService.Application"
             protocol="asyncBinary"/>
    </servers>
  </socketServer>

好了,对于数据搬运工就介绍到这里,下次我们将分析一下源代码的实现!

本文转自博客园张占岭(仓储大叔)的博客,原文链接:数据搬运工DSS~介绍,如需转载请自行联系原博主。

目录
相关文章
|
4月前
|
存储 算法 分布式数据库
持币生息DAPP系统开发|模式方案|源码
区块链将所有信息存储在分类账系统中。此外,任何类型的数据交换都称为“交易”
|
存储 安全 数据管理
DAPP持币生息系统开发(成熟案例)|DAPP持币生息模式系统开发
传统的中心化架构中,数据和交易都需要经过具有垄断地位和权力的中心化机构来进行处理和验证
|
11月前
|
区块链 数据安全/隐私保护 算法
DAPP互助公排系统开发|DAPP三三复制系统开发(模式)
Web3.0的主要特点是开放、隐私和去中心化。
|
存储 安全 区块链
PancakeSwap去中心化薄饼交易所项目系统开发(方案模式)|技术原理
FileStorage fs(filename,FileStorage::Mode::FORMAT_XML|FileStorage::Mode::READ);
带你读《5G 系统技术原理与实现》——3.6 NSA 业务流程
带你读《5G 系统技术原理与实现》——3.6 NSA 业务流程
|
安全
马蹄(波场)佛萨奇2.0项目系统开发技术介绍讲解方案
马蹄(波场)佛萨奇2.0项目系统开发技术介绍讲解方案
184 0
|
区块链 计算机视觉 C++
BSC币安链智能合约系统开发搭建技术(参照)
BSC币安链智能合约系统开发搭建技术(参照)
707 0
|
区块链
三三复制公排互助智能合约dapp系统开发技术方案分析
三三复制公排互助智能合约dapp系统开发技术方案分析
|
SQL 存储 数据挖掘
区块链数据探索:Bitcoin公链数据ETL
Bitcoin 公链可以理解为是一个公共的数据库,里面存储的是Bitcoin发布至今的所有转账记录,并且任何人只要接入到其网络中都可以获取,并不需要任何交易、挖矿、持币等相关操作。 本文主要主题的是将原始的Bitcoin公链数据进行清洗规整,写入到阿里云SLS,然后做一些有趣的数据处理,比如实现简洁的区块链浏览器、数据分析、交易链路追踪等。
954 0
区块链数据探索:Bitcoin公链数据ETL