数据搬运工DSS~介绍

简介:

DSS介绍

DSS是为了实现异地数据同步而开发的一套.net平台的应用程序,它寄宿到windows服务上,由多个客户端和一个服务端组成,其中客户端用来收集数据(数据源端),服务端用来将数据写入指定数据库(数据目的端),整个数据传输的过程采用socket来实现,数据量单次在200K左右,保证了传输的性能;在服务端通过仓储大叔的CacheQueue队列组件来解决高并发的问题,队列为了便于后台维护,采用了文件存储的方式。

DSS系统架构图

DSS数据一致性的设计

DSS解决方案图

DSS为每个客户端配置一个单独的端口,减少数据冲突

<socketServer>
    <servers>
      <!-- maxMessageSize:1000K,socketBufferSize:8192,缓冲区指处理多少字节后进行真实的处理,如写文件写库等-->
      <server name="client1"
              port="8403"
              socketBufferSize="819200"
              messageBufferSize="819200"
              maxMessageSize="10240000"
              maxConnections="200000"
              serviceType="Tsingda.DSS.Server.ListeningService.Application.DSSCommandManager, Tsingda.DSS.Server.ListeningService.Application"
              protocol="dssBinary"/>
      <server name="client2"
              port="8402"
              socketBufferSize="819200"
              messageBufferSize="819200"
              maxMessageSize="10240000"
              maxConnections="200000"
              serviceType="Tsingda.DSS.Server.ListeningService.Application.DSSCommandManager, Tsingda.DSS.Server.ListeningService.Application"
              protocol="dssBinary"/>
      <server name="strCmd"
             port="8404"
             socketBufferSize="8192"
             messageBufferSize="8192"
             maxMessageSize="102400"
             maxConnections="20000"
             serviceType="Tsingda.DSS.Server.ListeningService.Application.StringCommandManager, Tsingda.DSS.Server.ListeningService.Application"
             protocol="asyncBinary"/>
    </servers>
  </socketServer>

好了,对于数据搬运工就介绍到这里,下次我们将分析一下源代码的实现!

本文转自博客园张占岭(仓储大叔)的博客,原文链接:数据搬运工DSS~介绍,如需转载请自行联系原博主。

目录
相关文章
|
5月前
|
安全 算法 数据安全/隐私保护
黑客克星!Python加密艺术大公开,AES、RSA双剑合璧,守护你的数字世界
在这个数据泛滥的时代,数字世界既充满了知识,也潜藏安全隐患。Python 作为强大的编程语言,以其独特的加密技术为我们的信息安全保驾护航。本文将介绍 AES 和 RSA 这两种加密算法,揭示它们如何协同工作,保护你的数字世界。AES(高级加密标准)以其高效、安全著称,能将敏感信息转化为难以破解的乱码。Python 的 `pycryptodome` 库让 AES 加密变得简单易行。然而,AES 面临密钥分发难题,此时 RSA(非对称加密算法)便大显身手,通过公钥加密、私钥解密的方式确保密钥传输安全。AES 与 RSA 在 Python 中交织成一道坚不可摧的防护网,共同守护我们的数字世界。
110 0
|
9月前
|
机器学习/深度学习 安全 算法
安全多方计算之三:同态加密
安全多方计算之三:同态加密
1401 42
|
数据安全/隐私保护
带你读《商用密码技术最佳实践白皮书》——磁盘加密(LUKS)
带你读《商用密码技术最佳实践白皮书》——磁盘加密(LUKS)
250 0
|
SQL 存储 数据挖掘
区块链数据探索:Bitcoin公链数据ETL
Bitcoin 公链可以理解为是一个公共的数据库,里面存储的是Bitcoin发布至今的所有转账记录,并且任何人只要接入到其网络中都可以获取,并不需要任何交易、挖矿、持币等相关操作。 本文主要主题的是将原始的Bitcoin公链数据进行清洗规整,写入到阿里云SLS,然后做一些有趣的数据处理,比如实现简洁的区块链浏览器、数据分析、交易链路追踪等。
1114 0
区块链数据探索:Bitcoin公链数据ETL
|
安全 iOS开发
PCI DSS 2.0标准出炉 未涉及移动支付技术
PCI安全标准委员会在10月28日下午发布了PCI DSS(支付卡行业数据安全标准)第二版。PCI安全标准委员会负责制定商家和服务提供商处理敏感的持卡人数据的网络和安全标准。 据PCI安全标准委员会总经理Bob Russo说,新标准对于目前的PCI DSS 1.2版标准没有重大的修改。
1100 0
|
数据处理 区块链
区块链研习 | 区块链真能消除信息不对称吗?
区块链仅能做到一部分数据对称,距离信息对称还差得远
1422 0
|
数据安全/隐私保护 Windows
|
安全 网络安全 数据安全/隐私保护

热门文章

最新文章