数据搬运工DSS~介绍

简介:

DSS介绍

DSS是为了实现异地数据同步而开发的一套.net平台的应用程序,它寄宿到windows服务上,由多个客户端和一个服务端组成,其中客户端用来收集数据(数据源端),服务端用来将数据写入指定数据库(数据目的端),整个数据传输的过程采用socket来实现,数据量单次在200K左右,保证了传输的性能;在服务端通过仓储大叔的CacheQueue队列组件来解决高并发的问题,队列为了便于后台维护,采用了文件存储的方式。

DSS系统架构图

DSS数据一致性的设计

DSS解决方案图

DSS为每个客户端配置一个单独的端口,减少数据冲突

<socketServer>
    <servers>
      <!-- maxMessageSize:1000K,socketBufferSize:8192,缓冲区指处理多少字节后进行真实的处理,如写文件写库等-->
      <server name="client1"
              port="8403"
              socketBufferSize="819200"
              messageBufferSize="819200"
              maxMessageSize="10240000"
              maxConnections="200000"
              serviceType="Tsingda.DSS.Server.ListeningService.Application.DSSCommandManager, Tsingda.DSS.Server.ListeningService.Application"
              protocol="dssBinary"/>
      <server name="client2"
              port="8402"
              socketBufferSize="819200"
              messageBufferSize="819200"
              maxMessageSize="10240000"
              maxConnections="200000"
              serviceType="Tsingda.DSS.Server.ListeningService.Application.DSSCommandManager, Tsingda.DSS.Server.ListeningService.Application"
              protocol="dssBinary"/>
      <server name="strCmd"
             port="8404"
             socketBufferSize="8192"
             messageBufferSize="8192"
             maxMessageSize="102400"
             maxConnections="20000"
             serviceType="Tsingda.DSS.Server.ListeningService.Application.StringCommandManager, Tsingda.DSS.Server.ListeningService.Application"
             protocol="asyncBinary"/>
    </servers>
  </socketServer>

好了,对于数据搬运工就介绍到这里,下次我们将分析一下源代码的实现!

本文转自博客园张占岭(仓储大叔)的博客,原文链接:数据搬运工DSS~介绍,如需转载请自行联系原博主。

目录
相关文章
|
4月前
|
存储 监控 调度
阿里云对象存储OSS之间进行数据转移教程
讲解如何在阿里云对象存储OSS之间进行跨账号、跨地域、以及同地域内的数据迁移,包括数据迁移之前的准备工作和实施数据迁移以及一些后续操作
|
13天前
|
人工智能 自然语言处理 运维
2025主流AI智能客服软件深度评测,一文看懂企业智能客服选型
在AI与数字化转型背景下,智能客服成企业核心竞争力。本文系统对比瓴羊Quick Service、智齿客服、网易七鱼、沃丰Udesk四大产品,在全渠道覆盖、AI能力、部署灵活性等方面深度剖析,结合业务适配性、技术性能、成本服务等维度,为企业提供科学选型框架与实践建议,助力提升服务效率与客户体验。
|
8月前
|
机器学习/深度学习 人工智能 自然语言处理
人工智能应用领域有哪些
本文全面探讨了人工智能(AI)的应用领域和技术核心,涵盖医疗、交通、金融、教育、制造、零售等多个行业,并分析了AI技术的局限性及规避策略。同时,介绍了生成式人工智能认证项目的意义与展望。尽管AI发展面临数据依赖和算法可解释性等问题,但通过优化策略和经验验证,可推动其健康发展。未来,AI将在更多领域发挥重要作用,助力社会进步。
|
7月前
|
人工智能 编解码 测试技术
云电脑显卡性能终极对决:ToDesk云电脑/顺网云/海马云,谁才是4K游戏之王?
本文对比了ToDesk云电脑、顺网云和海马云三大平台的性能表现,涵盖游戏实战与AI模型测试。ToDesk云电脑搭载RTX 5090显卡,在4K游戏与大模型支持上表现卓越;顺网云适合中轻度游戏玩家,强调即开即用的便捷性;海马云面向企业用户,提供稳定算力与多任务支持。评测从显卡、处理器、压力测试到网络传输技术全面展开,最终推荐:硬核玩家首选ToDesk云电脑,内容创作者可选ToDesk云电脑或海马云,企业用户则更适合海马云。
1450 23
|
XML Java 数据格式
Spring框架入门:IoC与DI
【5月更文挑战第15天】本文介绍了Spring框架的核心特性——IoC(控制反转)和DI(依赖注入)。IoC通过将对象的创建和依赖关系管理交给容器,实现解耦。DI作为IoC的实现方式,允许外部注入依赖对象。文章讨论了过度依赖容器、配置复杂度等常见问题,并提出通过合理划分配置、使用注解简化管理等解决策略。同时,提醒开发者注意过度依赖注入和循环依赖,建议适度使用构造器注入和避免循环引用。通过代码示例展示了注解实现DI和配置类的使用。掌握IoC和DI能提升应用的灵活性和可维护性,实践中的反思和优化至关重要。
681 4
|
9月前
|
运维 自然语言处理 算法
云栖实录 | 大模型在大数据智能运维的应用实践
云栖实录 | 大模型在大数据智能运维的应用实践
976 3
|
12月前
|
存储 机器学习/深度学习 人工智能
获评最高等级!阿里云首批通过信通院企业用云治理能力成熟度评测
获评最高等级!阿里云首批通过信通院企业用云治理能力成熟度评测
418 11
|
人工智能 JavaScript Java
首批!通义灵码获信通院代码大模型评估最高评级
首批!通义灵码获信通院代码大模型评估最高评级
443 1
阿里云短信服务的计费方式、规则和欠费说明_短信服务
阿里云短信服务的计费方式、规则和欠费说明_短信服务,阿里云短信服务价格表,阿里云短信0.032元一条,阿里云短信价格?阿里云短信怎么收费?阿里云短信多少钱一条,阿里云短信价格0.032元一条
1130 0
|
存储 人工智能 运维
首批 I 阿里云通过算力服务成熟度增强级评估
近日,阿里云作为算力服务标准主要参编单位之一,参与了首批标准符合性验证,以阿里云飞天企业版为主要参评产品,完成了通用计算、智能计算和高性能计算三类计算服务能力的符合性评估。
997 1

热门文章

最新文章