(一):C++分布式实时应用框架----整体介绍

简介: C++分布式实时应用框架 (Cpp Distributed Real-time Application Framework)版权声明:本文版权及所用技术归属smartguys团队所有,对于抄袭,非经同意转载等行为保留法律追究的权利!   在现今软件系统纷纷“云化”的浪潮下,各种支持“云化”的框架、工具层出不穷,但这些现成的工具大多基于JAVA,go等语言,且应用场景均为非实时系统。

  C++分布式实时应用框架 (Cpp Distributed Real-time Application Framework)

版权声明:本文版权及所用技术归属smartguys团队所有,对于抄袭,非经同意转载等行为保留法律追究的权利!

 

  在现今软件系统纷纷“云化”的浪潮下,各种支持“云化”的框架、工具层出不穷,但这些现成的工具大多基于JAVA,go等语言,且应用场景均为非实时系统。但基于C++语言,且支持毫秒级响应、大吞吐量的分布式实时应用框架一直是这一领域的空白,Cpp Distributed Real-time Application Framework(CDRAF)也因此应运而生。

   我们致力于将CDRAF打造成一款通用C++分布式实时系统框架,使之可以服务于任何一款对响应、吞吐量有高要求的业务系统——不管是游戏后台系统或者电信行业系统等等。用户只要将原有业务代码基于CDRAF做少许改动,就可以使用系统轻松地获得所有"分布式实时系统"所具备的特性,如:

  • 大吞吐量、低时延、模式多样、稳定可靠的通讯平台
  • 新节点启动后自动注册联网,旧节点无需重启
  • 计算节点根据业务量自动动态扩缩容
  • 单点故障不影响集群,故障节点自动检测,自动退网
  • 节点实时性能统计数据,自动上报
  • 自动负载均衡,不同节点根据自身处理能力自动进行负载
  • 过载保护,预防系统因流量过大而发生阻塞甚至引发宕机
  • 优雅启停,双通道消息线路保证启停过程中不丢消息
  • 灰度发布,支持测试节点与正常业务节点同网测试
  • 提供集群节点管理Restful接口,方便用户做节点管理的二次开发

  CDRSF核心由三个部分构成,分别是:通讯平台、状态中心、系统管理。如下图所示:

  

 

通讯平台:

    具备低时延(毫秒级)、高吞吐量(200000pps/s级)的通讯能力

    提供多样化通讯方式(点对点、广播、分发、单双通道等)满足各种业务需求

    完全配置式的节点通讯关系,通讯与业务程序完全解耦

    实时性性能统计输出,实时应用程序监控管理

状态中心:

    提供新节点自动发现联网运行,故障节点自动检测退网的能力

    各业务节点主动上报详细的运行状态数据,实时监控全网节点运行信息

    具备向各业务节点下发管理命令能力

    注册、触发机制保证所有命令、数据即刻到达

系统管理:

    实现系统的自主管理及外部对系统的管理

    自主管理提供了动态扩缩容、节点过载保护、故障节点重启等能力

    外部管理通过RESTful接口,提供了外部对系统进行各种操作的能力

(如:优雅关停节点、开关日志、单号码日志跟踪、容器测试等等)

 

整体系统架构图:

 

 

  通讯平台负责所有业务进程的通讯,包括进程间和节点间的通讯。SmartMonitor还可实时监控业务进程的心跳健康状况,实时统计性能数据。SmartAgent实时上报每个节点的各种数据到状态中心,并接受状态中心下达的命令。SmartService根据系统运行状况,对整个集群进程管理,同时也接受来自外部的命令,对系统进程各种操作。

 

下一篇:(二): 基于ZeroMQ的实时通讯平台

 

技术交流合作QQ群:436466587 欢迎讨论交流

 

 

目录
相关文章
WK
|
20天前
|
开发框架 开发工具 C++
C++跨平台框架Qt
Qt是一个功能强大的C++跨平台应用程序开发框架,支持Windows、macOS、Linux、Android和iOS等操作系统。它提供了250多个C++类,涵盖GUI设计、数据库操作、网络编程等功能。Qt的核心特点是跨平台性、丰富的类库、信号与槽机制,以及良好的文档和社区支持。Qt Creator是其官方IDE,提供了一整套开发工具,方便创建、编译、调试和运行应用程序。Qt适用于桌面、嵌入式和移动应用开发。
WK
51 5
|
25天前
|
机器学习/深度学习 自然语言处理 并行计算
DeepSpeed分布式训练框架深度学习指南
【11月更文挑战第6天】随着深度学习模型规模的日益增大,训练这些模型所需的计算资源和时间成本也随之增加。传统的单机训练方式已难以应对大规模模型的训练需求。
82 3
|
1月前
|
机器学习/深度学习 并行计算 Java
谈谈分布式训练框架DeepSpeed与Megatron
【11月更文挑战第3天】随着深度学习技术的不断发展,大规模模型的训练需求日益增长。为了应对这种需求,分布式训练框架应运而生,其中DeepSpeed和Megatron是两个备受瞩目的框架。本文将深入探讨这两个框架的背景、业务场景、优缺点、主要功能及底层实现逻辑,并提供一个基于Java语言的简单demo例子,帮助读者更好地理解这些技术。
59 2
|
2月前
|
存储 并行计算 安全
C++多线程应用
【10月更文挑战第29天】C++ 中的多线程应用广泛,常见场景包括并行计算、网络编程中的并发服务器和图形用户界面(GUI)应用。通过多线程可以显著提升计算速度和响应能力。示例代码展示了如何使用 `pthread` 库创建和管理线程。注意事项包括数据同步与互斥、线程间通信和线程安全的类设计,以确保程序的正确性和稳定性。
|
2月前
|
人工智能 文字识别 Java
SpringCloud+Python 混合微服务,如何打造AI分布式业务应用的技术底层?
尼恩,一位拥有20年架构经验的老架构师,通过其深厚的架构功力,成功指导了一位9年经验的网易工程师转型为大模型架构师,薪资逆涨50%,年薪近80W。尼恩的指导不仅帮助这位工程师在一年内成为大模型架构师,还让他管理起了10人团队,产品成功应用于多家大中型企业。尼恩因此决定编写《LLM大模型学习圣经》系列,帮助更多人掌握大模型架构,实现职业跃迁。该系列包括《从0到1吃透Transformer技术底座》、《从0到1精通RAG架构》等,旨在系统化、体系化地讲解大模型技术,助力读者实现“offer直提”。此外,尼恩还分享了多个技术圣经,如《NIO圣经》、《Docker圣经》等,帮助读者深入理解核心技术。
SpringCloud+Python 混合微服务,如何打造AI分布式业务应用的技术底层?
WK
|
27天前
|
C++ 开发者 iOS开发
C++跨平台框架
C++跨平台框架使开发者能够编写一次代码,在多个操作系统和硬件平台上运行,提高开发效率和软件可扩展性。常见的框架包括Qt、wxWidgets、SDL、JUCE等,它们各自具有丰富的功能和特点,适用于不同的应用场景。选择框架时需考虑目标平台、功能需求、学习曲线和社区支持等因素。
WK
39 0
|
2月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
50 1
|
2月前
|
存储 编译器 C++
【C++篇】揭开 C++ STL list 容器的神秘面纱:从底层设计到高效应用的全景解析(附源码)
【C++篇】揭开 C++ STL list 容器的神秘面纱:从底层设计到高效应用的全景解析(附源码)
57 2
|
3月前
|
存储 NoSQL Java
分布式session-SpringSession的应用
Spring Session 提供了一种创建和管理 Servlet HttpSession 的方案,默认使用外置 Redis 存储 Session 数据,解决了 Session 共享问题。其特性包括:API 及实现用于管理用户会话、以应用容器中性方式替换 HttpSession、简化集群会话支持、管理单个浏览器实例中的多个用户会话以及通过 headers 提供会话 ID 以使用 RESTful API。Spring Session 通过 SessionRepositoryFilter 实现,拦截请求并转换 request 和 response 对象,从而实现 Session 的创建与管理。
分布式session-SpringSession的应用
|
3月前
|
数据采集 分布式计算 MaxCompute
MaxCompute 分布式计算框架 MaxFrame 服务正式商业化公告
MaxCompute 分布式计算框架 MaxFrame 服务于北京时间2024年09月27日正式商业化!
93 3