首发博客地址
先大致列一下基础情况
- 架构必须是微服务
- 场景上涉及大量查询操作，分析操作
- 存在临时大量写入的场景
- 并发并不高
- 对高可用要求较高，不能挂掉
- 对安全要求高
- 要能过等保测试等三方测试
- 使用人数并不多，十万内
- 涉及很多在线编辑，预览等操作
- 对大屏展示有需求
- 数据库还不确定，如果要求高的话mysql必须换成达梦
- 中间件也不确定，要求高的话必须换成东方通
- 加密必须是国密
前言
好的代码，肯定最基本的有一套开发规范去约束的，不然堆砌的代码肯定成”屎山“。扩展性，性能啥的先不谈，单单维护代码成本就会很高，也很容易出BUG。
所以呀，我们必须先有一套开发规范，我这里拟了一套规范供内部使用：
架构
这里微服务框架我推荐直接使用Spring Cloud Alibaba体系组件，原因如下：
- Spring Cloud Alibaba 已经是国内实际上微服务标准
- 服务于阿里集团大大小小各种业务，生产使用稳定
- 社区庞大，遇到问题容易解决
- 文档齐全，中文文档详细，方便查阅
- 与 Spring Cloud 集成，可以充分使用 Spring Cloud 特性
- 组件丰富
系统架构图
高清大图地址：https://www.processon.com/view/link/64ef11baa8c890267a8a023d
聊聊组件选型
那么，具体我们需要哪些组件呢？这里的组件并不是必须的，需要后续综合考虑
- ES：数据检索
- Redis：缓存
- JetCache：多级缓存
- MySQL，如果有国产化需求，考虑 达梦数据库
- Druid：数据源管理框架
- ShardingSphere：对数据库进行增强，比如 分库分表，加密的支持
- Minio：文件存储
- Seata：分布式事务
- Spring Cloud Gateway：由于并发量并不大，所以我们可以不需要 Nginx网关
- Sentinel: 熔断限流
- Spring Cloud Alibaba Sidecar：项目中很有可能涉及其他非 Spring Cloud 应用，此时就需要将其接入 Spring Cloud
- 引入 GraalVM，可以看到，对比 JVM 启动速度提升
- JimuReport+EasyExcel：报表设计
- KkFileView：在线预览各种文件
- Activity：工作流支持
- Hutool：最全工具类库
- Nacos：服务注册和配置中心
- RocketMQ：消息队列，削峰填谷
- Docker：使用 Docker 进行容器化部署
- GitLab：源码管理
- Nexus：构建仓库
- Jenkins：部署平台
- SkyWalking：链路追踪
- SaToken 或 Spring Cloud Security+Oauth：授权
- Leaf：分布式 ID 生成器
- MybatisFlex：ORM 框架
- Dubbo 或 Feign：服务间通信
一些细节
再次声明一点，业务上是读多写少，分析报表多，所以很多设计上要优化
- MySQL：读写分离，分库分表
- Redis：主从从架构，哨兵集群
- 项目使用多级缓存
- 数据国密加密
- 账号最小权限分配，严格限制超级管理员账号
- 统一线程池使用
打任务量导入导出
- 通过优化线程池提高效率
- 通过逻辑过滤重复任务
- 使用消息队列削峰
- 使用缓存优化查询速度
查询流程
- 客户端发送请求
- 前端请求加密
- 请求发送到网关
- 网关校验请求合法性
- 网关根据路由规则转发到具体的服务器上处理
- 服务器解密请求数据
- 查询本地缓存
- 若无则查询 Redis
- 若无则进行业务流转，最终查询 MySQL
- 根据路由规则，查询只读 MySQL 节点并返回数据
- 数据本地缓存，然后 Redis 缓存
- 返回响应数据
- 对响应加密，转发到网关
- 网关转发给客户端
- 客户端解密，展示数据
部署流程
开发环境
- 开发提交代码
- 基于 GitLab CI/CD 自动拉取代码生成 Docker 镜像并提供服务
测试环境
- 合并代码到测试分支
- 基于 GitLab CI/CD 自动拉取代码生成 Docker 镜像并提供服务
生产环境
- 合并代码到生产分支
- 基于 GitLab，手动用 Jenkins 部署项目
详细部署策略
如果中台能提供，那肯定是最好的，不用考虑那么多了
现在假设有10台服务器
- 服务器1和服务器2：MySQL数据库服务器，部署主从复制架构。
- 服务器1作为主数据库（Master），负责写入操作和部分读取操作。
- 服务器2作为从数据库（Slave），负责复制主数据库的数据，并提供读取操作，实现读写分离。
- 主从复制可以提高数据库的可用性和性能，当主数据库出现故障时，可以快速切换到从数据库。
- 服务器3和服务器4：Redis缓存服务器，部署主从架构。
- 服务器3作为主节点（Master），负责处理写入和读取操作。
- 服务器4作为从节点（Slave），复制主节点的数据，并提供读取操作。
- Redis主从架构可以提高缓存的可用性和读取性能。
- 服务器5：Minio文件存储服务器，用于存储上传的文件。
- Minio是一个开源的对象存储服务器，提供高可用性和可扩展性的存储解决方案。
- 服务器6和服务器7：Nacos服务注册和配置中心，用于服务的注册和配置管理。
- Nacos提供了服务注册、发现和配置管理的功能，支持高可用和可靠的服务部署。
- 服务器8：RocketMQ消息队列服务器，用于削峰填谷，异步处理导入任务。
- RocketMQ提供了高吞吐量、低延迟的消息传递能力，可以将导入任务放入消息队列中，由异步消费者进行处理。
- 服务器9和服务器10：用于部署应用程序和其他中间件，如Spring Cloud Gateway、Sentinel、SkyWalking等。
- 这些服务器用于部署应用程序和其他中间件，如API网关、熔断限流、链路追踪等，提供服务的访问和监控。
将MySQL数据库和Redis缓存部署为主从架构的原因如下：
- 高可用性：主从复制可以提供故障容错能力，当主节点出现故障时，可以快速切换到从节点，保证服务的连续性和可用性。
- 读写分离：通过将读操作分发到从节点，可以减轻主节点的负载，提高数据库的读取性能。同时，从节点的复制过程对主节点的影响较小，不会对主节点的写入操作产生影响。
本文由 mdnice 多平台发布
