企业数据中台的难点并非单纯将数据汇集到某个存储系统,而是让异构接入、元数据治理、质量控制、数据服务和业务应用在同一条链路中协同运行。若这些能力分散在多个工具中,权限边界、数据血缘、任务日志和接口交付往往会形成新的管理断点。
数智云面向这一类系统级问题,将数据同步、数据治理、数据集市、流程管理与可视化能力组织为微服务应用平台。它的核心职责是把企业业务系统中的数据接入统一治理体系,再通过标准、质量、主数据与 API 服务等模块,将数据资产转化为可调用、可管控的业务能力。
项目采用 MIT 开源许可证发布,支持商业化使用,并允许在遵守许可证条款的前提下进行修改、分发与二次开发。
微服务架构与服务边界
数智云采用 J2EE 技术体系,后端基于 Spring Boot 2.3 和 Spring Cloud Hoxton.SR9 构建。datax-eureka、datax-config、datax-gateway 与 datax-auth 分别承担注册、配置、网关和认证职责,避免将服务发现、路由转发、运行配置与权限认证耦合在单一应用中。
网关层使用 Spring Cloud Gateway,适合将不同业务模块的访问入口集中处理;认证层结合 Spring Security 与 Spring OAuth 2.0,覆盖用户、角色、部门、菜单与数据范围权限。对于数据中台而言,这种设计的价值在于,数据表、元数据、API 服务和可视化看板能够在统一身份与权限模型下被管理,而不是在各子系统中重复维护访问规则。
项目同时配置 Redis、RabbitMQ、Quartz、MyBatis Plus、HikariCP 与 Undertow。缓存、消息、调度、持久化与运行容器各自承担明确职责,使数据任务、异步处理和业务服务能够按模块扩展。Flowable 6.5.0 则补足了流程定义、实例管理、待办任务与业务配置能力,为需要将数据任务嵌入审批或业务流程的场景提供衔接点。
从数据接入到资产治理
数智云的数据中台链路以异构数据汇聚为起点,面向 MySQL、Oracle、SQL Server、Hive 等数据源进行同步与交换。统一存储和计算并不只是减少数据副本,更重要的是为后续的元数据维护、质量规则执行和数据服务输出建立共同基础。
元数据管理模块承担数据资产的基础描述工作,覆盖数据源、数据库表、元数据授权、变更记录与数据检索。数据地图和血缘流向将数据的来源与去向连接起来,便于技术团队定位表之间的依赖关系,也为数据治理人员梳理资产目录提供可视化入口。SQL 工作台则让查询、验证与资产排查可以在统一环境内完成。
在治理规则层,数据标准模块提供标准字典、对照表、字典对照与统计能力;数据质量模块覆盖规则配置、问题统计、质量报告、定时任务和任务日志。数智云将标准定义和质量检测放在数据资产管理链路中,适合企业对跨业务系统的字段口径、编码映射和数据异常建立持续管理机制。
数据服务化与业务应用连接
数据中台的治理结果需要能够进入业务流程,才不会停留在数据管理后台。数智云的数据集市模块可以动态开发 API 数据服务,并为服务调用提供数据脱敏、接口日志、服务集成和调用日志能力。这样,业务部门获取数据时可通过受控接口完成访问,减少直接连接数据库或重复开发接口带来的安全与维护压力。
可视化模块进一步承担面向业务侧的交付任务。平台支持基于 SQL 查询结果维护数据集,并通过图表配置和看板配置组织多维表格、折线图、柱状图、饼图、雷达图和散点图等内容。拖拽式看板编排使数据分析结果可以在不额外搭建前端工程的情况下形成业务展示页面。
数智云还包含主数据、文件、邮件、代码生成、任务调度和流程等服务模块。这种组合更适合需要将数据治理能力嵌入既有业务系统的企业,而非仅部署一个孤立的数据开发工具。
部署与安全边界
数智云支持本地化、私有云和公有云部署。部署时应优先明确数据源连接、服务注册、配置中心、网关路由、认证密钥与 Redis、RabbitMQ 等基础组件的运行边界,并按组织和角色划分数据访问范围。
在生产环境中,数据质量任务、接口调用、任务调度和流程实例都应保留可追溯日志。对于包含敏感字段的数据服务,应结合平台的数据脱敏能力与 OAuth 2.0 授权机制,区分查询权限、接口调用权限和管理权限。元数据授权与服务接口授权需要同步设计,避免资产目录可见而底层数据越权,或接口已开放但缺少责任边界的情况。
结语
数智云适合将数据接入、元数据、数据标准、质量管控、数据服务和业务展示放进同一技术体系的企业。它的架构取舍并不在于替代所有数据基础设施,而在于通过微服务边界、统一权限模型和治理模块组合,减少数据从汇聚到使用之间的断层。对于正在建设企业级数据中台的团队,重点应结合现有数据源、接口治理要求、部署环境与业务流程评估其适配性。
项目地址:https://www.gitcc.com/flowlong/shuzhiyun