推荐 | AllData开源数据中台项目

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: AllData是一个可定义的数据中台,采用Wujie微前端架构和可插拔后端设计,提供全链路数字化解决方案。它包括数据平台、数据中台、机器学习平台和大模型应用,旨在连接和优化数据处理流程。项目已在GitHub上开源(https://github.com/alldatacenter/alldata),并提供了详细的官方文档和安装指南。AllData 2.0版本针对商业版和开源版的功能进行了区分,商业版在稳定性方面表现更优,同时增加了数据平台等功能。项目团队积极参与开源社区,致力于提供稳定的架构和不断改进的用户体验。
AllData数据中台是可定义数据中台,上层是Wujie微前端架构,底座是可插拔的后端架构。

AllData数据中台以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

Github项目地址:https://github.com/alldatacenter/alldata

近日,AllData技术社区进行架构设计分享,AllData大数据中台创始人详细介绍了数据中台的2.0版本架构,包括对传统央企和轻量级行业公司的需求分析。

他强调了项目的可插拔性和可定义性,以及未来对更多开源框架的集成能力。AllData大数据中台创始人分享了团队的组成和资源,包括技术团队的商业化考虑和社区运营的投入。

他还提到了团队在开源社区的一些合作和经验。AllData大数据中台创始人讨论了项目调研的过程,包括对国内外开源开源组件的调研和对未来商业化的考虑。

他提到了团队在选型时考虑的因素,如品牌号召力、社区运营和开源项目的集成性。会议还进行数据中台2.0版本的人架构分享。

最后会议将总结经验教训,提取社区反馈和意见,以期使项目做得更好。

image

image

官方文档安装文档

一、开源版功能列表

AllData 1.0旧版架构

id 功能模块 是否开源 开源版与商业版区别 架构版本
1 系统管理 开源 商业版更稳定,Bug比较少 旧版架构V1.0
2 数据集成 开源 商业版更稳定,Bug比较少 旧版架构V1.0
3 元数据管理 开源 商业版更稳定,Bug比较少 旧版架构V1.0
4 数据标准 开源 商业版更稳定,Bug比较少 旧版架构V1.0
5 数据质量 开源 商业版更稳定,Bug比较少 旧版架构V1.0
6 数据资产 开源 商业版更稳定,Bug比较少 旧版架构V1.0
7 数据市场 开源 商业版更稳定,Bug比较少 旧版架构V1.0
8 数据对比 开源 商业版更稳定,Bug比较少 旧版架构V1.0
9 BI报表 开源 商业版更稳定,Bug比较少 旧版架构V1.0
10 流程编排 开源 商业版更稳定,Bug比较少 旧版架构V1.0
11 系统监控 开源 商业版更稳定,Bug比较少 旧版架构V1.0
12 邮件服务 开源 商业版更稳定,Bug比较少 旧版架构V1.0
14 文件服务 开源 商业版更稳定,Bug比较少 旧版架构V1.0

二、商业版功能列表

AllData 2.0新版架构

id 功能模块 是否开源 开源版与商业版区别 架构版本
1 系统管理 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0
2 数据集成 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0
3 元数据管理 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0
4 数据标准 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0
5 数据质量 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0
6 数据资产 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0
7 数据市场 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0
8 数据对比 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0
9 BI报表 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0
10 流程编排 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0
11 系统监控 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0
12 邮件服务 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0
14 文件服务 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0

三、商业版新增功能列表

AllData 2.0新版架构-新增功能

id 功能模块 是否开源 开源版与商业版区别 架构版本
15 数据平台功能 商业版,不开源 商业版更稳定,Bug比较少 旧版架构1.0
16 数据平台功能(DataSophon) 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0
17 数据平台k8s功能(Cloudeon) 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0
18 实时开发功能(Streampark) 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0
19 实时开发IDE功能(Dinky) 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0
20 离线平台功能(DolphinScheduler) 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0
21 BI平台功能(Datart) 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0
22 数据质量功能(Datavines) 商业版,不开源 商业版更稳定,Bug比较少 新版架构V2.0

四、会员商业版

4.1 商业版V1.0旧版架构 & V2.0新版架构

1、会员商业版线上环境地址,线上环境只对会员通道开放,成为会员:享受会员权益。

  线上环境:http://122.51.43.143:5173/ui_moat    账号:test/123456(此账号只能体验数据质量功能)

2、开源版与商业版不是同一个项目,开源版命名为alldata,会长期存在,商业版命名为sciencemoat, 由公司团队维护。

   2.1 开源项目可以用于公司内部调研用途,如需商业使用,需要购买会员商业版,开源AllData项目使用GPL协议。

   2.2 加入会员通道,购买商业版源码,可以商业使用AllData。商业版功能更多,保证稳定性,Bug比较少,由公司架构师团队维护。

3、V1.0新版架构 alldata架构

  3.1 开源版属于V1.0旧版架构,V1.0旧版架构使用Vue2 + SpringCloud前后端分离架构。

  3.2 扩展大数据组件能力有限,目前扩展了开源组件DataSophon,此功能仅在商业版提供源码,开源版本不提供源码。

4、V2.0新版架构 sciencemoat架构

  4.1 创始版,新版尊贵会员,新版高级会员,新版终身会员属于V2.0新版架构。

  4.2 V2.0新版架构使用Wujie微前端架构+后端可插拔架构。
  这套架构是全新会员商业版的核心优势,集成开源组件能力十分优秀,可以扩展支持到30-100+大数据开源组件。

主要讲述了Github数一数二的数据中台开源项目、同行产品调研,以及如何在这个领域进行交流。 会议提到,国内的大数据开发和产品团队在开源环境中的时间相对较慢,因为国内的大数据架构师或专家通常都在兼职,没有专门从事社区项目。 此外,会议还提到了一个公司组织,这个组织是为了满足项目需求而建立的,同时也需要维护下去。最后,会议提到了一些常用的开源组件,如Hybrid Olap、实时开发等。

六 功能效果

1 首页

image

2 数据集成(开源版有,商业版更稳定,bug比较少)

image

image

image

3 数据质量(开源版有,商业版更稳定,bug比较少)

image

image

image

4 数据标准(开源版有,商业版更稳定,bug比较少)

image

image

image

image

5 元数据管理(开源版有,商业版更稳定,bug比较少)

image

image

image

image

6 数据资产(开源版有,商业版更稳定,bug比较少)

image

image

7 数据服务(开源版有,商业版更稳定,bug比较少)

image

image

image

介绍了一个集成了数百个数据源的现代数据栈(Modern Data Stack)框架,也就是AllData 2.0架构框架,该框架旨在为用户提供一条龙的产品,包括数据采集、存储、计算、报表展示、数据服务和MLOPS等技术平台,挖掘出数据内在的价值。 技术架构设计方面,使用了一个最新的图,分别描述数据中台和数据平台两部分。此外,还介绍了框架中的一些功能,如消息能力、微服务、加载引擎等。 最后,提到了未来的一个架构,包括无界Wujie微前端框架、数据中台系统、数据服务等。

主要讲述了团队在开发过程中的一些工作内容和未来计划。首先,团队会先关注开源社区和商业化公司,并在各大B站、视频号和公众号上分享相关内容。其次,团队会持续进行架构优化和测试,以提高基础平台和大数据平台的稳定性。此外,团队还会分享一些典型案例,如可插拔架构案例,介绍如何提高效率和效率。最后,会议还提到了数据质量和数据管理的重要性,以及未来可能的发展方向。

8 数据比对(开源版有,商业版更稳定,bug比较少)

image

image

image

image

10 流程编排(开源版有,商业版更稳定,bug比较少)

image

11 系统监控(开源版有,商业版更稳定,bug比较少)

image

image

主要讲述了团队在开源框架研究方面的背景和成果,提到了一些开源项目和数据平台。 同时,介绍了团队在技术架构设计方面的思考和尝试。会议还分享了AllData 2.0新版架构集成开源大数据组件的实际案例,通过DataVines,Dinky,DataSophon大数据开源项目集成作为案例,分享大数据开源组件集成建设经验,包括无界Wujie开源框架-腾讯前端团队开发的开源框架以及后端可插拔服务“唯一框架”。 最后分享了一个关于数据中台的项目AllData,讲述了一个在2019年完成并已运行5年以上的项目。

13 数据平台(开源版没有,商业版提供源码)

image

image

image

image

14 数据平台(K8S)(开源版没有,商业版提供源码)

image

image

image

15 实时开发(开源版没有,商业版提供源码)

image

image

image

image

image

image

16 实时开发IDE(开源版没有,商业版提供源码)

image

image

image

image

17 离线平台(开源版没有,商业版提供源码)

image

image

image

image

image

image

18 新版数据质量平台(DataVines)(开源版没有,商业版提供源码)

image

image

image

image

image

19 新版BI平台(Datart)(开源版没有,商业版提供源码)

image

image

image

主要讲述了行业背景下的增长趋势放缓,以及数据中台的问题。讲者提到,行业增长放缓,市场规模达到百亿级别。2023年市场规模为183亿。同时,数据中台面临效率低下、数据量问题、集群资源等问题。讲者认为,基于现有技术和产品,未来需要解决转型问题,如DataOps加AI支撑。此外,讲者还提到了客户画像和需求场景,如传统央企、轻量级证券公司等。

在未来五年或十年内,如果其他外国软件或国内开源项目出现,我们可以提供一套框架快速集成到我们的平台上,以便快速进行数据迁移和任务重叠组件的选型。我们希望这些框架能用于调研未来的框架,以满足不同产品的需求。此外,我们团队致力于将数据中台做得更好,目前有80%的资源投入到开发上,还有销售经理、法务、财务等职位在做其他事情。我们的团队是一群人,致力于把这件事做好。

主要介绍了企业级生产流程中的生产系统,包括新版商业版2.0架构,保留很多原有功能,全新优化和升级产品功能效果、UI等。同时,提到了开源图、源码等内容,以及数据平台的功能。此外,还介绍了项目系统和新的架构图,并分享了工作流和系统使用体验。最后,提到了与多个开源社区的开源生态合作,希望未来能一起创造生态,提升项目功能。总的来说,会议对开源项目AllData架构设计进行了全面的探讨,包括项目的技术架构、团队资源、调研选型、案例分析以及AllData平台的技术架构分享。会议强调了项目的可插拔性和可定义性,以及团队在在开源社区的合作和经验。通过这次讨论,与会者对大数据中台的未来发展方向和潜在挑战有了更深入的了解。

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
13天前
|
机器学习/深度学习 存储 SQL
AllData数据中台核心菜单八:BI平台
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
13天前
|
机器学习/深度学习 存储 人工智能
新功能发布!AllData数据中台核心菜单汇总
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
新功能发布!AllData数据中台核心菜单汇总
|
14天前
|
机器学习/深度学习 运维 Kubernetes
AllData数据中台核心菜单三:数据平台(K8S)
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
AllData数据中台核心菜单三:数据平台(K8S)
|
13天前
|
机器学习/深度学习 存储 SQL
AllData数据中台核心菜单十:指标体系
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
13天前
|
机器学习/深度学习 存储 人工智能
AllData数据中台核心菜单九:元数据管理
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
14天前
|
数据采集 存储 机器学习/深度学习
AllData数据中台核心菜单七:数据质量平台
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
14天前
|
机器学习/深度学习 存储 监控
AllData数据中台核心菜单六:离线开发
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
14天前
|
机器学习/深度学习 存储 监控
AllData数据中台核心菜单五:实时开发IDE
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
14天前
|
机器学习/深度学习 存储 分布式计算
AllData数据中台核心菜单四:实时开发
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
14天前
|
存储 机器学习/深度学习 人工智能
AllData数据中台核心菜单二:数据平台
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。