AllData数据中台全年技术分享会议纪要

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

一、引言

3.png
AllData数据中台最初是一个开源项目,经过5年多的发展以及市场验证,在2023年成发布一款成熟稳定的商业版产品。

在定位上:数据中台定位为微前端加可插拔后端架构,商业版已经发布15个开源软件,后续还有10个尚未发布。

在客户群体上:包括央企、国企、政府单位等,运营五年多两个月,合计150+客户公司上线生产使用。

会议主要介绍了杭州奥零数据科技公司旗下AllData数据中台产品,该产品定位为提供多样开源大数据组件模板,快速搭建极致性价比的数据中台

目前组件包含但不限于数据集成,数据存储,数据开发,数据治理,BI平台等,已至少有150家客户使用该产品,未来会发布更多稳定实用组件,为客户提供更优质服务

二、数据中台亮点或优势
4.png

1、灵活性与可扩展性
强调AllData数据中台底层架构的灵活性,支持微前端和可插拔的后端设计。介绍AllData数据中台如何支持多种数据源的集成,以及丰富的功能模块,满足企业多样化的需求。
2、商业版本高级功能
提及商业版本提供的数据平台、数据平台K8S版、实时开发环境等高级功能。强调这些功能在开源版中不可得或稳定性较差,凸显商业版本的价值。
3、成功案例与口碑
简要提及AllData数据中台在多个行业领域的成功案例,如政府、电商、金融、制造等。强调AllData数据中台在市场上的良好口碑与影响力。

三、架构设计

AllData数据中台架构图
数据集成采用DataX和TIS等工具,支持多表同步和调度日志。
数据中台提供多级授权和菜单层控制,实现资源控制和访问权限管理。
数据中台搭载了用户和异常日志监控,以及数据库本身的监控。
5.png
6.jpg

四、核心功能

商业版企业客户重度使用的核心功能做统一介绍,包括数据集成、数据存储、数据计算、数据ETL、BI、机器学习算法平台、大模型应用平台。
7.png
8.png

AllData数据中台未来发布的新功能**
1、AI研发中心:机器学习算法平台,大模型应用开发平台
2、BI研发中心:第2款BI平台
3、数据传输中心:第2款数据集成工具-数据集成平台,第3款数据集成工具-数据集成中心
4、实时研发中心:第3款实时研发平台
5、数据湖
6、第2款元数据管理平台
7、第2款离线调度平台
8、数据安全功能
9、智能数仓建模平台
10、实时数仓
11、数据检索中心

五、实施案例

案例分享包括数据资源管理和客户现场部署,以及数据同步和Oracle数据处理。
部署时考虑最小化资源,客户现场部署资源需求较大。
10.png
11.png
12.png

元数据管理平台KPI和成本控制
KPI(关键绩效指标)定义为资产企业KPI,目标是降低到50%,完成30%可以节省30%成本,即9万美元。数据管理机构需要引入KPI,以便直观地了解数据健康度情况。

数据资产KPI的优化
每个组织对数据资产的KPI需求不同,不需要过多优化。数据资产KPI的优化包括原始数据管理、工作区内容、消息队列、工作流、Ml flow等。

数据指标管理
引入腾讯音乐的项目,实现动态自然语言计算指标,提高数据可视化。指标管理包括指标体系、指标血缘、指标市场、数据库管理等功能。

六、未来展望
13.jpg
14.png
15.png

七、未来规划

AllData数据中台商业版团队在2024年1月至12月期间取得了显著的成果和进展,不仅完成了产品开发与升级、市场拓展与业务合作、团队建设与人才培养等多个方面的任务,还在产品应用与成效方面取得了显著的成果。这些成就为公司的长期发展奠定了坚实的基础。
16.png

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
1天前
|
存储 数据采集 大数据
AllData数据中台技术架构升级演进
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
19天前
|
数据采集 供应链 搜索推荐
商业案例 I AllData数据中台商业版落地实践
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
1月前
|
数据采集 监控 数据管理
AllData数据中台商业版-核心内参资料分享
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
3月前
|
机器学习/深度学习 存储 人工智能
新功能发布!AllData数据中台核心菜单汇总
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
新功能发布!AllData数据中台核心菜单汇总
|
3月前
|
机器学习/深度学习 存储 SQL
AllData数据中台核心菜单八:BI平台
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
3月前
|
数据采集 运维 监控
AllData数据中台核心菜单一:Moat主应用
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
3月前
|
机器学习/深度学习 运维 Kubernetes
AllData数据中台核心菜单三:数据平台(K8S)
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
AllData数据中台核心菜单三:数据平台(K8S)
|
3月前
|
存储 机器学习/深度学习 数据采集
推荐| AllData数据中台开源项目
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
推荐| AllData数据中台开源项目
|
3月前
|
机器学习/深度学习 存储 SQL
AllData数据中台核心菜单十:指标体系
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
3月前
|
机器学习/深度学习 存储 人工智能
AllData数据中台核心菜单九:元数据管理
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。