AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

方案实践测评 | DataWorks集成Hologres构建一站式高性能的OLAP数据分析

2024-12-11 697
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： DataWorks在任务开发便捷性、任务运行速度、产品使用门槛等方面都表现出色。在数据处理场景方面仍有改进和扩展的空间，通过引入更多的智能技术、扩展数据源支持、优化任务调度和可视化功能以及提升团队协作效率，DataWorks将能够为企业提供更全面、更高效的数据处理解决方案。

DataWorks基于阿里云ODPS/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。作为阿里巴巴数据中台的建设者，DataWorks从2009年起不断沉淀阿里巴巴大数据建设方法论，同时与数万名政务/金融/零售/互联网/能源/制造等客户携手，助力产业数字化升级。

Hologres是阿里云自研一站式实时数仓，统一数据平台架构，支持海量结构化/半结构化数据的实时写入、实时更新、实时加工、实时分析，支持标准SQL（兼容PostgreSQL协议），无缝对接主流BI工具，支持OLAP查询、即席分析、在线服务、向量计算多个场景，分析性能打破TPC-H世界记录，与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。

一、方案概述

本方案基于阿里云实时数仓Hologres和DataWorks数据集成，通过简单的产品操作即可完成数据库RDS实时同步数据到Hologres，并通过Hologres强大的查询分析性能，完成一站式高性能的OLAP数据分析。
image.png

方案部署

1、创建专有网络VPC和交换机

为确保后续任务的网络连通，请务必保证Hologres与DataWorks资源组使用同⼀个VPC。

image.png

image.png

在创建专有网络页面，您可查看到创建的专有网络VPC和交换机的ID、实例名称等信息。
image.png

2、试用实时数仓Hologres。新用户可以有3个月免费试用期。

image.png

在实时数仓Hologres面板，根据如下参数说明进行配置，未提及的参数保持默认即可，单击立即试用。
image.png

image.png

大概需要5-10分钟，在实例列表页面，等待运行状态变为运行正常，即可正常使用。
image.png

3、开通DataWorks

image.png

image.png

image.png
创建工作空间列表。注意需要类似XXXX_123这种格式，即字母、数字、下划线都用到才可以。
image.png

image.png

在资源组列表页面，等待目标资源组的状态变为运行中，即可正常使用资源组。
image.png

4、创建公网NAT

首次使用NAT网关时，在创建公网NAT网关页面关联角色创建区域，单击创建关联角色。角色创建成功后即可创建NAT网关。
image.png

image.png
image.png

image.png

image.png
返回如下页面，表示您已创建成功，可以查看到创建的弹性公网IP、NAT网关等资源的资源ID。
image.png

5、创建Hologres表

在实例列表页面，但是实例ID。
image.png

在实例详情页面，单击登录实例，进入HoloWeb。
image.png

image.png

在顶部菜单栏中，单击SQL编辑器。

image.png

新建SQL查询
image.png

新建Hologres内部表。

将如下命令复制并粘贴至临时Query查询页签中，单击执行，创建Hologres内部表hologres_dataset_github_event.hologres_github_event，后续会将数据实时写入至该表中。

-- 新建schema用于创建内表并导入数据
CREATE SCHEMA IF NOT EXISTS hologres_dataset_github_event;

DROP TABLE IF EXISTS hologres_dataset_github_event.hologres_github_event;

BEGIN;
CREATE TABLE hologres_dataset_github_event.hologres_github_event (
 id bigint PRIMARY KEY,
 actor_id bigint,
 actor_login text,
 repo_id bigint,
 repo_name text,
 org_id bigint,
 org_login text,
 type text,
 created_at timestamp with time zone NOT NULL,
 action text, 
 commit_id text,
 member_id bigint,
 language text
);
CALL set_table_property ('hologres_dataset_github_event.hologres_github_event', 'distribution_key', 'id');
CALL set_table_property ('hologres_dataset_github_event.hologres_github_event', 'event_time_column', 'created_at');
CALL set_table_property ('hologres_dataset_github_event.hologres_github_event', 'clustering_key', 'created_at');

COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.id IS '事件ID';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.actor_id IS '事件发起⼈ID';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.actor_login IS '事件发起⼈登录名';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.repo_id IS 'repoID';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.repo_name IS 'repo名称';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.org_id IS 'repo所属组织ID';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.org_login IS 'repo所属组织名称';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.type IS '事件类型';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.created_at IS '事件发⽣时间';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.action IS '事件行为';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.commit_id IS '提交记录ID';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.member_id IS '成员ID';
COMMENT ON COLUMN hologres_dataset_github_event.hologres_github_event.language IS '编程语⾔';

COMMIT;

执行结束
image.png

6、实时同步数据至Hologres

在管理中心页面，在下拉框中选择默认⼯作空间，单击进入管理中心。
image.png

在左侧导航栏中，选择数据源 > 数据源列表。

image.png

创建MySQL数据源。

image.png

image.png

配置完成后，在连接配置区域，找到您创建的资源组，单击其右侧的测试连通性。

image.png

image.png
image.png

创建Hologres数据源。

image.png

image.png
image.png

image.png

创建实时同步任务。
image.png

在数据集成页面，在创建同步任务中，选择来源与去向数据源，单击开始创建。

来源：选择MySQL。去向：选择Hologres

image.png

在基本信息区域中，配置任务信息。 新任务名称：data_test。 同步类型：选择整库实时。

image.png

在网络与资源配置区域中，配置任务网络连通。

image.png

image.png

image.png

实时同步任务设置。在选择要同步的库表区域的源端库表中，勾选github_public_event表，然后右移。

image.png
image.png

在目标表映射区域，勾选github_public_event表，单击批量刷新映射。基于上述已创建的Hologres内部表，将目标Schema名改为hologres_dataset_github_event，目标表名改为hologres_github_event，单击完成配置。
image.png

image.png

image.png

在任务列表页面，单击启动。

image.png

image.png
image.png

在任务详情页面，您可查看到任务的执行情况，请耐心等待任务执行完成。

image.png

进度如下：
image.png

image.png

7、实时OLAP分析

返回至SQL编辑器·HoloWeb页签。在临时Query查询页签中，执行如下命令，查询实时更新的过去24小时GitHub最活跃项⽬。


SELECT
  repo_name,
  COUNT(*) AS events
FROM
  hologres_dataset_github_event.hologres_github_event
WHERE
  created_at >= now() - interval '1 day'
GROUP BY
  repo_name
ORDER BY
  events DESC
LIMIT 5;

查看同步的相关监控数据

image.png
image.png
image.png

image.png
image.png
image.png

8、清除资源

删除实时数仓Hologres。

image.png

image.png

image.png

image.png

删除实时同步任务、数据源、资源组和工作空间。

image.png

在数据集成页面，找到目标同步任务，单击其右侧操作列下的停止。

image.png

任务停止以后，选择其右侧操作列下的更多 > 删除。
image.png

image.png

在工作空间列表页面，找到目标工作空间，单击其右侧操作列下的管理。

image.png

在数据源页面，分别单击Hologre和MySQL数据源右侧操作列下的删除。

image.png

image.png

在DataWorks控制台左侧导航栏中，单击资源组列表，找到您创建的资源组

image.png

image.png

image.png

删除工作空间列表
image.png
image.png

删除公网NAT和弹性公网IP。
image.png
image.png

image.png

image.png

image.png

删除VPC及交换机。

image.png

image.png

三、体验总结

在本方案中，DataWorks作为阿里云提供的大数据开发治理平台，其产品在多个方面如任务开发便捷性、任务运行速度、产品使用门槛等，通常都能满足大部分企业的数据处理需求，特别是在与Hologres等阿里云自研产品结合使用时，能够发挥出更高的效能。以下是对这些方面的具体分析：

  1. 任务开发便捷性：

    • DataWorks提供了丰富的数据开发组件和模板，简化了数据处理的流程。
    • 支持拖拽式的界面操作，降低了数据开发的技术门槛。
    • 集成了多种数据源和数据目标，方便数据的接入和输出。

    因此，从任务开发便捷性的角度来看，DataWorks能够很好地满足企业的需求。

  2. 任务运行速度：

    • DataWorks基于阿里云的大数据引擎（如ODPS、EMR等）构建，能够充分利用云端的计算资源。
    • 支持分布式计算和并行处理，提高了数据处理的效率。
    • 与Hologres等高性能数仓产品的结合，能够进一步提升数据查询和分析的速度。

    所以，在任务运行速度方面，DataWorks同样表现出色。

  3. 产品使用门槛：

    • DataWorks提供了详尽的文档和教程，帮助用户快速上手。
    • 支持多种身份认证和权限管理方式，确保了数据的安全性和合规性。
    • 提供了丰富的API和SDK，方便用户进行二次开发和集成。

    在产品使用门槛方面，DataWorks也做得相当不错，既适合初学者快速入门，也适合高级用户进行复杂的数据处理。

  4. 其他功能：

    • DataWorks还提供了数据质量管理、数据资产管理、数据安全审计等功能，满足了企业对数据治理的全方位需求。
    • 支持实时数据监控和告警，确保数据处理的稳定性和可靠性。

针对数据处理场景，DataWorks可以改进或增加的功能点如下：

  • 更智能的数据处理：引入更多的AI和机器学习算法，实现数据的智能清洗、转换和分析，提高数据处理的效率和准确性。
  • 更丰富的数据源支持：除了现有的数据源外，还可以进一步扩展对新兴数据源（如物联网设备、社交媒体等）的支持。
  • 更灵活的任务调度：提供更丰富的任务调度策略和触发机制，以满足不同场景下的数据处理需求。
  • 更强大的数据可视化：虽然DataWorks可以与主流BI工具无缝对接，但自身也可以提供更强大的数据可视化功能，方便用户进行直观的数据分析和展示。
  • 更高效的团队协作：优化团队协作功能，如版本控制、任务分配、进度跟踪等，以提高团队的工作效率和协作效果。
文章标签：
云原生数据仓库AnalyticDB MySQL版
大数据开发治理平台 DataWorks
实时数仓 Hologres
云数据库 RDS MySQL 版
NAT网关
云原生大数据计算服务 MaxCompute
专有网络VPC
DataWorks
数据处理
OLAP
数据挖掘
大数据
相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库，高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准，可以对海量数据进行即时的多维分析透视和业务探索，快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
穿过生命散发芬芳
目录
相关文章
穿过生命散发芬芳
|
SQL 分布式计算 DataWorks
破界·融合·进化：解码DataWorks与Hologres的湖仓一体实践
基于阿里云DataWorks与实时数仓Hologres，提供统一的大数据开发治理平台与全链路实时分析能力。DataWorks支持多行业数据集成与管理，Hologres实现海量数据的实时写入与高性能查询分析，二者深度融合，助力企业构建高效、实时的数据驱动决策体系，加速数字化升级。
穿过生命散发芬芳
536 2
阿里云大数据Al技术
|
人工智能 自然语言处理 数据挖掘
云上玩转Qwen3系列之三：PAI-LangStudio x Hologres构建ChatBI数据分析Agent应用
PAI-LangStudio 和 Qwen3 构建基于 MCP 协议的 Hologres ChatBI 智能 Agent 应用，通过将 Agent、MCP Server 等技术和阿里最新的推理模型 Qwen3 编排在一个应用流中，为大模型提供了 MCP+OLAP 的智能数据分析能力，使用自然语言即可实现 OLAP 数据分析的查询效果，减少了幻觉。开发者可以基于该模板进行灵活扩展和二次开发，以满足特定场景的需求。
阿里云大数据Al技术
945 4
Database-Learning-helper
|
机器学习/深度学习 人工智能 自然语言处理
如何构建企业级数据智能体：Data Agent 开发实践
本篇将介绍DMS的一款数据分析智能体（Data Agent for Analytics ）产品的技术思考和实践。Data Agent for Analytics 定位为一款企业级数据分析智能体， 基于Agentic AI 技术，帮助用户查数据、做分析、生成报告、深入洞察。
Database-Learning-helper
3864 10
灵杰开发者
|
存储 SQL 运维
中国联通网络资源湖仓一体应用实践
本文分享了中国联通技术专家李晓昱在Flink Forward Asia 2024上的演讲，介绍如何借助Flink+Paimon湖仓一体架构解决传统数仓处理百亿级数据的瓶颈。内容涵盖网络资源中心概况、现有挑战、新架构设计及实施效果。新方案实现了数据一致性100%，同步延迟从3小时降至3分钟，存储成本降低50%，为通信行业提供了高效的数据管理范例。未来将深化流式数仓与智能运维融合，推动数字化升级。
灵杰开发者
844 0
中国联通网络资源湖仓一体应用实践
云浠Cherry
|
机器学习/深度学习 人工智能 自然语言处理
构建企业级数据分析助手：Data Agent 开发实践
本篇将介绍DMS的一款数据分析智能体（Data Agent for Analytics ）产品的技术思考和实践。Data Agent for Analytics 定位为一款企业级数据分析智能体， 基于Agentic AI 技术，帮助用户查数据、做分析、生成报告、深入洞察。由于不同产品的演进路径，背景都不一样，所以只介绍最核心的部分，来深入剖析如何构建企业级数据分析助手：能力边界定义，技术内核，企业级能力。希望既能作为Data Agent for Analytics产品的技术核心介绍，也能作为读者的开发实践的参考。
云浠Cherry
3026 3
构建企业级数据分析助手：Data Agent 开发实践
SelectDB
|
SQL 存储 运维
Apache Doris 在菜鸟的大规模湖仓业务场景落地实践
本文介绍了 Apache Doris 在菜鸟的大规模落地的实践经验，菜鸟为什么选择 Doris，以及 Doris 如何在菜鸟从 0 开始，一步步的验证、落地，到如今上万核的规模，服务于各个业务线，Doris 已然成为菜鸟 OLAP 数据分析的最优选型。
SelectDB
756 2
Apache Doris 在菜鸟的大规模湖仓业务场景落地实践
游客7wkr3y7oxyt7a
|
供应链 监控 搜索推荐
35页PPT｜零售行业自助数据分析方法论：指标体系构建平台集成、会员与商品精细化运营实践
在零售行业环境剧变的背景下，传统“人找货”模式正被“货找人”取代。消费者需求日益个性化，购买路径多元化，企业亟需构建统一的指标体系，借助BI平台实现数据驱动的精细化运营。本文从指标体系构建、平台集成到会员与商品运营实践，系统梳理零售经营分析的方法论，助力企业实现敏捷决策与业务闭环。
游客7wkr3y7oxyt7a
771 0
35页PPT｜零售行业自助数据分析方法论：指标体系构建平台集成、会员与商品精细化运营实践
游客u7dljxi6kiud6
|
SQL 存储 缓存
基于 StarRocks + Iceberg，TRM Labs 构建 PB 级数据分析平台实践
从 BigQuery 到开放数据湖，区块链情报公司 TRM Labs 的数据平台演进实践
游客u7dljxi6kiud6
598 34
穿过生命散发芬芳
|
SQL DataWorks 关系型数据库
DataWorks+Hologres：打造企业级实时数仓与高效OLAP分析平台
本方案基于阿里云DataWorks与实时数仓Hologres，实现数据库RDS数据实时同步至Hologres，并通过Hologres高性能OLAP分析能力，完成一站式实时数据分析。DataWorks提供全链路数据集成与治理，Hologres支持实时写入与极速查询，二者深度融合构建离在线一体化数仓，助力企业加速数字化升级。
穿过生命散发芬芳
806 3
实时数仓Hologres团队
|
自然语言处理 安全 数据挖掘
Hologres+函数计算+Qwen3，对接MCP构建企业级数据分析 Agent
本文介绍了通过阿里云Hologres、函数计算FC和通义千问Qwen3构建企业级数据分析Agent的解决方案。大模型在数据分析中潜力巨大，但面临实时数据接入与跨系统整合等挑战。MCP（模型上下文协议）提供标准化接口，实现AI模型与外部资源解耦。方案利用SSE模式连接，具备高实时性、良好解耦性和轻量级特性。Hologres作为高性能实时数仓，支持多源数据毫秒级接入与分析；函数计算FC以Serverless模式部署，弹性扩缩降低成本；Qwen3则具备强大的推理与多语言能力。用户可通过ModelScope的MCP Playground快速体验，结合TPC-H样例数据完成复杂查询任务。
实时数仓Hologres团队
1134 38

热门文章

最新文章

  • 1
    6.1 Spring Boot集成mybatis
  • 2
    RobotFramework实战篇-PC端web自动化demo及持续集成
  • 3
    .NET程序员项目开发必知必会—Dev环境中的集成测试用例执行时上下文环境检查（实战）
  • 4
    Flink CDC 新一代数据集成框架
  • 5
    在深度学习中，数据增强是一种常用的技术，用于通过增加训练数据的多样性来提高模型的泛化能力。`albumentations`是一个强大的Python库，用于图像增强，支持多种图像变换操作，并且可以与深度学习框架（如PyTorch、TensorFlow等）无缝集成。
  • 6
    如何使用Spring Cloud搭建高可用的Elasticsearch集群？详解Elasticsearch的安装与配置及Spring Boot集成的实现（上）
  • 7
    .net持续集成测试篇之Nunit文件断言、字符串断言及集合断言
  • 8
    持续集成及部署利器:Go
  • 9
    如何使用Spring Boot与Redis集成
  • 10
    带你读《构建企业级好数据（Dataphin智能数据建设与治理白皮书）》——（二）研发：集成、建模、发布、运维（2）
  • 1
    基于python大数据技术的医疗数据分析与研究
    488
  • 2
    如何构建企业级数据智能体：Data Agent 开发实践
    3864
  • 3
    构建企业级数据分析助手：Data Agent 开发实践
    3027
  • 4
    数据分析真能让音乐产业更好听吗？——聊聊大数据在音乐里的那些事
    477
  • 5
    通义灵码产品演示： 数据库设计与数据分析
    881
  • 6
    StarRocks Connect 2025 圆满落幕：AI Native 时代，数据分析未来已来
    686
  • 7
    HiChIP 数据分析: 差异 Loop 检测
    310
  • 8
    HiChIP 数据分析: 鉴定 Loops
    457
  • 9
    基于python大数据的水文数据分析可视化系统
    406
  • 10
    基于python大数据的用户行为数据分析系统
    1193

    • 相关课程

    更多
  • 深入理解数据分析
  • 场景实践-通过阿里云数据分析工具实现共享单车骑行分析
  • 阿里云实时数仓实战 - 项目介绍及架构设计
  • 阿里云实时数仓实战 - 数据生成及采集
  • 阿里云实时数仓实战 - 用户行为数仓搭建
  • 阿里云实时数仓实战 - 作业调度与数据可视化

    • 相关电子书

    更多
  • 实时数仓Workshop（广州站）- 李佳林
  • 阿里云实时数仓Hologres技术揭秘2.0
  • 实时数仓Hologres技术实战一本通2.0版（下）
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！