DataWorks 数据服务 + BI 可视化分析报表 (搭建战报)

本文涉及的产品
大数据开发治理平台DataWorks,资源组抵扣包 750CU*H
简介: DataWorks 数据服务提供强大的数据 API 能力,并能与多种业界流行的 BI 报表 (DataV、QuickBI、PowerBI和Grafana) 结合,使用 API 数据源的好处是统一数据接口、统一权限管理、统一数据交换以及数据服务提供强大的各式各样的插件能力 (如缓存插件、流量控制插件、日志脱敏插件、断路器插件、IP访问控制插件、三方鉴权插件等),下文介绍各热门 BI 工具接入 DataWorks 数据服务的操作方式。

前言


DataWorks 数据服务提供强大的数据 API 能力,并能与多种业界流行的 BI 报表结合,使用 API 数据源的好处是统一数据接口、统一权限管理、统一数据交换以及数据服务提供强大的各式各样的插件能力 (如缓存插件、流量控制插件、日志脱敏插件、断路器插件、IP访问控制插件、三方鉴权插件等),下文介绍各热门 BI 工具接入 DataWorks 数据服务的操作方式。


DataV


DataV 已很好地支持 DataWorks 数据服务,能透过下拉框的方式选用已上线 API,且还封装了 API 的 AK。


创建 API


进入 DataWorks 数据服务选用数据引擎、撰写 SQL 并上线一个 API。



创建数据源


进入工作台,于左侧选择数据源、新建数据源,于右侧数据源类型选择 DataWorks 数据服务,进行添加。



搭建报表


进去 DataV 开发报表,从左侧组件库拖拽图型后,对此图型选用我们上述添加的 DataWorks 数据服务的数据源及新增加的 API。




API 参数可使用全局变量 (使用冒号: 呼出全局变量),并用选择器改变全局变量来变化 API 参数,可详见此操作视频介绍。



比较需要注意的是设定过滤器的部份,因为 API 出来的格式是固定的,BI 报表上不一样的图表需要的格式却不一定,我们需要用过滤器将格式整理一下。每个组件会附上查看示例的内容,如折线图的格式为 { "x", "y", "colorField"}。



我们新建一个过滤器将 API 返回的 data 字段转成 { "x", "y", "colorField"} 格式。



整理好格式后,DataWorks 数据服务的接口数据就能放到 DataV 上,并能快速地使用上 DataV 提供的能力。



Quick BI


Quick BI 支持透过 HTTP API 创建数据源,可参考此篇文章


创建 API


数据服务建立脚本 API,这边以统计 Hologres 慢 Query 的 SQL 为例,建立后,测试、提交并发布。


SELECT  usename
        ,status
        ,query_id
        ,datname
        ,command_tag
        ,duration
        ,message
        ,query_start
        ,query_date
        ,query
FROM    hologres.hg_query_log
WHERE   query_start >= '${date_start}'
AND     query_start < '${date_end}'
AND     duration > 500
LIMIT   200
;


创建数据源




Quick BI 连接 API 方式支持抽取 (手动或周期性定时更新数据) 或直连 (支持开启短效缓存,缓存时间可以选择5分钟、10分钟、30分钟),但 DataWorks 数据服务 API 也支持缓存插件,可看场景弹性使用。将数据服务 API 贴入以下表单,建立数据源,日期参数可参考此文章



日期参数变量填入 ${yyyyMMdd} 格式。






创建好数据源后,创建数据集。






从数据集创建数据大屏。



基于数据集使用长条图展示内容。



发布并分享。





Power BI


创建 API


数据服务建立脚本 API,这边以统计 Hologres 慢 Query 的 SQL 为例,建立后,测试、提交并发布。


SELECT  usename
        ,status
        ,query_id
        ,datname
        ,command_tag
        ,duration
        ,message
        ,query_start
        ,query_date
        ,query
FROM    hologres.hg_query_log
WHERE   query_start >= '${date_start}'
AND     query_start < '${date_end}'
AND     duration > 500
LIMIT   200
;

创建数据源


打开 Power BI 后选建立仓库。



选择获取数据及新建数据管道。



选择 Http 数据源,首先填入 Base URL,Base URL 填入数据服务 API 发布 URL 的 Domain 部份,如 http://xxxx-cn-shanghai.alicloudapi.com/




下一步填入 Relative URL,把剩下的 URL 与参数填入,如我们发布的 API URL 为 http://xxxx-cn-shanghai.alicloudapi.com/test_path/321/testholoslow?appcode=xxx&date_start=20240722&date_end=20240724,这边就填入 test_path/321/testholoslow?appcode=xxx&date_start=20240722&date_end=20240724。其他页眉的输入格式为 key: value,如果 Http Header 的需要可在输入框填入。



下一步预览数据,文件格式选择 JSON。



预览数据后,我们选择将数据新建一张表 (dbo.HttpServerFile)。




开始同步数据到新表。



下图为数据同步完成。



可在仓库中查看新表的数据。



上述使用的开始时间与结束时间的值为静态值,如果要使用调度每天更新数据,可以修改使用变量值,变量值的语法可参考。如下图,修改 Relative URL 的内容为 test_path/321/testholoslow?appcode=xxx&date_start=@{utcnow('yyyyMMdd')}&date_end=@{utcnow('yyyyMMdd')},这样就能使用当天做为参数值。



设定数据管道的调度计划后,就能每天定时同步数据到表里。



接著我们在仓库里,针对这张新表建立报告。



选用 data.duration 及 data.query_date 使用柱状图,data.duration 使用计数函数,就能建立每日 Hologres 慢 Query 的数量。



保存后即可分享此报告。



Grafana

创建 API


数据服务建立脚本 API,这边以统计 Hologres 慢 Query 的 SQL 为例,建立后,测试、提交并发布。


SELECT  usename
        ,status
        ,query_id
        ,datname
        ,command_tag
        ,duration
        ,message
        ,query_start
        ,query_date
        ,query
FROM    hologres.hg_query_log
WHERE   query_start >= '${date_start}'
AND     query_start < '${date_end}'
AND     duration > 500
LIMIT   200
;


创建数据源


阿里云 Grafana 控制台新建一个 Grafana 服务 (以下例子使用的是专家版 10U),建立且运行成功后,进入 Grafana 页面。到新建连接的页面,搜索 JSON API 数据源类型并新增此数据源 (最新版是推荐使用 Infinity 类型)。





输入数据服务 API URL,只需输入到网关路径即可,例如 http://domain.com/a/api 的 API 路径,这边我们只需要输入 http://domain.com/a



在这边输入数据服务 API 的 AppCode 至请求的表头里,如果 AppCode 为 1234,其 Value 就输入 APPCODE 1234。




建立好后,点击建立仪表板。



仪表板的部份,首先设定 Fields (格式参考),如下图,我们取 API 返回的 duration 与 query_start 字段,并设定别名为 Duration 与 Date。


$.data[*].duration
$.data[*].query_start



在 Path Tab 设定实际打的 API Path,前缀已经在数据源设定。



在 Params Tab 设定 date_start 与 date_end 的变量参数 (变量格式参考)。


date_start => ${__from:date:YYYYMMDD}
date_end => ${__to:date:YYYYMMDD}



在 Experimental 的 Tab 设定 Group By Date 与 Metric Duration。



在 Transform 的部份设定下 Duration 的值类型。



图型选 Bar gauge



设定标题



使用 Count 做为值



设定最大最小值,这个会决定图型热力颜色。



效果如下图,保存后,发布。



即可获得监控 Hologres 慢 Query 的仪表板。




参考

https://help.aliyun.com/datav/datav-6-0/user-guide/add-a-dataworks-data-source

https://help.aliyun.com/zh/quick-bi/user-guide/create-an-api-data-source

https://grafana.com/blog/2023/08/30/grafana-json-api-how-to-import-third-party-data-sources-in-grafana-cloud/


相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
目录
相关文章
|
4月前
|
BI 数据安全/隐私保护
Dataphin功能Tips系列(69)数据资产如何快捷对接Qucik BI进行分析消费
QuickBI与Dataphin集成,实现数据权限统一管理,简化用户从权限申请到仪表板创建的流程,提升数据消费效率,保障数据安全,加速数据价值转化。
160 8
|
5月前
|
SQL DataWorks 关系型数据库
DataWorks+Hologres:打造企业级实时数仓与高效OLAP分析平台
本方案基于阿里云DataWorks与实时数仓Hologres,实现数据库RDS数据实时同步至Hologres,并通过Hologres高性能OLAP分析能力,完成一站式实时数据分析。DataWorks提供全链路数据集成与治理,Hologres支持实时写入与极速查询,二者深度融合构建离在线一体化数仓,助力企业加速数字化升级。
|
6月前
|
SQL 存储 人工智能
Quick BI V5.5上线:AI赋能全场景提效,分析决策 “快、准、稳”!
Quick BI 5.5版本应运而生,围绕"AI赋能+全场景提效",助力企业加速释放数据价值。此次升级,不仅让复杂分析"开箱即用",更通过智能工具与场景化能力,助力企业实现从数据洞察到决策落地的全流程闭环。
Quick BI V5.5上线:AI赋能全场景提效,分析决策 “快、准、稳”!
|
8月前
|
人工智能 自然语言处理 DataWorks
DataWorks Copilot 集成Qwen3-235B-A22B混合推理模型,数据开发与分析效率再升级!
阿里云DataWorks平台正式接入Qwen3模型,支持最大235B参数量。用户可通过DataWorks Copilot智能助手调用该模型,以自然语言交互实现代码生成、优化、解释及纠错等功能,大幅提升数据开发与分析效率。Qwen3作为最新一代大语言模型,具备混合专家(MoE)和稠密(Dense)架构,适应多种应用场景,并支持MCP协议优化复杂任务处理。目前,用户可通过DataWorks Data Studio新版本体验此功能。
606 23
DataWorks Copilot 集成Qwen3-235B-A22B混合推理模型,数据开发与分析效率再升级!
|
8月前
|
人工智能 自然语言处理 DataWorks
Qwen3 X DataWorks :为数据开发与分析加满Buff !
阿里云DataWorks平台正式接入Qwen3模型,支持最大235B参数量。用户可通过DataWorks Copilot智能助手调用该模型,以自然语言交互实现代码生成、优化、解释及纠错等功能,大幅提升数据开发与分析效率。Qwen3作为最新一代大语言模型,具备混合专家(MoE)和稠密(Dense)架构,适应多种应用场景,并支持MCP协议优化复杂任务处理。目前,用户可通过DataWorks Data Studio新版本体验此功能。
406 27
|
11月前
|
SQL 分布式计算 DataWorks
活动实践 | DataWorks智能交互式数据开发与分析之旅
本指南介绍了如何使用阿里云平台进行大数据开发与分析。首先,在MaxCompute控制台创建项目并配置计算资源;接着,通过DataWorks控制台创建工作空间和独享资源组,并绑定工作空间。然后,创建个人开发环境,载入案例并新建Notebook实例。在Notebook中,通过SQL和Python Cell进行交互式开发和数据分析,体验智能助手Copilot的功能,如SQL改写、解释、生成注释及智能建表。最后,清理所有创建的资源,包括删除DataWorks资源、MaxCompute项目及网络配置,确保环境整洁。
|
9月前
|
人工智能 自然语言处理 数据可视化
大模型+BI:一场关乎企业未来生死的数据智能卡位战 | 【瓴羊数据荟】数据MeetUp第四期
随着大模型技术突破,全球企业迎来数据智能革命。Gartner预测,到2027年,中国80%的企业将采用多模型生成式AI策略。然而,数据孤岛与高门槛仍阻碍价值释放。
351 8
大模型+BI:一场关乎企业未来生死的数据智能卡位战 | 【瓴羊数据荟】数据MeetUp第四期
|
9月前
|
数据可视化 数据挖掘 BI
|
9月前
|
数据可视化 数据挖掘 BI
Quick BI 深度体验:数据洞察,触手可及——打造智能零售分析利器
作为一名数据分析师,我深度体验了阿里云Quick BI。这是一款功能强大的全场景BI平台,支持多数据源接入与智能分析,操作简单且智能化程度高。通过上传Excel文件即可快速生成数据集,并利用丰富图表进行可视化分析。其“智能小Q助手”可对话式查询数据、自动生成报表,极大降低分析门槛。尽管新手引导和移动端体验尚有优化空间,但Quick BI无疑是企业实现数据驱动决策的有力工具。强烈推荐给希望提升业务竞争力的企业!

热门文章

最新文章

相关产品

  • 大数据开发治理平台 DataWorks