Notebook支持归档查询、多表数据分析

简介: DMS Notebook支持查询OSS、专属存储及托管数据库的归档数据,替代原逻辑数仓功能。操作三步:创建工作空间并开通资源→创建Notebook文件与会话(需授权OSS)→用SQL/Python执行跨源查询与分析。(239字)

Dms的Notebook支持查询归档到 专属存储、Oss存储的数据查询,以及数据库实例的数据查询(原逻辑数仓里查询归档数据,后续下线之后,可以通过Notebook来查归档的数据)

开始Notebook的数据分析查询,大致有这几个步骤

  1. 创建工作空间,开通Notebook资源
  2. Notebook查询: sql、python
  3. 分析数据

创建工作空间

进入dms首页,找到 【快捷菜单】 -> 【工作空间】

创建完之后,点击工作空间名称进入工作空间

创建Notebook文件

进入工作空间之后,整个工作空间的布局是个常见的编辑器布局,快速创建一个Notebook文件

创建Notebook会话

这里需要注意,在配置 保存之后,会出现一个授权按钮,根据提示授权oss,之后工作空间的notebook就可以访问这个oss的数据了

执行notebook查询

在完成notebook会话的创建之后,就可以正式查询数据了

查询oss归档的数据

如上挂载的oss,在授权了oss的权限之后,通过notebook里的sql cell 就可以完成数据查询了

查询的路径除了使用挂载路径, 还可以直接使用oss://${bucket}/xxxx 的方式(前提还是需要授权oss给当前这个工作空间):

这样就能查询归档到oss里的数据了。

上面的这个oss路径如何获取呢?可以在归档页面上直接复制到一段:

复制的是一个相对路径,需要根据挂载情况、或者 oss bucket的路径 拼接,拼接之后即可查询

查询dms托管的实例数据

要查询托管在dms的数据库实例,需要先将实例添加到工作空间:

然后在notebook文件中加入查询sql的cell:

在更复杂的情况下,需要查询多个实例、db的数据并做交叉计算,这种情况在notebook里和可以比较轻松的实现:

你可以选择用python代码、或者duckdb的sql来处理异构数据源的数据

查询专属存储归档的数据

专属存储的归档数据当前还不能直接查询,等归档里的专属存储迁移上线之后,迁移工具可将归档的数据迁移到您的私有oss中:

之后的查询,和oss归档数据查询类似,参考上面的章节。

目录
相关文章
|
SQL 存储 数据可视化
Ganos H3地理网格能力解析与最佳实践
本文介绍了Ganos H3的相关功能,帮助读者快速了解Ganos地理网格的重要特性与应用实践。H3是Uber研发的一种覆盖全球表面的二维地理网格,采用了一种全球统一的、多层次的六边形网格体系来表示地球表面,这种地理网格技术在诸多业务场景中得到广泛应用。Ganos不仅提供了H3网格的全套功能,还支持与其它Ganos时空数据类型进行跨模联合分析,极大程度提升了客户对于时空数据的挖掘分析能力。
|
SQL 自然语言处理 数据库
告别切屏|阿里云DMS MCP+通义灵码30分钟搞定电商秒杀开发
近日,阿里云数据管理DMS发布 开源DMS MCP Server,支持RDS、PolarDB、OLAP、NoSQL等40+主流数据源连接的多云通用数据MCP Server,一站式解决跨源数据安全访问。点击访问开源DMS MCP Server GitHub地址:https://github.com/aliyun/alibabacloud-dms-mcp-server
1119 0
|
机器学习/深度学习 人工智能 自然语言处理
构建企业级数据分析助手:Data Agent 开发实践
本篇将介绍DMS的一款数据分析智能体(Data Agent for Analytics )产品的技术思考和实践。Data Agent for Analytics 定位为一款企业级数据分析智能体, 基于Agentic AI 技术,帮助用户查数据、做分析、生成报告、深入洞察。由于不同产品的演进路径,背景都不一样,所以只介绍最核心的部分,来深入剖析如何构建企业级数据分析助手:能力边界定义,技术内核,企业级能力。希望既能作为Data Agent for Analytics产品的技术核心介绍,也能作为读者的开发实践的参考。
3112 3
构建企业级数据分析助手:Data Agent 开发实践
|
11月前
|
JSON Go iOS开发
企业微信iPad协议演进:从私有二进制到可扩展接口
企业微信iPad端协议演进:从封闭二进制到mmtls加密与OAuth2令牌体系,融合TLV结构、双工长连接及JSON回调,实现合规化与开放性统一。(239字)
746 3
|
存储 对象存储
【阿里云OSS】You have no right to access this object because of bucket acl.
【阿里云OSS】You have no right to access this object because of bucket acl.
22268 1
【阿里云OSS】You have no right to access this object because of bucket acl.
|
弹性计算 关系型数据库 分布式数据库
PolarDB 开源部署体验评测
PolarDB开源部署方式全解读,带你全方位了解PolarDB部署的那些事。
29220 12
|
SQL 监控 关系型数据库
RDS怎么查看存储空间的详细使用情况?
RDS怎么查看存储空间的详细使用情况?
RDS怎么查看存储空间的详细使用情况?
mac 终端命令kill掉某个指定端口
用mac电脑开发时,有时候会遇到端口占用的问题,导致我们,不得不去结束这个端口。 第一步在终端命令输入: lsof  -i : 端口号(如:lsof -i:8080) 第二步: kill -9 PID (如:kill -9 41848) 如果这个端口存在会出现如上列表,圈红框的那些pid号我们只需要使用 kill -9  PID (圈红框的编号:如:kill -9 41848)就可以结束这个端口进程了!如有多个pid就就需要多次执行kill -9 PID 相同的PID只需要执行一次就可以了。
8670 0
|
SQL JSON NoSQL
阿里云DTS踩坑经验分享系列|链路内ETL使用手册
DTS是一个数据迁移和同步服务,通常用于数据搬迁或实时数据传输。DTS在数据同步链路基础上,提供流式数据ETL数据处理功能,支持使用DSL(Domain Specific Language)脚本语言灵活地定义数据处理逻辑。
95546 3

热门文章

最新文章