Notebook支持归档查询、多表数据分析

简介: DMS Notebook支持查询OSS、专属存储及托管数据库的归档数据,替代原逻辑数仓功能。操作三步:创建工作空间并开通资源→创建Notebook文件与会话(需授权OSS)→用SQL/Python执行跨源查询与分析。(239字)

Dms的Notebook支持查询归档到 专属存储、Oss存储的数据查询,以及数据库实例的数据查询(原逻辑数仓里查询归档数据,后续下线之后,可以通过Notebook来查归档的数据)

开始Notebook的数据分析查询,大致有这几个步骤

  1. 创建工作空间,开通Notebook资源
  2. Notebook查询: sql、python
  3. 分析数据

创建工作空间

进入dms首页,找到 【快捷菜单】 -> 【工作空间】

创建完之后,点击工作空间名称进入工作空间

创建Notebook文件

进入工作空间之后,整个工作空间的布局是个常见的编辑器布局,快速创建一个Notebook文件

创建Notebook会话

这里需要注意,在配置 保存之后,会出现一个授权按钮,根据提示授权oss,之后工作空间的notebook就可以访问这个oss的数据了

执行notebook查询

在完成notebook会话的创建之后,就可以正式查询数据了

查询oss归档的数据

如上挂载的oss,在授权了oss的权限之后,通过notebook里的sql cell 就可以完成数据查询了

查询的路径除了使用挂载路径, 还可以直接使用oss://${bucket}/xxxx 的方式(前提还是需要授权oss给当前这个工作空间):

这样就能查询归档到oss里的数据了。

上面的这个oss路径如何获取呢?可以在归档页面上直接复制到一段:

复制的是一个相对路径,需要根据挂载情况、或者 oss bucket的路径 拼接,拼接之后即可查询

查询dms托管的实例数据

要查询托管在dms的数据库实例,需要先将实例添加到工作空间:

然后在notebook文件中加入查询sql的cell:

在更复杂的情况下,需要查询多个实例、db的数据并做交叉计算,这种情况在notebook里和可以比较轻松的实现:

你可以选择用python代码、或者duckdb的sql来处理异构数据源的数据

查询专属存储归档的数据

专属存储的归档数据当前还不能直接查询,等归档里的专属存储迁移上线之后,迁移工具可将归档的数据迁移到您的私有oss中:

之后的查询,和oss归档数据查询类似,参考上面的章节。

目录
相关文章
|
4月前
|
人工智能 弹性计算 API
什么是 AlibabaCloud Agent Toolkit
Alibaba Cloud Agent Toolkit 是面向AI Agent的阿里云智能工具套件,集成OpenAPI、Terraform、CLI与文档能力,提供MCP插件、场景化Skills及执行审计机制,助AI准确查API、生成代码、规划架构、校验部署,实现安全、可靠、可追溯的云上智能运维。
3335 2
|
SQL 自然语言处理 数据库
告别切屏|阿里云DMS MCP+通义灵码30分钟搞定电商秒杀开发
近日,阿里云数据管理DMS发布 开源DMS MCP Server,支持RDS、PolarDB、OLAP、NoSQL等40+主流数据源连接的多云通用数据MCP Server,一站式解决跨源数据安全访问。点击访问开源DMS MCP Server GitHub地址:https://github.com/aliyun/alibabacloud-dms-mcp-server
1223 0
|
机器学习/深度学习 人工智能 自然语言处理
构建企业级数据分析助手:Data Agent 开发实践
本篇将介绍DMS的一款数据分析智能体(Data Agent for Analytics )产品的技术思考和实践。Data Agent for Analytics 定位为一款企业级数据分析智能体, 基于Agentic AI 技术,帮助用户查数据、做分析、生成报告、深入洞察。由于不同产品的演进路径,背景都不一样,所以只介绍最核心的部分,来深入剖析如何构建企业级数据分析助手:能力边界定义,技术内核,企业级能力。希望既能作为Data Agent for Analytics产品的技术核心介绍,也能作为读者的开发实践的参考。
3350 4
构建企业级数据分析助手:Data Agent 开发实践
|
JSON Go iOS开发
企业微信iPad协议演进:从私有二进制到可扩展接口
企业微信iPad端协议演进:从封闭二进制到mmtls加密与OAuth2令牌体系,融合TLV结构、双工长连接及JSON回调,实现合规化与开放性统一。(239字)
851 3
|
缓存 NoSQL Redis
【Azure Redis 缓存】Redission客户端连接Azure:客户端出现 Unable to send PING command over channel
【Azure Redis 缓存】Redission客户端连接Azure:客户端出现 Unable to send PING command over channel
1552 3
|
存储 对象存储
【阿里云OSS】You have no right to access this object because of bucket acl.
【阿里云OSS】You have no right to access this object because of bucket acl.
22504 1
【阿里云OSS】You have no right to access this object because of bucket acl.
|
机器学习/深度学习 算法 搜索推荐
机器学习“捷径”:自动特征工程全面解析
​ 在机器学习项目中,特征工程是影响模型性能的关键步骤。它通过从原始数据中提取出更有用的特征,帮助模型更好地捕捉数据中的模式。然而,传统的特征工程过程往往需要大量的领域知识和实验调整,是一项耗时费力的工作。 近年来,自动特征工程(Automated Feature Engineering)技术的兴起,为这一问题提供了新的解决方案。它旨在通过自动化方法从数据中生成和选择最优特征,使得特征工程过程更加高效。本文将详细介绍自动特征工程的基本概念、常用技术、工具,并通过代码示例展示其实际应用。
|
弹性计算 关系型数据库 分布式数据库
PolarDB 开源部署体验评测
PolarDB开源部署方式全解读,带你全方位了解PolarDB部署的那些事。
29282 12
|
SQL 监控 关系型数据库
RDS怎么查看存储空间的详细使用情况?
RDS怎么查看存储空间的详细使用情况?
RDS怎么查看存储空间的详细使用情况?

热门文章

最新文章