基于星轨-数据中台工具的数据盘点

本文涉及的产品
云服务器 ECS,每月免费额度200元 3个月
云服务器ECS,u1 2核4GB 1个月
简介: 本场景带您体验如何通过星轨-数据中台工具进行业务系统数据库盘点,产出系统清单、表清单和字段清单。

基于星轨-数据中台工具的数据盘点

1. 创建实验资源

开始实验之前,您需要先创建实验相关资源。

  1. 在实验室页面,单击创建资源
  2. (可选)在实验室页面左侧导航栏中,单击云产品资源列表,可查看本次实验资源相关信息(例如IP地址、用户信息等)。

说明:资源创建过程需要3~5分钟。


2. 登录火眼数据中台管理系统

本步骤指导您如何登录火眼数据中台管理系统。

说明:本实验环境已提前预装火眼工具,您可直接使用。

  1. 您的本机浏览器中打开新页签,在地址栏中输入并访问http://<ECS公网地址>

说明:您需要将<ECS公网地址>替换为云产品列表中的ECS公网地址。

  1. 火眼数据中台管理系统登录页面,依次输入用户名admin密码dmadt@gts验证码,然后单击登录


3. 配置RDS for MySQL数据源

本步骤指导您如何在火眼数据中台管理系统中将RDS for MySQL数据源配置到火眼中。

1.在左侧导航栏中,选择配置管理>源端数据源

2.在源端数据源管理页面,单击新增

3.在添加数据源对话框中,参考如下说明配置数据库信息,然后单击测试链接

  • 数据源类型:选择数据库,MySQL。
  • 数据源名称:自定义数据源名称,例如test
  • 数据源链接URL:数据源链接URL的语法格式为host:port/dbname。在本实验中,host填写云产品资源列表中的Rds链接地址,port填写3306,dbname填写云产品资源列表中的数据库名称
  • 数据库登录名:在本实验中,填写云产品资源列表中的数据库登录账号名称
  • 数据库密码:在本实验中,填写云产品资源列表中的数据库账号登录密码
  • 模块名称:模块名称默认为全部选中。本实验只涉及数据盘点,其他模块在后续实验中完成。

4.在添加数据源对话框中,上方出现测试链接成功提示后,单击确定

返回如下页面,您可以查看到新添加的数据源。


4. 数据盘点

本步骤指导您如何在火眼数据中台管理系统对业务数据库进行数据盘点。

  1. 查看与确认系统清单。

在左侧导航栏中,选择数据盘点>系统清单

返回如下页面,您可在系统清单中查看到新添加的数据源。

  1. 一键数据盘点。

2.1 在左侧导航栏中,选择数据盘点>数据盘点

2.2 在数据盘点页面,找到您新添加的数据源,单击右侧操作列下的一键数据盘点

2.3 在警告对话框中,单击确定

返回如下页面, 在数据盘点页面上方,出现开始盘点的提示,请您稍等片刻。

2.4 在数据盘点页面,等待大约20秒,刷新页面,当盘点状态为已完成时,表示您已成功完成盘点。

  1. 表清单导出与查看。

3.1 在数据盘点页面,找到您添加的数据源,单击右侧导出列下的表清单

3.2 下载完成后,双击打开下载文件。您可在本地中查看到数据表清单。

3.3 在左侧导航栏中,选择数据盘点>数据表清单

返回如下页面,您可在火眼数据中台系统查看到数据表清单。

  1. 字段清单导出与查看。

4.1 在左侧控制台中,选择数据盘点>数据盘点

4.2 在数据盘点页面,找到您添加的数据源,单击右侧导出列下的字段清单

4.3 下载完成后,双击打开下载文件。您可在本地中查看到字段清单。

4.4 在左侧导航栏中,选择数据盘点>字段清单

返回如下页面,您可在火眼数据中台系统查看到字段清单。

实验链接:https://developer.aliyun.com/adc/scenario/5ef927f3cb594106a7fc1247d879169a

相关实践学习
使用CLup和iSCSI共享盘快速体验PolarDB for PostgtreSQL
在Clup云管控平台中快速体验创建与管理在iSCSI共享盘上的PolarDB for PostgtreSQL。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
5天前
|
机器学习/深度学习 存储 人工智能
为什么AI处理私有数据,需要使用向量数据库
大语言模型通过概率和向量数据库查询来生成高质量内容,当预测概率低于阈值时,利用相似性从本地数据中获取信息,向量数据库通过向量化、表示、查询、搜索和解码等步骤,帮助模型处理未知数据。
|
5天前
|
Cloud Native 关系型数据库 MySQL
云原生数据仓库产品使用合集之在ADB中,如何将源数据的多表(数据结构一致)汇总到一张表
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
|
5天前
|
数据采集 存储 人工智能
【AI大模型应用开发】【LangChain系列】实战案例4:再战RAG问答,提取在线网页数据,并返回生成答案的来源
【AI大模型应用开发】【LangChain系列】实战案例4:再战RAG问答,提取在线网页数据,并返回生成答案的来源
68 0
|
5天前
|
关系型数据库 MySQL OLAP
PolarDB +AnalyticDB Zero-ETL :免费同步数据到ADB,享受数据流通新体验
Zero-ETL是阿里云瑶池数据库提供的服务,旨在简化传统ETL流程的复杂性和成本,提高数据实时性。降低数据同步成本,允许用户快速在AnalyticDB中对PolarDB数据进行分析,降低了30%的数据接入成本,提升了60%的建仓效率。 Zero-ETL特性包括免费的PolarDB MySQL联邦分析和PolarDB-X元数据自动同步,提供一体化的事务处理和数据分析,并能整合多个数据源。用户只需简单配置即可实现数据同步和实时分析。
|
5天前
|
存储 分布式计算 API
adb spark的lakehouse api访问内表数据,还支持算子下推吗
【2月更文挑战第21天】adb spark的lakehouse api访问内表数据,还支持算子下推吗
108 2
|
7月前
|
存储 Java 数据库连接
云数据仓库ADB不管是jdbc写入或者dts同步,均会存在丢数据的情况?
云数据仓库ADB不知道是不是磁盘出问题了不管是jdbc写入或者dts同步,均会存在丢数据的情况?
57 2
|
5天前
|
SQL 分布式计算 关系型数据库
Dataphin实现MaxCompute外表数据快速批量同步至ADB MySQL
当前大数据时代背景下,企业对数据的处理、分析和实时应用的需求日益增强。阿里云MaxCompute广泛应用于海量数据的ETL、数据分析等场景,但在将处理后的数据进一步同步至在线数据库系统,如ADB MySQL 3.0(阿里云自研的新一代云原生关系型数据库MySQL版)以支持实时查询、业务决策等需求时,可能会遇到数据迁移速度缓慢的问题。 DataphinV3.14版本支持外表导入SQL的带参调度,实现通过MaxCompute外表的方式将数据批量同步至ADB MySQL 3.0中,显著提升数据迁移的速度和效率。
301 1
|
5天前
|
SQL 人工智能 NoSQL
向量数据库测试写入查看数据
向量数据库测试写入查看数据
104 0
|
5天前
|
Cloud Native 关系型数据库 MySQL
云数据仓库ADB如何更新、删除和导入AnalyticDBMySQL数据-更新数据?
云数据仓库ADB如何更新、删除和导入AnalyticDBMySQL数据-更新数据?
88 0
|
5天前
|
Cloud Native 关系型数据库 MySQL
云数据仓库ADB问一下,数据批量导入失败的有地方导出吗?
云数据仓库ADB问一下,数据批量导入失败的有地方导出吗?
40 0