《阿里云认证的解析与实战-数据仓库ACP认证》——功能演示一:实现AnalyticDB MySQL版弹性能力——七、导入数据并查询

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——功能演示一:实现AnalyticDB MySQL版弹性能力——七、导入数据并查询

AnalyticDB MySQL版提供多种数据同步方案,可满足不同场景下的数据同步需求。以数据文件存储在OSS中为例,介绍如何将OSS中的数据文件导入AnalyticDB MySQL版的adb_demo数据库中并进行查询。

 

1. 前提条件

 

通过以下步骤在对象存储(Object Storage Service,简称OSS)中创建存储AnalyticDB MySQL版数据的目录。

 

开通OSS服务

创建存储空间

创建目录

上传测试数据文件

 

本示例将oss_import_test_data.txt文件上传至OSS中的bucket-name.oss-cn-hangzhou.aliyuncs.com/adb/目录,数据行分隔符为换行符,列分隔符为;,文件示例数据如下所示:

 

number;note
0001;hello_world_1
0002;hello_world_2
0003;hello_world_3
0004;hello_world_4
0005;hello_world_5
0006;hello_world_6
...

  

根据AnalyticDB MySQL版入门指南,完成创建集群、设置白名单、创建账号和数据库等准备工作。

 

2. 操作步骤

 

1) 通过CREATE TABLE,在adb_demo数据库中创建外表。

 

创建CSV、Parquet或TEXT格式OSS外表的建表语法请参见创建OSS外表语法,https://help.aliyun.com/document_detail/188324.html#section-9i5-mh8-imc

 

2) 查询OSS数据。查询外表映射表和查询AnalyticDB MySQL版内表语法没有区别,可以方便地直接进行查询,如本步骤的示例代码所示:

select uid, other from oss_import_test_external_table where uid < 100 limit 
10

 

对于数据量较大的CSV或TEXT数据文件,强烈建议您按照后续步骤导入AnalyticDB MySQL版后再做查询,否则查询性能可能会较差。

对于Parquet格式数据文件,直接查询的性能一般也比较高,可以根据需要决定是否进一步导入到AnalyticDB MySQL版后再做查询。

 

3) 通过CREATE TABLE,在adb_demo数据库中创建目标表adb_oss_import_test,存储从OSS中导入的数据。

 

CREATE TABLE IF NOT EXISTS adb_oss_import_test
(
 uid string,
 other string
)
DISTRIBUTED BY HASH(uid)


4) 执行INSERT语句将OSS数据导入AnalyticDB MySQL版。

 

方式一:执行INSERT INTO导入数据:

 

insert into adb_oss_import_test
select * from oss_import_test_external_table


方式二:执行INSERT OVERWRITE INTO导入数据:

 

insert overwrite into adb_oss_import_test
select * from oss_import_test_external_table


方式三:异步执行INSERT OVERWRITE INTO导入数据。

 

submit job insert overwrite into adb_oss_import_test
select * from oss_import_test_external_table ;


 

说明

关于异步提交任务详情请参见:

https://help.aliyun.com/document_detail/160291.htm

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
分布式计算 运维 监控
Dataphin离线数仓搭建深度测评:数据工程师的实战视角
作为一名金融行业数据工程师,我参与了阿里云Dataphin智能研发版的评测。通过《离线数仓搭建》实践,体验了其在数据治理中的核心能力。Dataphin在环境搭建、管道开发和任务管理上显著提效,如测试环境搭建从3天缩短至2小时,复杂表映射效率提升50%。产品支持全链路治理、智能提效和架构兼容,帮助企业降低40%建设成本,缩短60%需求响应周期。建议加强行业模板库和移动适配功能,进一步提升使用体验。
|
11月前
|
存储 SQL 监控
数据中台架构解析:湖仓一体的实战设计
在数据量激增的数字化时代,企业面临数据分散、使用效率低等问题。数据中台作为统一管理与应用数据的核心平台,结合湖仓一体架构,打通数据壁垒,实现高效流转与分析。本文详解湖仓一体的设计与落地实践,助力企业构建统一、灵活的数据底座,驱动业务决策与创新。
|
8月前
|
监控
新功能上线:云解析DNS-重点域名监控功能发布
新功能上线:云解析DNS-重点域名监控功能发布
|
人工智能 监控 算法
销售易CRM:功能与优势全解析
销售易CRM是国内领先的客户关系管理(CRM)系统,提供强大的销售管理、全方位客户管理、丰富的营销自动化工具、智能AI赋能及灵活的开放性平台。其功能涵盖线索获取、商机管理、客户画像、营销活动策划、智能预测等,支持企业高效管理客户、优化业务流程、提升销售效率和客户满意度。通过灵活的二次开发和API接口,销售易CRM可无缝集成企业现有系统,助力企业在数字化转型中实现业绩高质量增长。
|
弹性计算 运维 安全
优化管理与服务:操作系统控制平台的订阅功能解析
本文介绍了如何通过操作系统控制平台提升系统效率,优化资源利用。首先,通过阿里云官方平台开通服务并安装SysOM组件,体验操作系统控制平台的功能。接着,详细讲解了订阅管理功能,包括创建订阅、查看和管理ECS实例的私有YUM仓库权限。订阅私有YUM仓库能够集中管理软件包版本、提升安全性,并提供灵活的配置选项。最后总结指出,使用阿里云的订阅和私有YUM仓库功能,可以提高系统可靠性和运维效率,确保业务顺畅运行。
|
存储 前端开发 JavaScript
调用DeepSeek API增强版纯前端实现方案,支持文件上传和内容解析功能
本方案基于DeepSeek API增强版,提供纯前端实现的文件上传与内容解析功能。通过HTML和JavaScript,用户可选择文件并调用API完成上传及解析操作。方案支持多种文件格式(如PDF、TXT、DOCX),具备简化架构、提高响应速度和增强安全性等优势。示例代码展示了文件上传、内容解析及结果展示的完整流程,适合快速构建高效Web应用。开发者可根据需求扩展功能,满足多样化场景要求。
4068 64
|
12月前
|
监控 关系型数据库 MySQL
DTS实时同步进阶:MySQL到AnalyticDB毫秒级ETL管道搭建
本方案采用“Binlog解析-数据清洗-批量写入”三级流水线架构,实现MySQL到AnalyticDB的高效同步。通过状态机解析、内存格式转换与向量化写入技术,保障毫秒级延迟(P99&lt;300ms)、50万+ TPS吞吐及99.99%数据一致性,支持高并发、低延迟的数据实时处理场景。
356 10
|
供应链 监控 搜索推荐
反向海淘代购独立站:功能解析与搭建指南
“反向海淘”指海外消费者购买中国商品的现象,体现了中国制造的创新与强大。国产商品凭借高性价比和丰富功能,在全球市场备受欢迎。跨境电商平台的兴起为“反向海淘”提供了桥梁,而独立站因其自主权和品牌溢价能力逐渐成为趋势。一个成功的反向海淘代购独立站需具备多语言支持、多币种支付、物流跟踪、商品展示、购物车管理等功能,并通过SEO优化、社交媒体营销等手段提升运营效果。这不仅助力中国企业开拓海外市场,还推动了品牌全球化进程。
430 19
|
SQL 缓存 数据处理
数据无界、湖仓无界,Apache Doris 湖仓一体典型场景实战指南(下篇)
Apache Doris 提出“数据无界”和“湖仓无界”理念,提供高效的数据管理方案。本文聚焦三个典型应用场景:湖仓分析加速、多源联邦分析、湖仓数据处理,深入介绍 Apache Doris 的最佳实践,帮助企业快速响应业务需求,提升数据处理和分析效率
913 3
数据无界、湖仓无界,Apache Doris 湖仓一体典型场景实战指南(下篇)

热门文章

最新文章

推荐镜像

更多