《阿里云认证的解析与实战-数据仓库ACP认证》——功能演示一:实现AnalyticDB MySQL版弹性能力——七、导入数据并查询

简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——功能演示一:实现AnalyticDB MySQL版弹性能力——七、导入数据并查询

AnalyticDB MySQL版提供多种数据同步方案,可满足不同场景下的数据同步需求。以数据文件存储在OSS中为例,介绍如何将OSS中的数据文件导入AnalyticDB MySQL版的adb_demo数据库中并进行查询。

 

1. 前提条件

 

通过以下步骤在对象存储(Object Storage Service,简称OSS)中创建存储AnalyticDB MySQL版数据的目录。

 

开通OSS服务

创建存储空间

创建目录

上传测试数据文件

 

本示例将oss_import_test_data.txt文件上传至OSS中的bucket-name.oss-cn-hangzhou.aliyuncs.com/adb/目录,数据行分隔符为换行符,列分隔符为;,文件示例数据如下所示:

 

number;note
0001;hello_world_1
0002;hello_world_2
0003;hello_world_3
0004;hello_world_4
0005;hello_world_5
0006;hello_world_6
...

  

根据AnalyticDB MySQL版入门指南,完成创建集群、设置白名单、创建账号和数据库等准备工作。

 

2. 操作步骤

 

1) 通过CREATE TABLE,在adb_demo数据库中创建外表。

 

创建CSV、Parquet或TEXT格式OSS外表的建表语法请参见创建OSS外表语法,https://help.aliyun.com/document_detail/188324.html#section-9i5-mh8-imc

 

2) 查询OSS数据。查询外表映射表和查询AnalyticDB MySQL版内表语法没有区别,可以方便地直接进行查询,如本步骤的示例代码所示:

select uid, other from oss_import_test_external_table where uid < 100 limit 
10

 

对于数据量较大的CSV或TEXT数据文件,强烈建议您按照后续步骤导入AnalyticDB MySQL版后再做查询,否则查询性能可能会较差。

对于Parquet格式数据文件,直接查询的性能一般也比较高,可以根据需要决定是否进一步导入到AnalyticDB MySQL版后再做查询。

 

3) 通过CREATE TABLE,在adb_demo数据库中创建目标表adb_oss_import_test,存储从OSS中导入的数据。

 

CREATE TABLE IF NOT EXISTS adb_oss_import_test
(
 uid string,
 other string
)
DISTRIBUTED BY HASH(uid)


4) 执行INSERT语句将OSS数据导入AnalyticDB MySQL版。

 

方式一:执行INSERT INTO导入数据:

 

insert into adb_oss_import_test
select * from oss_import_test_external_table


方式二:执行INSERT OVERWRITE INTO导入数据:

 

insert overwrite into adb_oss_import_test
select * from oss_import_test_external_table


方式三:异步执行INSERT OVERWRITE INTO导入数据。

 

submit job insert overwrite into adb_oss_import_test
select * from oss_import_test_external_table ;


 

说明

关于异步提交任务详情请参见:

https://help.aliyun.com/document_detail/160291.htm

相关实践学习
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
运维 算法 机器人
阿里云AnalyticDB具身智能方案:破解机器人仿真数据、算力与运维之困
本文将介绍阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL推出的全托管云上仿真解决方案,方案采用云原生架构,为开发者提供从开发环境、仿真计算到数据管理的全链路支持。
|
11月前
|
存储 人工智能 关系型数据库
阿里云AnalyticDB for PostgreSQL 入选VLDB 2025:统一架构破局HTAP,Beam+Laser引擎赋能Data+AI融合新范式
在数据驱动与人工智能深度融合的时代,企业对数据仓库的需求早已超越“查得快”这一基础能力。面对传统数仓挑战,阿里云瑶池数据库AnalyticDB for PostgreSQL(简称ADB-PG)创新性地构建了统一架构下的Shared-Nothing与Shared-Storage双模融合体系,并自主研发Beam混合存储引擎与Laser向量化执行引擎,全面解决HTAP场景下性能、弹性、成本与实时性的矛盾。 近日,相关研究成果发表于在英国伦敦召开的数据库领域顶级会议 VLDB 2025,标志着中国自研云数仓技术再次登上国际舞台。
1266 1
|
10月前
|
存储 人工智能 OLAP
AI Agent越用越笨?阿里云AnalyticDB「AI上下文工程」一招破解!
AI上下文工程是优化大模型交互的系统化框架,通过管理指令、记忆、知识库等上下文要素,解决信息缺失、长度溢出与上下文失效等问题。依托AnalyticDB等技术,实现上下文的采集、存储、组装与调度,提升AI Agent的准确性与协同效率,助力企业构建高效、稳定的智能应用。
|
存储 人工智能 分布式计算
数据不用搬,AI直接炼!阿里云AnalyticDB AI数据湖仓一站式融合AI+BI
阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL版(以下简称ADB)诞生于高性能实时数仓时代,实现了PB级结构化数据的高效处理和分析。在前几年,为拥抱大数据的浪潮,ADB从传统数仓拓展到数据湖仓,支持Paimon/Iceberg/Delta Lake/Hudi湖格式,为开放的数据湖提供数据库级别的性能、可靠性和管理能力,从而更好地服务以SQL为核心的大规模数据处理和BI分析,奠定了坚实的湖仓一体基础。
|
存储 人工智能 关系型数据库
从“听指令”到“当参谋”,阿里云AnalyticDB GraphRAG如何让AI开窍
阿里云瑶池旗下的云原生数据仓库 AnalyticDB PostgreSQL 版 GraphRAG 技术,创新融合知识图谱动态推理+向量语义检索,通过实体关系映射与多跳路径优化,构建可应对复杂场景的决策引擎。本文将通过家电故障诊断和医疗预问诊两大高价值场景,解析其如何实现从“被动应答”到“主动决策”的跨越。
|
设计模式 存储 安全
【23种设计模式·全精解析 | 创建型模式篇】5种创建型模式的结构概述、实现、优缺点、扩展、使用场景、源码解析
结构型模式描述如何将类或对象按某种布局组成更大的结构。它分为类结构型模式和对象结构型模式,前者采用继承机制来组织接口和类,后者釆用组合或聚合来组合对象。由于组合关系或聚合关系比继承关系耦合度低,满足“合成复用原则”,所以对象结构型模式比类结构型模式具有更大的灵活性。 结构型模式分为以下 7 种: • 代理模式 • 适配器模式 • 装饰者模式 • 桥接模式 • 外观模式 • 组合模式 • 享元模式
959 140
【23种设计模式·全精解析 | 创建型模式篇】5种创建型模式的结构概述、实现、优缺点、扩展、使用场景、源码解析
|
算法 测试技术 C语言
深入理解HTTP/2:nghttp2库源码解析及客户端实现示例
通过解析nghttp2库的源码和实现一个简单的HTTP/2客户端示例,本文详细介绍了HTTP/2的关键特性和nghttp2的核心实现。了解这些内容可以帮助开发者更好地理解HTTP/2协议,提高Web应用的性能和用户体验。对于实际开发中的应用,可以根据需要进一步优化和扩展代码,以满足具体需求。
1593 29
|
前端开发 数据安全/隐私保护 CDN
二次元聚合短视频解析去水印系统源码
二次元聚合短视频解析去水印系统源码
643 4

热门文章

最新文章

推荐镜像

更多