存储概览

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介:

为方便用户管理数据存储,通过提前注册数据存储,您能够享受到更多一站式流计算开发平台提供的便利性。阿里云实时计算 Flink提供包括RDS、ADS、OTS等各类数据存储系统的管理界面,让您无需跨越多种产品的管理页面。使用阿里云实时计算 Flink平台,即可让您一站式管理您的云上数据存储。

需要注意两条:

  • 实时计算数据存储功能当前仅支持同账号属主下的存储资源,即当前使用实时计算的A用户(包括A下所属的子账户)所注册的数据存储,必须是A购买的数据存储。当前不支持跨账号授权。对于不属于当前用户的资源使用,用户可以直接使用AccessId/AccessKey在DDL定义语句中直接写出。参看文章最下面的跨账号资源引用

  • 数据存储注册需要提前授权。详细步骤请您参看角色授权

存储类别

流式存储

流式存储为下游流计算提供数据驱动,同时也可以为流计算作业提供数据输出。

支持情况 输入 输出
DataHub 支持 支持
日志服务(LogHub) 支持 支持
消息队列源表 (MQ) 支持 支持

静态存储

静态存储为流计算提供了数据关联查询,同时也可以作为流计算作业数据输出。

支持情况 维表 输出
云数据库(RDS) 支持 支持
表格存储结果表(TableStore) 支持 支持

存储使用

注册的数据存储将为以下使用场景提供服务。通过提前注册数据存储,您能够享受到一站式流计算开发平台提供的便利性。需要注意的是,公共云在使用角色授权模式下,只能注册当前用户下的其他数据存储,跨属主的数据存储不能注册。例如,A用户拥有DataHub的ProjectA,但B用户希望在流计算使用ProjectA,目前流计算暂不支持这类使用情况。

注意,实际上,对于不属于当前用户的资源使用,用户可以直接用AccessId/AccessKey在DDL定义语句中直接写出,此时用户无法界面化操作数据存储,但是作业是可以直接运行的。

数据注册

您必须先注册流计算需要的的相关数据存储信息,才能够使用数据存储提供的各项功能。进入开发界面,在左侧边工具栏点击数据存储,点击(+)(添加功能的按钮),即可进入数据存储注册页面,如下图所示。

2211

再次提醒。流计算数据存储功能当前仅支持同账号属主下的存储资源,即当前使用流计算的A用户(包括A下所属的子账户),所注册的数据存储必须是A购买的数据存储。当前不支持跨账号授权。

数据预览

流计算为每个已经注册的数据存储提供了数据预览功能,点击数据存储,选择某个数据存储类型,即可预览数据。以DataHub为例。

选择数据存储-> DataHub存储-> 选择具体的Project -> 选择具体需要预览的Topic,双击即可进入查看数据存储

ssd

自动生成DDL

流计算在引用外部存储时候,需要提前对于外部存储进行声明工作。对于一个流式输入引用的声明如下。

 
 
  1. CREATE TABLE in_stream(
  2. a varchar,
  3. b varchar,
  4. c timeStamp,
  5. ) with (
  6. type='datahub',
  7. endPoint='http://dh-cn-hangzhou.aliyuncs.com',
  8. project='blink_test',
  9. topic='ip_count02',
  10. accessId='LTAIYtafPsXXXX',
  11. accessKey='gUqyVwfkK2vfJI7jF90QXXXXX'
  12. );

流计算要求声明的表字段名称与源DataHub表保持一致,类型需要根据两边的类型进行一定的转换。这类转换工作琐碎,并且容易犯错。流计算提供了辅助生成DDL功能,帮助您一键生成建表DDL语句。

在数据开发页面,进入需要编辑的作业,点开侧边栏的数据存储工具箱。

22这里选择作为输入表进行引用,点击”作为输入表引用”。此时流计算系统会在当前光标界面生成上述DDL信息。

附: 跨账号的资源引用

当前流计算界面不支持跨账号数据存储注册和使用,流计算数据存储功能当前仅支持同账号属主下的存储资源,即当前使用流计算的A用户(包括A下所属的子账户),所注册的数据存储必须是A购买的数据存储。当前不支持跨账号授权。如果您需要使用跨账号授权功能,可以考虑直接在DDL语句中手动添加外部数据引用。例如,如果用户A需要使用用户B的资源,则可以完成以下DDL定义。

 
  
  1. CREATE TABLE in_stream(
  2. a varchar,
  3. b varchar,
  4. c timeStamp,
  5. ) with (
  6. type='datahub',
  7. endPoint='http://dh-cn-hangzhou.aliyuncs.com',
  8. project='blink_test',
  9. topic='ip_count02',
  10. accessId='B用户授权的AccessId',
  11. accessKey='B用户授权的AccessKey'
  12. );
本文转自实时计算—— 存储概览
相关实践学习
实时数据及离线数据上云方案
本实验通过使用CANAL、DataHub、DataWorks、MaxCompute服务,实现数据上云,解决了数据孤岛问题,同时把数据迁移到云计算平台,对后续数据的计算和应用提供了第一步开山之路。
相关文章
|
1月前
|
消息中间件 分布式计算 DataWorks
DataWorks常见问题之查看数据地图模块总的存储大小失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1月前
|
SQL 存储 数据可视化
Dataphin常见问题之30G的内存都不够用如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
3月前
|
存储 SQL 弹性计算
Hologres V2.1版本发布,新增计算组实例构建高可用实时数仓
新增弹性计算组实例,解决实时数仓场景下分析性能、资源隔离、高可用、弹性扩缩容等核心问题,同时新增多种用户分析函数与实时湖仓Paimon格式支持,COUNT DISTINCT优化显著提升查询效率。
|
4月前
|
数据采集 DataWorks 安全
dataworks数据地图如何获取全部血缘关系?
dataworks数据地图如何获取全部血缘关系?
89 0
|
4月前
|
DataWorks 调度
DataWorks所有任务配置的元数据信息是什么?
DataWorks所有任务配置的元数据信息是什么?
29 0
|
5月前
|
SQL 分布式计算 DataWorks
DataWorks中,重新分区通常涉及到两个步骤
DataWorks中,重新分区通常涉及到两个步骤
36 2
|
5月前
|
DataWorks
DataWorks的迁移功能可以将一个空间下的业务流程迁移到另一个空间
DataWorks的迁移功能可以将一个空间下的业务流程迁移到另一个空间
86 1
|
5月前
|
存储 运维 DataWorks
DataWorks、项目空间、数据库和引擎实例之间的关系
DataWorks、项目空间、数据库和引擎实例之间的关系
40 1
|
存储 数据采集 缓存
PolarDB-X 1.0-用户指南-监控与报警-存储监控
为方便您掌握实例的运行状态,PolarDB-X提供了监控查询功能。您可以在控制台上查看目标实例、数据库、或存储节点的各项监控数据详情。本文将介绍如何在存储监控页查看PolarDB-X实例中存储节点的各项性能监控数据。
209 0
|
弹性计算 运维
快速排查问题,ECS概览页新增操作日志概览
ECS概览页新增了操作日志概览区域,可以帮助您快速了解到近3小时内您对哪些资源(如实例、安全组、磁盘等)有过操作或您有过哪些风险操作,当您的资源出现问题时可以快速定位发生时间,进行的操作等。
3896 0
快速排查问题,ECS概览页新增操作日志概览