创建分析型数据库(AnalyticDB)结果表

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
云原生数据仓库AnalyticDB MySQL版,基础版 8ACU 100GB 1个月
简介:

分析型数据库(AnalyticDB)

分析型数据库(AnalyticDB)是阿里巴巴自主研发的海量数据实时高并发在线分析(Realtime OLAP)云计算服务。使得您可以在毫秒级时单位时间内针对千亿级数据进行即时的多维分析透视和业务探索。分析型数据库对海量数据的自由计算和极速响应能力,能让您在瞬息之间进行灵活的数据探索,快速发现数据价值,并可直接嵌入业务系统,为终端用户提供分析服务。

DDL定义

实时计算支持使用AnalyticDB作为结果输出。示例代码如下。

 
  
  1. CREATE TABLE stream_test_hotline_agent (
  2. id INTEGER,
  3. len BIGINT,
  4. content varchar
  5. primary key(id)
  6. ) WITH (
  7. type='ads',
  8. url='jdbc:mysql:/XXXXXXX/ads_test',
  9. tableName='blink_test',
  10. userName='DXP_6XXXXXXXyun.com',
  11. password='1XXXXXX4',
  12. batchSize='500'
  13. );

注意:在声明AnalyticDB primary key时一定要和数据库里的主键一致,包括大小写也要一致。否则会出现数组索引越界的异常情况。

WITH参数

参数 注释说明 备注
url jdbc连接地址 AnalyticDB详情地址 ,例如:(jdbc:mysql://mydbname-xxxx.ads-hz.aliyuncs.com:5544/my_ads_db)
tableName 表名
username 账号
password 密码
maxRetryTimes 写入重试次数 可选,默认为10
bufferSize 去重的buffer大小 可选,默认为5000,表示输入的数据达到5000条就开始输出
batchSize 每次写的批次大小 可选,默认为1000
batchWriteTimeoutMs 写超时时间 可选,单位毫秒,默认值5000:如果数据超过了5秒,还没有往OTS写入过,就会将缓存的数据都写一次
connectionMaxActive 单连接池最大连接数 可选,默认值30
ignoreDelete 是否忽略delete操作 默认为false

注意:如果错代码是20015,则表示batchSize设置的过大。AnalyticDB单次batch不能超过1M,如果batchSize设置为1000,平均每条记录大小不能超过1Kb。您可以根据这个逻辑来合理的设置batchSize数目。

类型映射

建议使用AnalyticDB和实时计算字段类型对应关系进行DDL声明。

AnalyticDB字段类型 实时计算字段类型
boolean boolean
tinyint int
smallint int
int int
bigint bigint
double double
varchar varchar
date date
本文转自实时计算—— 创建分析型数据库(AnalyticDB)结果表
相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
8月前
|
Cloud Native OLAP OLTP
在业务处理分析一体化的背景下,开发者如何平衡OLTP和OLAP数据库的技术需求与选型?
在业务处理分析一体化的背景下,开发者如何平衡OLTP和OLAP数据库的技术需求与选型?
198 4
|
5月前
|
SQL NoSQL 关系型数据库
实时数仓Hologres发展问题之实时数仓的类数据库化与HTAP数据库的差异如何解决
实时数仓Hologres发展问题之实时数仓的类数据库化与HTAP数据库的差异如何解决
62 2
|
2月前
|
存储 SQL 缓存
AnalyticDB 实时数仓架构解析
AnalyticDB 是阿里云自研的 OLAP 数据库,广泛应用于行为分析、数据报表、金融风控等应用场景,可支持 100 trillion 行记录、10PB 量级的数据规模,亚秒级完成交互式分析查询。本文是对 《 AnalyticDB: Real-time OLAP Database System at Alibaba Cloud 》的学习总结。
72 1
|
5月前
|
关系型数据库 OLAP 分布式数据库
揭秘Polardb与OceanBase:从OLTP到OLAP,你的业务选对数据库了吗?热点技术对比,激发你的选择好奇心!
【8月更文挑战第22天】在数据库领域,阿里巴巴的Polardb与OceanBase各具特色。Polardb采用共享存储架构,分离计算与存储,适配高并发OLTP场景,如电商交易;OceanBase利用灵活的分布式架构,优化数据分布与处理,擅长OLAP分析及大规模数据管理。选择时需考量业务特性——Polardb适合事务密集型应用,而OceanBase则为数据分析提供强大支持。
1413 2
|
5月前
|
SQL 分布式计算 调度
实时数仓 Hologres操作报错合集之在与PostgreSOL数据库进行通信时出现报错,如何解决
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
5月前
|
存储 SQL 数据库
实时数仓 Hologres产品使用合集之如何查看当前数据库下的所有表和表属性
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
8月前
|
SQL 测试技术 OLAP
现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜!
现代化实时数仓 SelectDB 在时隔两年后再次完成登顶,在全部近百款数据库和数十种机型中,性能位居总榜第一!
现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜!
|
6月前
|
分布式计算 DataWorks 关系型数据库
阿里云数加-分析型数据库AnalyticDB数据导入的多样化策略
通过合理利用这些数据导入方法,用户可以充分发挥AnalyticDB的实时计算能力和高并发查询性能,为业务分析和决策提供强有力的数据支持。
|
7月前
|
存储 关系型数据库 MySQL
云原生数据仓库AnalyticDB产品使用合集之是否支持rdb数据库实时同步
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
194 4
|
7月前
|
存储 缓存 测试技术
现代化实时数仓 SelectDB 再次登顶 ClickBench 全球数据库分析性能排行榜!
近日,在 ClickHouse 发起的分析型数据库性能测试排行榜 ClickBench(https://benchmark.clickhouse.com/)中,现代化实时数仓 SelectDB 时隔两年后再次登顶,在全部近百款数据库和数十种机型中,性能表现位居总榜第一!
207 1