表格存储
表格存储(Table Store,简称OTS)是构建在阿里云飞天分布式系统之上的分布式NoSQL数据存储服务。根据99.99%的高可用以及11个9的数据可靠性的标准设计。表格存储通过数据分片和负载均衡技术,实现数据规模与访问并发上的无缝扩展。提供海量结构化数据的存储和实时访问服务。
DDL定义
实时计算 Flink支持使用TableStore作为结果输出,示例代码如下。
CREATE TABLE stream_test_hotline_agent (name varchar,age BIGINT,birthday BIGINT,primary key(name,age)) WITH (type='ots',instanceName='bliXXXXst',tableName='users2',accessId='LTXXXXXXz48ke',accessKey='prc1bXXXXXXX6oPZd9gidXDY',endPoint='http://XXXXXXXXou.ots.aliyuncs.com',valueColumns='biXXXXay');
注意:
- 推荐使用数据存储功能,参见表格存储。
- valueColumns的值不能是声明的主键,可以是主键之外的任意字段。
WITH参数
| 参数 | 注释说明 | 备注 |
|---|---|---|
| instanceName | 实例名 | 无 |
| tableName | 表名 | 无 |
| endPoint | 实例访问地址 | 参见 OTS的Endpoint地址 。 |
| accessId | 访问的id | 无 |
| accessKey | 访问的键 | 无 |
| valueColumns | 指定插入的字段列名,多个以逗号分割。 | 例如,’ID,NAME’。 |
| bufferSize | 去重的buffer大小 | 可选,默认值5000,表示输入的数据达到5000条就开始输出。 |
| batchWriteTimeoutMs | 写超时时间 | 可选,单位毫秒,默认值5000,表示数据超过了5秒,还没有往ots写过,就会将缓存的数据都写一次。 |
| batchSize | 每次写的批次大小 | 可选,默认值100 |
| retryIntervalMs | 重试间隔时间 | 可选,单位毫秒,默认值1000 |
| maxRetryTimes | 最大重试次数 | 可选,默认值100 |
| ignoreDelete | 是否忽略delete操作 | 默认为false |
类型映射
| OTS字段类型 | 实时计算字段类型 |
|---|---|
| integer | bigint |
| string | varchar |
| boolean | boolean |
| double | double |
注意:
- TableStore结果表须定义有PrimaryKey,输出数据以Update方式追加到现有TableStore表。
- 关于TableStore 访问控制,请参见TableStore 访问控制。
本文转自实时计算——
创建表格存储(Table Store)结果表