
暂无个人介绍
目前不支持回滚
跟普通的insert一样,有重复数据就会报错主键冲突。可以执行。CALL set_table_property('tablename', 'datahub_sync_mode', 'dts');保持跟上游一样reply,详情见datahub写入文档。
datahub写入Hologres不支持默认值
serial类型写入会有一定的性能损失,目前在优化中。
不可以,对于Hologres来说,收到delete SQL肯定就是执行delete,收到update就是执行update,没法把delete变成insert。
Could not find partition table for partition value
报错原因:没有自动创建分区及路由到对应分区的参数 解决办法:设置createparttable='true'参数
现在暂不支持mao类型,先在mc里面转成string
Dataworks、Flink都可以实现。DataWorks可以支持整库同步,全量和增量同步等。详情见文档MySQL通过DataWorks实时同步,MySQL通过Flink实时同步。
Hologres有着非常庞大的生态家族,支持多种异构数据源的离线、实时写入。 对于开源大数据:Hologres支持当下最流行的大数据开源组件,其中包括Flink、Blink和Spark等,通过内置的Hologres Connector实现高并发实时写入。 对于数据库类数据:Hologres与DataWorks数据集成(DataX和StreamX)深度集成,支持通过Hologres Writer和Hologres Reader,实现方便高效地将多种数据库数据离线、实时、整库同步至Hologres中,满足各类企业数据同步迁移的需求。 常见的数据源同步见下表:
同步模式 | 数据源 | 同步方式 |
---|---|---|
离线同步 | MaxCompute | 通过SQL insert into写入 |
离线同步 | OSS | 通过SQL insert into写入,通过COPY命令 |
离线同步 | MySQL、Oracle等数据库 | Dataworks数据集成 |
离线同步 | 本地文件 | 通过COPY命令,通过Holoweb一键上传 |
离线同步 | Hologres | 通过SQL insert into写入 |
实时写入 | Flink | 支持结果表、源表、维表,支持开源Flink、阿里云Flink、阿里云Blink |
实时写入 | Spark | 通过Spark Connector希尔 |
实时写入 | MySQL、Oracle等数据库 | 通过DataWorks数据集成写入,支持单表实时同步、整库实时同步、全量+增量同步 |
实时写入 | Kafka | 通过DataWorks数据集成写入,通过Flink写入 |
实时写入 | DataHub | 直接写入DataHub,通过Flink、DataWorks数据集成写入 |
原因:事务里不支持insert。只有DDL支持事务,DML不支持事务
报错原因:update不支持更新distribution key 解决办法:把key从set的列表里删掉
有视图依赖导致无法删除表,建议先删除视图再删除表。
报错原因:这个是update了主键或者分区列,Hologres不支持更新主键。 解决方法:需要从update的列里去掉,但是可以将其放到where条件里。
Hologres里的机制不允许分母为0,但是可以使用case when语法去绕过
删除列目前还是灰度测试阶段,需要在sql前加上set hg_experimental_enable_drop_column =on;