暂无个人介绍
2023年02月
2023年01月
MaxCompute不支持自增字段,有一些折中的办法可以实现自增,例如可以使用ROW_NUMBER函数设置自增序列 https://help.aliyun.com/document_detail/181847.html#section-j3a-tor-2s3
数据分类分级支持您按照数据的价值、内容敏感程度、影响和分发范围不同对数据进行敏感级别划分。不同敏感级别的数据有不同的管控原则和数据开发要求 参考:https://help.aliyun.com/document_detail/87139.html
holo表DDL发下看看呢
Dataworks版本说明可参考文档:https://help.aliyun.com/document_detail/118789.html
可以参考MaxCompute官方文档: https://help.aliyun.com/document_detail/34951.html
flink-cdc是GitHub上一个开源项目,目前已经支持Mysql\Oracle\sqlserver\tidb等主流数据库,如果你的源端无法开启CDC或不属于已支持的关系型数据库 CDC connector。可以看下apache flink已支持的connector能不能满足需求 https://nightlies.apache.org/flink/flink-docs-release-1.15/versions/
完整的错误可以复制出来看下
可以看下historyserver.web.tmpdir、io.tmp.dirs等配置项对应的目录是否是\tmp 例如historyserver.web.tmpdir配置的临时路径指向的就是Flink Web监视器使用的Web目录
可以调整connection.pool.size、scan.incremental.snapshot.chunk.size、scan.snapshot.fetch.size等option参数,根据具体的业务量合理的调整后观察下 关于Oracle CDC可以参考社区官网文档:https://ververica.github.io/flink-cdc-connectors/master/content/connectors/oracle-cdc.html
可以贴下具体的报错内容
可以描述下报错的背景
可以看下具体报错
目前阿里云实时计算Flink版提供了CREATE TABLE AS(CTAS)语句,可以实时将上游表结构(Schema)的变更同步到下游表,提高您在目标存储中创建表和维护源表结构变更的效率 参考文档:https://help.aliyun.com/document_detail/374303.html
要看下全量的报错并结合Web UI内存占用情况等综合分析。 从截图错误看是Error while getting state,获取状态时失败
1、join前能过滤掉的数据都过滤掉 2、根据具体的业务需求合理设置TTL
可以参考下:发布API https://help.aliyun.com/document_detail/73292.html
可以看下Dataworks运维中心相关的API 例如ListInstances,调用可以返回实例的列表 https://help.aliyun.com/document_detail/173982.html
可以将MaxCompute项目中的数据导出到OSS进行存储 https://help.aliyun.com/document_detail/203423.html
如果是本地上传数据的话不支持,当前支持CSV和自定义文本文件两种文件格式,其中自定义文本文件支持.txt、.csv和.log类型的文件。 从其他数据源同步数据集成同步就要看下具体是什么数据源了
按表配置监控规则:https://help.aliyun.com/document_detail/73829.html