打扰各位问下 模式变更自动同步,这个特性是对source端和sink端都有要求还是怎么的,没看到什么地方有这样的文档描述
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
模式变更自动同步主要是数据摄入作业的一项特性,该特性主要关注于如何处理数据源(source端)的结构变化,并将其同步到目标存储(sink端)。根据提供的知识库资料,这一功能主要对数据摄入作业的配置有特定要求,具体说明如下:
功能描述:
配置要求:
pipeline
模块中的schema.change.behavior
配置项来控制。默认行为为LENIENT
,它不允许删除或清空下游表,提供一种较为宽容的变更处理方式,以保护数据完整性。schema.change.behavior
设置为EVOLVE
。这将允许包括DROP TABLE和TRUNCATE TABLE在内的更多变更直接同步到目标端,但需谨慎使用,因为它可能导致数据丢失或结构大幅变动。include.schema.changes
和exclude.schema.changes
来细化控制哪些类型的Schema变更被应用或排除在目标端之外,实现更细粒度的管理。涉及端点:
注意事项:
EVOLVE
)时,务必事先评估对现有数据和业务流程的潜在影响。综上所述,模式变更自动同步特性主要针对数据源端的变化,并通过配置指导其如何与sink端协同工作。用户需根据实际需求调整相关配置,以确保两端之间的模式变更处理既安全又有效。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。