数据集成 Data Integration

首页 标签 数据集成 Data Integration
# 数据集成 Data Integration #
关注
2920内容
|
9月前
| |
来自: 数据库
湖仓分析|浙江霖梓基于 Doris + Paimon 打造实时/离线一体化湖仓架构
浙江霖梓早期基于 Apache Doris 进行整体架构与表结构的重构,并基于湖仓一体和查询加速展开深度探索与实践,打造了 Doris + Paimon 的实时/离线一体化湖仓架构,实现查询提速 30 倍、资源成本节省 67% 等显著成效。
基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成
本教程展示如何使用Flink CDC YAML快速构建从MySQL到Kafka的流式数据集成作业,涵盖整库同步和表结构变更同步。无需编写Java/Scala代码或安装IDE,所有操作在Flink CDC CLI中完成。首先准备Flink Standalone集群和Docker环境(包括MySQL、Kafka和Zookeeper),然后通过配置YAML文件提交任务,实现数据同步。教程还介绍了路由变更、写入多个分区、输出格式设置及上游表名到下游Topic的映射等功能,并提供详细的命令和示例。最后,包含环境清理步骤以确保资源释放。
个保法下的数据中台建设(二):数据去标识化与匿名化(加解密方案)
在上一篇文章 个保法下的数据中台建设(一):《个人信息保护法》解读 中,我们整体解读了下《个人信息保护法》,从该篇文章开始,我们聚焦在具体的领域中解决企业数据安全落地中的问题。 本文重点介绍: 1、去标识化的方案,如遮盖脱敏、哈希脱敏、加密解密等; 2、去标识化的场景,如数据集成、数据开发等; 3、利用Dataphin实现去标识化的方案
聊聊 datax 的 OceanBase 数据同步插件 ||批处理参数 rewriteBatchedStatements=true&useCursorFetch=true
聊聊 datax 的 OceanBase 数据同步插件 分析下批处理参数 rewriteBatchedStatements=true&useCursorFetch=true 对大规模数据读写的性能影响
免费试用