🔥🔥 AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。
✨杭州奥零数据科技官网：http://www.aolingdata.com
✨AllData开源项目：https://github.com/alldatacenter/alldata
✨AllData官方文档：https://alldata-document.readthedocs.io
✨AllData社区文档：https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo
AllData数据中台的数据集成管理功能，通过提供灵活的配置选项和强大的数据转换能力，使得用户能够轻松地将这些数据源集成到统一的数据平台中，实现数据的集中管理和高效利用。
AllData数据中台数据集成管理支持多种数据源，包括：
1.1 关系型数据库
- MySQL
- PostgreSQL
- Oracle
- 其他数据库
1.2 非关系型数据库
- MongoDB
- ElasticSearch
- Redis
- 其他非关系型数据库
1.3 大数据存储
- Hadoop HDFS
- Hive
- Doris
- ClickHouse
- 其他大数据存储
1.4 云服务数据源
- 阿里云OSS
- 腾讯云COS
- AWS S3
1.5 其他数据源
- Excel文件
- CSV文件
- API接口
二、数据源支持Reader/Writer
2.1 安装
dataxhttps://blog.csdn.net/hzp666/article/details/127350768
2.2 配置数据源
jdbc:mysql://localhost:3306/studio?useUnicode=true&characterEncoding=utf8
2.3 配置执行器
2.4 配置任务模版
2.5 配置单任务-构建Source
按步骤选择数据抽取库，数据合并库，映射字段，构建datax的可执行json文件。
选择任务模版，点击下一步任务就创建完成了，可以在任务详情里查看。
2.6 构建Sink
2.7 字段映射
2.8 构建同步任务Json
2.9 选择定时调度任务模版，配置同步任务调度
2.10 查看任务列表
2.11 最后可以运行的json文件
{
"job": {
"setting": {
"speed": {
"channel": 1,
"bytes": 0
},
"errorLimit": {
"record": 100
},
"restore": {
"maxRowNumForCheckpoint": 0,
"isRestore": false,
"restoreColumnName": "",
"restoreColumnIndex": 0
},
"log": {
"isLogger": false,
"level": "debug",
"path": "",
"pattern": ""
}
},
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"username": "root",
"password": "k32G0hokmB8YLhm0",
"column": [
"ACCOUNT_ID",
"ACCOUNT_PARENT",
"ACCOUNT_DESCRIPTION",
"ACCOUNT_TYPE",
"ACCOUNT_ROLLUP",
"CUSTOM_MEMBERS"
],
"splitPk": "",
"connection": [
{
"table": [
"account"
],
"jdbcUrl": [
"jdbc:mysql://8g009:33196/studio?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&useSSL=false&serverTimezone=GMT%2B8"
]
}
]
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"username": "root",
"password": "k32G0hokmB8YLhm0",
"writeMode": "insert",
"column": [
"ACCOUNT_ID",
"ACCOUNT_PARENT",
"ACCOUNT_DESCRIPTION",
"ACCOUNT_TYPE",
"ACCOUNT_ROLLUP",
"CUSTOM_MEMBERS"
],
"connection": [
{
"table": [
"account_sink"
],
"jdbcUrl": "jdbc:mysql://8g009:33196/studio?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&useSSL=false&serverTimezone=GMT%2B8"
}
]
}
}
}
]
}
}
AI 代码解读
三、同步结果
3.1 源表同步情况：studio.account表 26条数据
3.3 目的表同步情况：studio.account_sink表 26条数据
3.3 问题记录：
中文乱码问题，添加?
useUnicode=true&characterEncoding=utf8解决。
四、注意事项
4.1 数据安全性
在配置数据源和任务时，注意保护敏感信息，如数据库密码等。建议采用加密存储和传输方式，确保数据安全。
4.2 性能优化
由业务需求和数据量大小，合理配置任务调度策略和资源分配，提高数据集成效率。
4.3 故障排查
在任务执行过程中，如遇异常或错误，及时查看日志信息并进行故障排查。
必要时，可联系AllData数据中台的技术支持团队寻求帮助。
