DataX定时执行json脚本文件

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
大数据开发治理平台 DataWorks,不限时长
简介: DataX定时执行json脚本文件

1.创建编写 DataX 数据同步任务执行的 shell 脚本

  • 创建编写 DataX 数据同步任务执行的 shell 脚本
[root@VM-12-14-centos ~]# vim /usr/local/dataX/bin/pg-mysql.sh
#!/bin/bash
. /etc/profile
touch /usr/local/dataX/log/pg-mysql/pg-mysql.log
nohup python   /usr/local/dataX/bin/datax.py  /usr/local/dataX/job/pg-mysql.json >> /usr/local/dataX/log/pg-mysql/pg-mysql.log  2>&1 &

解释:

日志存放路径

touch /usr/local/dataX/log/pg-mysql/pg-mysql.log

datax脚本路径

/usr/local/dataX/job/pg-mysql.json

  • 为sh脚本赋予可执行权限
[root@VM-12-14-centos ~]# chmod u+x  /usr/local/dataX/bin/pg-mysql.sh
  • 测试脚本,查看目标表中数据是否同步成功
[root@VM-12-14-centos ~]# ./pg-mysql.sh

2.将脚本执行添加至 crontab,定时执行

[root@VM-12-14-centos ~]# crontab -e

每天早上 06:30 执行一次脚本完成数据同步;

30 6 * * * /usr/local/dataX/bin/pg-mysql.sh
相关文章
|
3月前
|
Web App开发 JSON JavaScript
SAP UI5 应用程序小技巧 - 一键将 JSON 对象导出成本地 json 文件
SAP UI5 应用程序小技巧 - 一键将 JSON 对象导出成本地 json 文件
25 0
|
3月前
|
JSON 数据格式 开发者
什么是 JSON 文件的 Schema
什么是 JSON 文件的 Schema
101 0
|
4月前
|
XML JSON JavaScript
|
4月前
|
SQL DataWorks
如果源表名是小写,而DataWorks的数据集成脚本中使用的是大写表名
【1月更文挑战第6天】【1月更文挑战第30篇】如果源表名是小写,而DataWorks的数据集成脚本中使用的是大写表名
32 3
|
2月前
|
JSON 前端开发 数据格式
vue-cli3读取本地json文件
vue-cli3读取本地json文件
53 1
|
4月前
|
Web App开发 前端开发
Chrome 浏览器插件 V3 版本 Manifest.json 文件中 Action 的类型(Types)、方法(Methods)和事件(Events)的属性和参数解析
Chrome 浏览器插件 V3 版本 Manifest.json 文件中 Action 的类型(Types)、方法(Methods)和事件(Events)的属性和参数解析
157 0
|
3月前
|
编解码 JavaScript 前端开发
TypeScript【第三方声明文件、自定义声明文件、tsconfig.json文件简介、tsconfig.json 文件结构与配置】(六)-全面详解(学习总结---从入门到深化)
TypeScript【第三方声明文件、自定义声明文件、tsconfig.json文件简介、tsconfig.json 文件结构与配置】(六)-全面详解(学习总结---从入门到深化)
65 0
|
2月前
|
JSON 数据处理 API
盘点Python中4种读取JSON文件和提取JSON文件内容的方法
盘点Python中4种读取JSON文件和提取JSON文件内容的方法
331 0
|
2月前
|
存储 JSON JavaScript
Python中读写(解析)JSON文件的深入探究
Python中读写(解析)JSON文件的深入探究
37 0
|
2月前
|
JSON 数据格式 Python
python写入的json文件要格式化
要将JSON格式化后写入文件,你可以在`json.dump()`函数中使用`indent`参数来设置缩进级别。以下是一个示例: ```python import json data = {"name": "John", "age": 30, "city": "New York"} with open('data.json', 'w') as file: json.dump(data, file, indent=4) ``` 在这个示例中,我们使用`json.dump()`函数将Python对象转换为JSON格式,并将其写入到文件中。通过传递`indent=4`参数,我们设置了缩