DataX定时执行json脚本文件

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
实时计算 Flink 版,5000CU*H 3个月
简介: DataX定时执行json脚本文件

1.创建编写 DataX 数据同步任务执行的 shell 脚本

  • 创建编写 DataX 数据同步任务执行的 shell 脚本
[root@VM-12-14-centos ~]# vim /usr/local/dataX/bin/pg-mysql.sh
#!/bin/bash
. /etc/profile
touch /usr/local/dataX/log/pg-mysql/pg-mysql.log
nohup python   /usr/local/dataX/bin/datax.py  /usr/local/dataX/job/pg-mysql.json >> /usr/local/dataX/log/pg-mysql/pg-mysql.log  2>&1 &

解释:

日志存放路径

touch /usr/local/dataX/log/pg-mysql/pg-mysql.log

datax脚本路径

/usr/local/dataX/job/pg-mysql.json

  • 为sh脚本赋予可执行权限
[root@VM-12-14-centos ~]# chmod u+x  /usr/local/dataX/bin/pg-mysql.sh
  • 测试脚本,查看目标表中数据是否同步成功
[root@VM-12-14-centos ~]# ./pg-mysql.sh

2.将脚本执行添加至 crontab,定时执行

[root@VM-12-14-centos ~]# crontab -e

每天早上 06:30 执行一次脚本完成数据同步;

30 6 * * * /usr/local/dataX/bin/pg-mysql.sh
相关文章
|
5月前
|
XML JSON API
如何在 Postman 中上传文件和 JSON 数据
如果你想在 Postman 中同时上传文件和 JSON 数据,本文将带你一步一步地了解整个过程,包括最佳实践和技巧,让你的工作更轻松。
|
11月前
|
JSON 算法 vr&ar
目标检测笔记(五):查看通过COCOEvaluator生成的coco_instances_results.json文件的详细检测信息,包含AP、AR、MR和DR等
本文介绍了如何使用COCO评估器通过Detectron2库对目标检测模型进行性能评估,生成coco_instances_results.json文件,并利用pycocotools解析该文件以计算AP、AR、MR和DR等关键指标。
747 1
目标检测笔记(五):查看通过COCOEvaluator生成的coco_instances_results.json文件的详细检测信息,包含AP、AR、MR和DR等
|
7月前
|
开发工具 git 索引
怎么取消对project.private.config.json这个文件的git记录
通过以上步骤,您可以成功取消对 `project.private.config.json`文件的Git记录。这样,文件将不会被包含在未来的提交中,同时仍保留在您的工作区中。
184 28
|
JSON API 网络架构
【Azure 媒体服务】使用编码预设文件(Preset.json)来自定义编码任务 -- 创建视频缩略图
【Azure 媒体服务】使用编码预设文件(Preset.json)来自定义编码任务 -- 创建视频缩略图
|
JSON 数据格式 Python
【2023最新】Matlab 保存JSON数据集文件,并用Python读取
本文介绍了如何使用MATLAB生成包含数据和标签的JSON格式数据集文件,并展示了用Python读取该JSON文件作为训练集的方法。
398 1
|
12月前
|
XML JSON JavaScript
R JSON 文件
JSON: JavaScript Object Notation(JavaScript 对象表示法)。
167 29
|
11月前
|
JSON 数据格式 Python
Python实用记录(十四):python统计某个单词在TXT/JSON文件中出现的次数
这篇文章介绍了一个Python脚本,用于统计TXT或JSON文件中特定单词的出现次数。它包含两个函数,分别处理文本和JSON文件,并通过命令行参数接收文件路径、目标单词和文件格式。文章还提供了代码逻辑的解释和示例用法。
227 0
Python实用记录(十四):python统计某个单词在TXT/JSON文件中出现的次数
|
11月前
|
JSON 数据格式
LangChain-20 Document Loader 文件加载 加载MD DOCX EXCEL PPT PDF HTML JSON 等多种文件格式 后续可通过FAISS向量化 增强检索
LangChain-20 Document Loader 文件加载 加载MD DOCX EXCEL PPT PDF HTML JSON 等多种文件格式 后续可通过FAISS向量化 增强检索
759 2
|
12月前
|
JSON 前端开发 JavaScript
解析JSON文件
解析JSON文件
346 9
|
12月前
|
JSON 前端开发 JavaScript
java中post请求调用下载文件接口浏览器未弹窗而是返回一堆json,为啥
客户端调接口需要返回另存为弹窗,下载文件,但是遇到的问题是接口调用成功且不报错,浏览器F12查看居然返回一堆json,而没有另存为弹窗; > 正确的效果应该是:接口调用成功且浏览器F12不返回任何json,而是弹窗另存为窗口,直接保存文件即可。
425 2