windows部署DataX及运行dataX_WEB

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: windows部署DataX及运行dataX_WEB

1、需要的环境

安装JDK(1.8 以上,推荐 1.8)


Python(推荐 Python2.6.X) 使用国内镜像:http://npm.taobao.org/mirrors/


安装maven


安装mysql


idea


2、下载部署dataX


其中bin目录是脚本目录,job下存放的json文件就是用来运行的。

测试:

进入bin目录

python datax.py D:\datax\datax\datax\job\job.json


这里的输出结果是乱码,所以这里再提供一种用java运行脚本的方法。可以选择idea运行

package com.tjcu;
import java.io.BufferedReader;
import java.io.File;
import java.io.InputStreamReader;
public class TestDatax {
    public static void main(String[] args) {
        try {
            String windowcmd = "cmd /c python datax.py  D:\\datax\\datax\\datax\\job\\job.json";
            //.exec("你的命令",null,new File("datax安装路径"));
            Process pr = Runtime.getRuntime().exec(windowcmd,null,new File("D:\\datax\\datax\\datax\\bin"));
            BufferedReader in = new BufferedReader(new InputStreamReader(pr.getInputStream()));
            String line = null;
            while ((line = in.readLine()) != null) {
                System.out.println(line);
            }
            in.close();
            pr.waitFor();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}


第二种方法就是先输入:


打开cmd,首先输入 CHCP 65001 防止中文乱码

在在job文件夹中,修改job.json

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "sliceRecordCount": 10,
            "column": [
              {
                "type": "long",
                "value": "10"
              },
              {
                "type": "string",
                "value": "hello,你好,王恒杰"
              }
            ]
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "encoding": "UTF-8",
            "print": true
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 5
       }
    }
  }
}


3、datax-web运行

  • 打开idea,打开项目,安装maven依赖


  • mysql数据库导入,新建datax_web数据库,然后找到bin/db/datax_web.sql。导入数据库,这里我用的工具是 navicat


需要修改2两个yml。我的修改如下


第一个路径在,datax-admin/src/main/resoures/application.yml。其中数据库地址和用户名密码用自己的

#第一个路径在,datax-admin/src/main/resoures/application.yml。其中数据库地址和用户名密码用自己的
server:
  port: 8080
  #port: ${server.port}
spring:
  #数据源
  datasource:
    #    username: root
    #password: root
    #url: jdbc:mysql://localhost:3306/datax_web?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true&characterEncoding=UTF-8
    password: admin
    username: 1111
    #url: jdbc:mysql://${DB_HOST:127.0.0.1}:${DB_PORT:3306}/${DB_DATABASE:dataxweb}?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true&characterEncoding=UTF-8
    #driver-class-name: com.mysql.jdbc.Driver
    url: jdbc:mysql://127.0.0.1:3306/datax_web
    driver-class-name: com.mysql.cj.jdbc.Driver
    hikari:
      ## 最小空闲连接数量
      minimum-idle: 5
      ## 空闲连接存活最大时间,默认600000(10分钟)
      idle-timeout: 180000
      ## 连接池最大连接数,默认是10
      maximum-pool-size: 10
      ## 数据库连接超时时间,默认30秒,即30000
      connection-timeout: 30000
      connection-test-query: SELECT 1
      ##此属性控制池中连接的最长生命周期,值0表示无限生命周期,默认1800000即30分钟
      max-lifetime: 1800000
  # datax-web email
  mail:
    host: smtp.qq.com
    port: 25
    #username: xxx@qq.com
    #password: xxx
    username: 1078993387@qq.com
    password: qq密码
    properties:
      mail:
        smtp:
          auth: true
          starttls:
            enable: true
            required: true
        socketFactory:
          class: javax.net.ssl.SSLSocketFactory
management:
  health:
    mail:
      enabled: false
  server:
    servlet:
      context-path: /actuator
mybatis-plus:
  # mapper.xml文件扫描
  mapper-locations: classpath*:/mybatis-mapper/*Mapper.xml
  # 实体扫描,多个package用逗号或者分号分隔
  #typeAliasesPackage: com.yibo.essyncclient.*.entity
  global-config:
    # 数据库相关配置
    db-config:
      # 主键类型  AUTO:"数据库ID自增", INPUT:"用户输入ID", ID_WORKER:"全局唯一ID (数字类型唯一ID)", UUID:"全局唯一ID UUID";
      id-type: AUTO
      # 字段策略 IGNORED:"忽略判断",NOT_NULL:"非 NULL 判断"),NOT_EMPTY:"非空判断"
      field-strategy: NOT_NULL
      # 驼峰下划线转换
      column-underline: true
      # 逻辑删除
      logic-delete-value: 0
      logic-not-delete-value: 1
      # 数据库类型
      db-type: mysql
    banner: false
  # mybatis原生配置
  configuration:
    map-underscore-to-camel-case: true
    cache-enabled: false
    call-setters-on-nulls: true
    jdbc-type-for-null: 'null'
    type-handlers-package: com.wugui.datax.admin.core.handler
# 配置mybatis-plus打印sql日志
logging:
  #level:
  #  com.wugui.datax.admin.mapper: info
  #path: ./data/applogs/admin
  level:
    com.wugui.datax.admin.mapper: error
    #path: ${data.path}/applogs/admin
    path: ./data/applogs/admin
#datax-job, access token
datax:
  job:
    accessToken:
    #i18n (default empty as chinese, "en" as english)
    i18n:
    ## triggerpool max size
    triggerpool:
      fast:
        max: 200
      slow:
        max: 100
      ### log retention days
    logretentiondays: 30
datasource:
  aes:
    key: AD42F6697B035B75

第二个applicataion,地址为:datax-executor/src/main/resoures/application.yml

#第二个applicataion,地址为:datax-executor/src/main/resoures/application.yml
# web port
server:
  #  port: ${server.port}
  port: 8081
# log config
logging:
  config: classpath:logback.xml
  #  path: ${data.path}/applogs/executor/jobhandler
  path: ./data/applogs/executor/jobhandler
datax:
  job:
    admin:
      ### datax admin address list, such as "http://address" or "http://address01,http://address02"
      #addresses: http://127.0.0.1:8080
      #addresses: http://127.0.0.1:${datax.admin.port}
      addresses: http://127.0.0.1:8080
    executor:
      appname: datax-executor
      ip:
      port: 9999
      #port: ${executor.port:9999}
      ### job log path
      logpath: ./data/applogs/executor/jobhandler
      #logpath: ${data.path}/applogs/executor/jobhandler
      ### job log retention days
      logretentiondays: 30
    ### job, access token
    accessToken:
  executor:
    #jsonpath: D:\\temp\\executor\\json\\
    jsonpath: D:\datax\datax\datax\bin
  #pypath: D:\datax\datax\datax\bin\datax.py
  pypath: D:\datax\datax\datax\bin\datax.py


然后首先运行主应用datax-admin,其次运行执行器 datax-executor


初始账号/密码是:admin/123456


Local-API:http://127.0.0.1:8080/doc.html


External-API: http://192.168.43.64:8080/doc.html


web-URL: http://127.0.0.1:8080/index.html


相关文章
|
6天前
|
人工智能 数据处理 C#
AI Dev Gallery:微软开源 Windows AI 模型本地运行工具包和示例库,助理开发者快速集成 AI 功能
微软推出的AI Dev Gallery,为Windows开发者提供开源AI工具包和示例库,支持本地运行AI模型,提升开发效率。
47 13
|
12天前
|
Linux C# iOS开发
开源GTKSystem.Windows.Forms框架让C# Winform支持跨平台运行
开源GTKSystem.Windows.Forms框架让C# Winform支持跨平台运行
45 12
|
15天前
|
Ubuntu 网络协议 Linux
快速部署WSL(Windows Subsystem for Linux)
WSL提供了一种轻量级的方法,使开发者能够在Windows上无缝运行Linux环境。通过本文介绍的步骤,可以快速安装、配置和使用WSL,以满足开发和测试的需求。
63 8
|
2月前
|
机器学习/深度学习 数据采集 Docker
Docker容器化实战:构建并部署一个简单的Web应用
Docker容器化实战:构建并部署一个简单的Web应用
|
3月前
|
安全 网络协议 网络安全
Windows Server 2003 Web服务器搭建
Windows Server 2003 Web服务器搭建
|
3月前
|
应用服务中间件 Shell PHP
windows系统配置nginx环境运行pbootcms访问首页直接404的问题
windows系统配置nginx环境运行pbootcms访问首页直接404的问题
|
3月前
|
Java Windows
如何在windows上运行jar包/JAR文件 如何在cmd上运行 jar包 保姆级教程 超详细
本文提供了一个详细的教程,解释了如何在Windows操作系统的命令提示符(cmd)中运行JAR文件。
1402 1
|
4月前
|
Windows
Windows操作系统部署安装Kerberos客户端
详细介绍了在Windows操作系统上部署安装Kerberos客户端的完整过程,包括下载安装包、安装步骤、自定义安装路径、修改环境变量、配置hosts文件和Kerberos配置文件,以及安装后的验证步骤。
452 3
Windows操作系统部署安装Kerberos客户端
|
4月前
|
Windows Python
python获取windows机子上运行的程序名称
python获取windows机子上运行的程序名称
|
4月前
|
小程序 Windows
MASM32编写的程序在Windows 7,10下运行正常,但在Win XP下运行时只闻其声不见其形的故障
MASM32编写的程序在Windows 7,10下运行正常,但在Win XP下运行时只闻其声不见其形的故障
下一篇
开通oss服务