使用Dataworks同步Elasticsearch至MaxCompute 日期类型为\N的解决办法

简介: Dataworks同步阿里云ES到MaxCompute中时间格式为/N的解决方案
+关注继续查看

问题背景:

如果ES的数据存在日期类型,并且ES的日期类型本身没有dateFormat的话,同步到MaxCompute默认是空值。

如图:

image

解决办法:

需要在elasticsearch Reader中增加dateFormat属性,格式和要同步的ES日期格式一致就可以了。
如:

{
    "type": "job",
    "steps": [
        {
            "stepType": "elasticsearch",
            "parameter": {
                "search": "",
                "endpoint": "http://阿里云es地址:9200",
                "password": "密码",
                "dateFormat": "yyyy-MM-dd'T'HH:mm:ss.SSSZZ",
                "retryCount": 3,
                "column": [
                    "created_time"
                ],
                "scroll": "1m",
                "index": "odpstest",
                "type": "doc",
                "username": "elastic"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
                "partition": "",
                "truncate": true,
                "datasource": "odps_first",
                "column": [
                    "time"
                ],
                "emptyAsNull": false,
                "table": "testtime2"
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "throttle": false,
            "concurrent": 2
        }
    }
}

测试结果:
image

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
9月前
|
分布式计算 DataWorks 大数据
离线同步ODPS中多个分区数据
离线同步ODPS中多个分区数据
离线同步ODPS中多个分区数据
|
9月前
|
分布式计算 DataWorks MaxCompute
dataworks同步maxcompute数据到ES,geo_point 类型写入测试
dataworks同步maxcompute数据到ES,geo_point 类型写入测试
dataworks同步maxcompute数据到ES,geo_point 类型写入测试
|
10月前
|
数据采集 分布式计算 项目管理
通过 Connector 同步到 Odps|学习笔记
快速学习通过 Connector 同步到 Odps
78 0
通过 Connector 同步到 Odps|学习笔记
|
10月前
|
分布式计算 MaxCompute 开发者
Odps 同步任务异常处理|学习笔记
快速学习 Odps 同步任务异常处理
298 0
Odps 同步任务异常处理|学习笔记
|
SQL 消息中间件 分布式计算
DataWorks公共云优先级和离线同步任务实时同步任务速度
1.资源优先级 2.数据集成离线同步提速 3.数据集成实时同步任务提速 4.相关引擎调优
882 0
|
SQL DataWorks Oracle
DataWorks 批量生成同步任务|学习笔记
快速学习 DataWorks 批量生成同步任务
189 0
|
数据采集 存储 分布式计算
DataWorks数据集成离线增量同步配置讲解
本篇为熟能生巧系列19期的离线增量同步讲解部分,鉴于用户咨询需求,单独成一篇,方便大家阅览
2930 0
DataWorks数据集成离线增量同步配置讲解
|
分布式计算 DataWorks 关系型数据库
DataWorks熟能生巧系列直播第五期:数据集成批量生成同步任务
本文介绍了数据集成的整库迁移,批量上云和分库分表的操作,并进行了实操演示,对各种规则进行了解释,提出了需要注意的问题和解决方案。
503 0
DataWorks熟能生巧系列直播第五期:数据集成批量生成同步任务
|
DataWorks 关系型数据库 MySQL
推荐文章
更多