AI 助理
备案控制台登录注册
开发者社区 大数据与机器学习 大数据开发治理DataWorks 文章 正文

开源DataX最新版本v202309新增HdfsReader支持parquet文件格式的问题

2023-11-13 1100 发布于北京
版权
举报
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
大数据开发治理平台DataWorks，资源组抵扣包 750CU*H
简介： 最近发现，datax更新了最新版本v202309，ds上更新后，同步hive下的parquet文件报错

hive版本 : hive3
hdfs版本 : 3.1.5
场景 :
使用hive建表语句在建表时指定文件存储格式为parquet，压缩格式为snappy;
ds调度上新建任务，datax节点下配置文件中设置参数 "fileType": "PARQUET"，运行任务提示以下错误，查阅datax的使用文档也并未找到新版本的使用说明以及报错处理
报错内容 ：文件类型与用户配置的fileType类型不一致，请确认您配置的目录下面所有文件的类型均为[PARQUET]
有没有遇到相同问题的大佬，求助！

文章标签：
数据集成 Data Integration
DataX
SQL
HIVE
文件存储
关键词：
数据集成 Data Integration版本
数据集成 Data Integration文件
数据集成 Data Integration开源
数据集成 Data Integration格式
数据集成 Data Integration parquet
1516366653861572
+关注
1文章
目录
打赏
0
0
1
0
1
分享
相关文章
云梦泽123
|
JSON Shell DataX
DataX定时执行json脚本文件
DataX定时执行json脚本文件
云梦泽123
696 0
周周的奇妙编程
|
存储 关系型数据库 MySQL
DataX: 阿里开源的又一款高效数据同步工具
DataX 是由阿里巴巴集团开源的一款大数据同步工具，旨在解决不同数据存储之间的数据迁移、同步和实时交换的问题。它支持多种数据源和数据存储系统，包括关系型数据库、NoSQL 数据库、Hadoop 等。 DataX 提供了丰富的数据读写插件，可以轻松地将数据从一个数据源抽取出来，并将其加载到另一个数据存储中。它还提供了灵活的配置选项和高度可扩展的架构，以适应各种复杂的数据同步需求。
周周的奇妙编程
5700 2
游客e4ooen74o6ems
|
监控 数据挖掘 大数据
阿里云开源利器：DataX3.0——高效稳定的离线数据同步解决方案
对于需要集成多个数据源进行大数据分析的场景，DataX3.0同样提供了有力的支持。企业可以使用DataX将多个数据源的数据集成到一个统一的数据存储系统中，以便进行后续的数据分析和挖掘工作。这种集成能力有助于提升数据分析的效率和准确性，为企业决策提供有力支持。
游客e4ooen74o6ems
2248 0
嘟嘟嘟嘟嘟嘟
|
DataWorks NoSQL fastjson
DataWorks操作报错合集之DataX进行MongoDB全量迁移的过程中，DataX的MongoDB Reader插件在初始化阶段找不到Fastjson 2.x版本的类库，该怎么办
DataWorks是阿里云提供的一站式大数据开发与治理平台，支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中，可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
嘟嘟嘟嘟嘟嘟
609 6
真的很搞笑
|
存储 DataWorks 关系型数据库
DataWorks产品使用合集之在使用数据集成中的同步任务从mysql同步表到oss，存储为csv时，最终生成的文件中没有表头，这个属性可以在哪里配置么
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
真的很搞笑
162 5
vohelon
|
JSON DataX 数据库
DataX 中需要在 JSON 文件中配置多个任务
DataX 中需要在 JSON 文件中配置多个任务
vohelon
3747 0
-编程工程师-
|
存储 SQL JSON
阿里又开源一款数据同步工具 DataX，稳定又高效，好用到爆！下
阿里又开源一款数据同步工具 DataX，稳定又高效，好用到爆！下
-编程工程师-
1758 0
-编程工程师-
|
存储 JavaScript 小程序
阿里又开源一款数据同步工具 DataX，稳定又高效，好用到爆！上
阿里又开源一款数据同步工具 DataX，稳定又高效，好用到爆！上
-编程工程师-
2787 1
开发工程师
|
存储 SQL JSON
阿里又开源一款数据同步工具 DataX，稳定又高效，好用到爆！（2）
阿里又开源一款数据同步工具 DataX，稳定又高效，好用到爆！
开发工程师
584 0
实时数仓Hologres团队
|
5月前
|
DataWorks 关系型数据库 Serverless
DataWorks数据集成同步至Hologres能力介绍
本文由DataWorks PD王喆分享，介绍DataWorks数据集成同步至Hologres的能力。DataWorks提供低成本、高效率的全场景数据同步方案，支持离线与实时同步。通过Serverless资源组，实现灵活付费与动态扩缩容，提升隔离性和安全性。文章还详细演示了MySQL和ClickHouse整库同步至Hologres的过程。
实时数仓Hologres团队
168 0
大数据与机器学习

大数据开发治理DataWorks
+关注

热门文章

最新文章

  • 1
    DataWorks售前咨询
    122
  • 2
    2万字揭秘阿里巴巴数据治理平台DataWorks建设实践
    95
  • 3
    欢迎加入飞天大数据平台交流群
    76
  • 4
    DataWorks操作报错合集之配置项目连通oss数据源 , 报The request signature we calculated does not match the signature you provided.如何解决
    55
  • 5
    DataWorks：新一代 Data+AI 数据开发与数据治理平台演进
    55
  • 6
    火热邀测！DataWorks数据集成支持大模型AI处理
    49
  • 7
    长文详解｜DataWorks Data+AI一体化开发实战图谱
    47
  • 8
    欢迎加入DataWorks产品钉钉交流群
    26
  • 9
    智能体Agent解析：用自然语言重构数据开发工作方式
    25
  • 10
    DataWorks产品使用合集之怎么更改ODPS表的生命周期为永久
    24
  • 1
    使用DataWorks PyODPS节点调用XGBoost算法
    137
  • 2
    DataWorks x 婚礼纪：智能一站式数据开发治理平台让千万新人的幸福时刻“数智化”
    218
  • 3
    火热邀测！DataWorks数据集成支持大模型AI处理
    641
  • 4
    DataWorks Copilot 集成Qwen3-235B-A22B混合推理模型，数据开发与分析效率再升级！
    330
  • 5
    Qwen3 X DataWorks ：为数据开发与分析加满Buff !
    202
  • 6
    Qwen3 X DataWorks ：给你的数据开发与分析加满Buff！
    261
  • 7
    智能体Agent解析：用自然语言重构数据开发工作方式
    301
  • 8
    长文详解｜DataWorks Data+AI一体化开发实战图谱
    770
  • 9
    使用DataWorks Notebook实现智能图片标注，给你的图片加个“注释”
    256
  • 10
    大数据AI一体化开发再加速：DataWorks 支持GPU类型资源
    456

    • 相关课程

    更多
  • 阿里云 DTS是如何做实时数据集成的？

    • 相关电子书

    更多
  • Flink CDC：新一代数据集成框架
  • DataWorks数据集成实时同步最佳实践（含内测邀请）-2020飞天大数据平台实战应用第一季
  • 《DataWorks 数据集成实时同步》
    • 下一篇
    oss配置Bucket属性
    AI助理

    你好，我是AI助理

    可以解答问题、推荐解决方案等

    登录插画

    登录以查看您的控制台资源

    管理云资源
    状态一览
    快捷访问
    快捷注册登录阿里云