AI 助理
备案控制台
开发者社区 大数据与机器学习 大数据开发治理DataWorks 文章 正文

开源DataX最新版本v202309新增HdfsReader支持parquet文件格式的问题

2023-11-13 704
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
大数据开发治理平台 DataWorks，不限时长
推荐场景：
Github实时数据分析与可视化
简介： 最近发现，datax更新了最新版本v202309，ds上更新后，同步hive下的parquet文件报错

hive版本 : hive3
hdfs版本 : 3.1.5
场景 :
使用hive建表语句在建表时指定文件存储格式为parquet，压缩格式为snappy;
ds调度上新建任务，datax节点下配置文件中设置参数 "fileType": "PARQUET"，运行任务提示以下错误，查阅datax的使用文档也并未找到新版本的使用说明以及报错处理
报错内容 ：文件类型与用户配置的fileType类型不一致，请确认您配置的目录下面所有文件的类型均为[PARQUET]
有没有遇到相同问题的大佬，求助！

文章标签：
数据集成 Data Integration
DataX
SQL
HIVE
文件存储
关键词：
数据集成 Data Integration版本
数据集成 Data Integration文件
数据集成 Data Integration开源
数据集成 Data Integration格式
数据集成 Data Integration parquet
1516366653861572
目录
相关文章
云梦泽123
|
3月前
|
JSON Shell DataX
DataX定时执行json脚本文件
DataX定时执行json脚本文件
云梦泽123
326 0
周周的奇妙编程
|
3月前
|
存储 关系型数据库 MySQL
DataX: 阿里开源的又一款高效数据同步工具
DataX 是由阿里巴巴集团开源的一款大数据同步工具，旨在解决不同数据存储之间的数据迁移、同步和实时交换的问题。它支持多种数据源和数据存储系统，包括关系型数据库、NoSQL 数据库、Hadoop 等。 DataX 提供了丰富的数据读写插件，可以轻松地将数据从一个数据源抽取出来，并将其加载到另一个数据存储中。它还提供了灵活的配置选项和高度可扩展的架构，以适应各种复杂的数据同步需求。
周周的奇妙编程
1935 1
游客e4ooen74o6ems
|
23天前
|
监控 数据挖掘 大数据
阿里云开源利器：DataX3.0——高效稳定的离线数据同步解决方案
对于需要集成多个数据源进行大数据分析的场景，DataX3.0同样提供了有力的支持。企业可以使用DataX将多个数据源的数据集成到一个统一的数据存储系统中，以便进行后续的数据分析和挖掘工作。这种集成能力有助于提升数据分析的效率和准确性，为企业决策提供有力支持。
游客e4ooen74o6ems
339 0
嘟嘟嘟嘟嘟嘟
|
1月前
|
DataWorks NoSQL fastjson
DataWorks操作报错合集之DataX进行MongoDB全量迁移的过程中，DataX的MongoDB Reader插件在初始化阶段找不到Fastjson 2.x版本的类库，该怎么办
DataWorks是阿里云提供的一站式大数据开发与治理平台，支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中，可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
嘟嘟嘟嘟嘟嘟
66 5
真的很搞笑
|
2月前
|
存储 DataWorks 关系型数据库
DataWorks产品使用合集之在使用数据集成中的同步任务从mysql同步表到oss，存储为csv时，最终生成的文件中没有表头，这个属性可以在哪里配置么
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
真的很搞笑
40 5
vohelon
|
JSON DataX 数据库
DataX 中需要在 JSON 文件中配置多个任务
DataX 中需要在 JSON 文件中配置多个任务
vohelon
2219 0
-编程工程师-
|
存储 JavaScript 小程序
阿里又开源一款数据同步工具 DataX，稳定又高效，好用到爆！上
阿里又开源一款数据同步工具 DataX，稳定又高效，好用到爆！上
-编程工程师-
2482 1
-编程工程师-
|
存储 SQL JSON
阿里又开源一款数据同步工具 DataX，稳定又高效，好用到爆！下
阿里又开源一款数据同步工具 DataX，稳定又高效，好用到爆！下
-编程工程师-
1584 0
开发工程师
|
存储 SQL JSON
阿里又开源一款数据同步工具 DataX，稳定又高效，好用到爆！（2）
阿里又开源一款数据同步工具 DataX，稳定又高效，好用到爆！
开发工程师
423 0
嘟嘟嘟嘟嘟嘟
|
1月前
|
SQL DataWorks 关系型数据库
DataWorks产品使用合集之数据集成时源头提供数据库自定义函数调用返回数据，数据源端是否可以写自定义SQL实现
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
嘟嘟嘟嘟嘟嘟
64 7
大数据与机器学习

大数据开发治理DataWorks

热门文章

最新文章

  • 1
    DataWorks售前咨询
  • 2
    2万字揭秘阿里巴巴数据治理平台DataWorks建设实践
  • 3
    DataWorks操作报错合集之配置项目连通oss数据源 , 报The request signature we calculated does not match the signature you provided.如何解决
  • 4
    数据中台的智能进化—阿里巴巴十二年数据平台发展历程
  • 5
    DataWorks百问百答69：有哪些数据集成报错（数据集成报错归类）？
  • 6
    《一站式大数据开发治理DataWorks使用宝典》官方电子书开放下载
  • 7
    DataWorks 数据服务 + BI 可视化分析报表 (搭建战报)
  • 8
    DataWorks重磅推出Serverless资源组，实现低成本灵活付费和动态平滑扩缩容
  • 9
    【2023云栖】田奇铣：大模型驱动DataWorks数据开发治理平台智能化升级
  • 10
    大数据&AI的16种可能，2020阿里云客户最佳实践合集下载
  • 1
    DataWorks产品使用合集之如何实现分钟级调度
    16
  • 2
    DataWorks产品使用合集之如何设置把结果传入变量
    9
  • 3
    DataWorks产品使用合集之如何自定义UDTF
    11
  • 4
    DataWorks产品使用合集之支持哪些数据引擎
    8
  • 5
    DataWorks产品使用合集之怎么处理数组形式
    6
  • 6
    DataWorks产品使用合集之怎么查看并发数和jvm对应值
    8
  • 7
    DataWorks产品使用合集之如何引用第三方库
    8
  • 8
    DataWorks产品使用合集之怎么指定任务的执行时间
    7
  • 9
    DataWorks产品使用合集之如何实现任务的批量导入和导出
    6
  • 10
    DataWorks产品使用合集之怎么跨项目移动sql任务
    7

    • 相关课程

    更多
  • 阿里云 DTS是如何做实时数据集成的？
  • 实时数据接入：5分钟上手 Flink MySQL 连接器

    • 相关电子书

    更多
  • Flink CDC：新一代数据集成框架
  • DataWorks数据集成实时同步最佳实践（含内测邀请）-2020飞天大数据平台实战应用第一季
  • 《DataWorks 数据集成实时同步》

    • 相关实验场景

    更多
  • 通过Lindorm-cli连接并使用宽表引擎
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 5分钟上手Flink MySQL连接器
    • 下一篇
    通义千问API入门教程