hive版本 : hive3
hdfs版本 : 3.1.5
场景 :
使用hive建表语句在建表时指定文件存储格式为parquet，压缩格式为snappy;
ds调度上新建任务，datax节点下配置文件中设置参数 "fileType": "PARQUET"，运行任务提示以下错误，查阅datax的使用文档也并未找到新版本的使用说明以及报错处理
报错内容 ：文件类型与用户配置的fileType类型不一致，请确认您配置的目录下面所有文件的类型均为[PARQUET]
有没有遇到相同问题的大佬，求助！
开源DataX最新版本v202309新增HdfsReader支持parquet文件格式的问题
2023-11-13
889
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
最近发现，datax更新了最新版本v202309，ds上更新后，同步hive下的parquet文件报错
相关文章
|
9月前
|
JSON
Shell
DataX
|
9月前
|
存储
关系型数据库
MySQL
DataX: 阿里开源的又一款高效数据同步工具
DataX 是由阿里巴巴集团开源的一款大数据同步工具，旨在解决不同数据存储之间的数据迁移、同步和实时交换的问题。它支持多种数据源和数据存储系统，包括关系型数据库、NoSQL 数据库、Hadoop 等。
DataX 提供了丰富的数据读写插件，可以轻松地将数据从一个数据源抽取出来，并将其加载到另一个数据存储中。它还提供了灵活的配置选项和高度可扩展的架构，以适应各种复杂的数据同步需求。
3676
1
1
|
7月前
|
监控
数据挖掘
大数据
阿里云开源利器：DataX3.0——高效稳定的离线数据同步解决方案
对于需要集成多个数据源进行大数据分析的场景，DataX3.0同样提供了有力的支持。企业可以使用DataX将多个数据源的数据集成到一个统一的数据存储系统中，以便进行后续的数据分析和挖掘工作。这种集成能力有助于提升数据分析的效率和准确性，为企业决策提供有力支持。
1665
0
3
|
7月前
|
DataWorks
NoSQL
fastjson
DataWorks操作报错合集之DataX进行MongoDB全量迁移的过程中，DataX的MongoDB Reader插件在初始化阶段找不到Fastjson 2.x版本的类库，该怎么办
DataWorks是阿里云提供的一站式大数据开发与治理平台，支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中，可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
215
5
6
|
8月前
|
存储
DataWorks
关系型数据库
DataWorks产品使用合集之在使用数据集成中的同步任务从mysql同步表到oss，存储为csv时，最终生成的文件中没有表头，这个属性可以在哪里配置么
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
105
5
5
|
JSON
DataX
数据库
|
存储
JavaScript
小程序
|
存储
SQL
JSON
|
存储
SQL
JSON
|
1月前
|
DataWorks
关系型数据库
Serverless
DataWorks数据集成同步至Hologres能力介绍
本次分享的主题是DataWorks数据集成同步至Hologres能力，由计算平台的产品经理喆别（王喆）分享。介绍DataWorks将数据集成并同步到Hologres的能力。DataWorks数据集成是一款低成本、高效率、全场景覆盖的产品。当我们面向数据库级别，向Hologres进行同步时，能够实现简单且快速的同步设置。目前仅需配置一个任务，就能迅速地将一个数据库实例内的所有库表一并传输到Hologres中。
57
12
12
热门文章
最新文章
1
DataWorks常见问题之网络一直不通如何解决
2
DataWorks售前咨询
3
DataWorks操作报错合集之配置项目连通oss数据源 , 报The request signature we calculated does not match the signature you provided.如何解决
4
DataWorks Copilot：让你的数据质量覆盖率一键飞升！
5
DataWorks：新一代 Data+AI 数据开发与数据治理平台演进
6
限时优惠体验！DataWorks数据治理中心全新升级为数据资产治理
7
2万字揭秘阿里巴巴数据治理平台DataWorks建设实践
8
数据中台的智能进化—阿里巴巴十二年数据平台发展历程
9
语雀+通义千问+DataWorks，让AI定期推送每周总结
10
DataWorks智能交互式数据开发与分析之旅
1
DataWorks Copilot：让你的数据质量覆盖率一键飞升！
157
2
1688 满足跨境业务需求而提供的一组 API 接口
48
3
Python 语言结合 Flask 框架来实现一个基础的代购商品管理、用户下单等功能的简易系统
96
4
如何让DataWorks调度依赖一个非DataWorks的任务结点，如数据上传任务？
63
5
DataWorks 稳定性保障全解析：深入监控与资源调配
84
6
DataWorks产品体验测评
190
7
数据分析经典案例重现：使用DataWorks Notebook 实现Kaggle竞赛之房价预测，成为数据分析大神！
290
8
DataWorks产品评测：大数据开发治理平台的最佳实践与体验
137
9
阿里云DataWorks评测：大数据开发治理平台的卓越表现
124
10
DataWorks智能交互式数据开发与分析之旅
2621