DataWorks的hive writer parquent存储bigint类型
已解决DataWorks的hive writer parquent存储bigint类型
2021-12-23 12:30:35.356 630912445-0-0-writer ERROR StdoutPluginCollector - 脏数据: {"exception":"error starting field servertimestamp at 10","message":"error starting field servertimestamp at 10","record":{"byteSize":8,"index":0,"rawData":1640058849855,"type":"LONG"},。。。com.alibaba.datax.common.exception.DataXException: Code:HdfsWriter-04, Description:您配置的文件在写入时出现IO异常.. - java.lang.ClassCastException: parquet.io.PrimitiveColumnIO cannot be cast to parquet.io.GroupColumnIO
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
推荐回答官方回答
hive writer parquent存储bigint类型需要parameter里增加参数 "dataxParquetMode": "fields"
加该参数原因：这个是写parquet的实现有不同，不加这个参数是个老模式，那个模式处理null的情况会有些限制，源端bigint字段有null就会报错。
2022-12-09 15:18:29赞同 展开评论
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
