开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

为什么hive外部表查询不到数据?是因为存储是log 不是parquet 格式?

"CREATE TABLE edu_costomer_hudi( id INT , name STRING, create_time TIMESTAMP, part STRING, primary key(id) not enforced ) PARTITIONED BY (part) with( 'connector'='hudi', 'path'= 'hdfs://192.168.0.39:9000/data/bigdata/hive_data/warehouse/edu_costomer_hudi', 'table.type'= 'MERGE_ON_READ', 'hoodie.datasource.write.recordkey.field'= 'id', 'write.precombine.field'= 'create_time', 'write.tasks'= '1', 'write.rate.limit'= '2000', 'compaction.tasks'= '1', 'compaction.async.enabled'= 'true', 'compaction.trigger.strategy'= 'num_commits', 'compaction.delta_commits'= '1', 'changelog.enabled'= 'true' );从mysql导入20条数据到hadoop 891b0fb54c3a4d24a27ce2b421b55b06.png CREATE EXTERNAL TABLE edu_hudi.tbl_customer( id string, name string, create_time string)PARTITIONED BY(day_star string)ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' STORED AS INPUTFORMAT 'org.apache.hudi.hadoop.HoodieParquetInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat' LOCATION '/data/bigdata/hive_data/warehouse/edu_customer_hudi'; alter table edu_hudi.tbl_customer add if not exists partition(day_star='2023-03-13') location '/data/bigdata/hive_data/warehouse/edu_customer_hudi/2023-03-13';为什么hive外部表查询不到数据?是因为存储是log 不是parquet 格式? hive怎么配置存储为parquet 格式?" image.png

展开
收起
滴滴滴~ 2023-03-21 11:51:38 272 0
1 条回答
写回答
取消 提交回答
  • 看看是不是改成 stored as PARQUET。此答案整理自钉群“Flink CDC 社区”

    2023-03-21 16:34:06
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载