开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

请问hdfs同步hive表的时候会发生同步数据部分丢失,这种情况怎么解决呀?已经尝试了好几遍,丢了十

请问hdfs同步hive表的时候会发生同步数据部分丢失,这种情况怎么解决呀?已经尝试了好几遍,丢了十几万的数据

展开
收起
雪哥哥 2022-11-27 21:25:49 753 0
1 条回答
写回答
取消 提交回答
  • 我列举几点,可以自己检查一下

    1.检查HDFS和Hive的日志,查看是否有异常信息;

    2.检查HDFS和Hive的配置,确保配置正确;

    3.检查HDFS和Hive的网络状况,确保网络稳定;

    4.重新同步数据,确保数据同步完整;

    5.如果以上步骤都无法解决问题,可以尝试使用其他工具,如sqoop等,从HDFS同步数据到Hive。

    2023-01-17 23:38:23
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
Hive Bucketing in Apache Spark 立即下载
spark替代HIVE实现ETL作业 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载