开发者社区> 问答> 正文

hadoop中从上传数据到分布式集群的操作意义和源代码分别是什么?

hadoop中从上传数据到分布式集群的操作意义和源代码分别是什么?

展开
收起
游客yzrzs5mf6j7yy 2021-12-06 08:13:56 448 0
1 条回答
写回答
取消 提交回答
  • 模型训练和预测之后,必须把预测数据上传到分布式集群,以便后续处理。
    
    
      local create_table_sql="
        create table if not exists $target_table_name (
            ......
        )
        partitioned by (pt int)
        row format delimited fields terminated by '\t' 
        lines terminated by '\n' 
        stored as textfile;
      "
      log_info $create_table_sql
      $hive -e "$create_table_sql"
    
      local upload_sql="load data local inpath '$data_home/$bizdate/$predict_file' into table $target_table_name partition(pt=${bizdate});"
      log_info $upload_sql
      $hive -e "$upload_sql"
    
    
    
    2021-12-06 08:14:13
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载