官方开源版本的hive能否使用oss作为数据源-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

官方开源版本的hive能否使用oss作为数据源

vivoreal 2017-01-26 11:04:20 1649

使用官方开源版本的hive能否使用oss作为数据源,如果可以的话,具体需要引入什么包?

SQL HIVE 对象存储
分享到
取消 提交回答
全部回答(1)
  • 贺定圆
    2019-07-17 20:44:52

    Hive使用OSS Partition
    CREATE EXTERNAL TABLE log_ship_oss_example (

    time STRING,
    ip STRING,
    url STRING,
    method STRING,
    status STRING,
    user-agent STRING,
    api-version STRING

    )
    PARTITIONED BY (

    year STRING,
    mon STRING,
    day STRING

    )
    ROW FORMAT serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED AS TEXTFILE
    LOCATION 'oss://${AccessKeyId}:${AccessKeySecret}@test-bucket.oss-cn-hangzhou.aliyuncs.com/log_ship_oss_example';
    如上即完成Hive外部表创建并加载OSS上的Partition。

    想了解如何通过LOG采集日志并投递到OSS的整个流程,可以参考这个用户案例:
    梨视频:基于阿里云E-MapReduce搭建视频推荐系统的实践
    https://yq.aliyun.com/articles/68805

    投递日志到 OSS:
    https://help.aliyun.com/document_detail/29002.html

    0 1
云计算
使用钉钉扫一扫加入圈子
+ 订阅

时时分享云计算技术内容,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。

推荐文章
相似问题
推荐课程