如何能够方便快速地获取到所有的观测点的数据?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

如何能够方便快速地获取到所有的观测点的数据?

Runt 2020-04-14 18:18:27 441

题目:有一批气象观测站,现需要获取这些站点的观测数据,并存储到 Hive 中。但是气象局只提供了 api 查询,每次只能查询单个观测点。那么如果能够方便快速地获取到所有的观测点的数据?

出题人:阿里巴巴出题专家:江岚/阿里巴巴数据技术高级技术专家

SQL 存储 API HIVE
分享到
取消 提交回答
全部回答(1)
  • Runt
    2020-04-14 18:18:37

    参考答案: A. 通过 shell 或 python 等调用 api,结果先暂存本地,最后将本地文件上传到 Hive 中。

    B. 通过 datax 的 httpReader 和 hdfsWriter 插件,从而获取所需的数据。

    C. 比较理想的回答,是在计算引擎的 UDF 中调用查询 api,执行UDF 的查询结果存储到对应的表中。一方面,不需要同步任务的导出导入;另一方面,计算引擎的分布式框架天生提供了分布式、容错、并发等特性。

    0 0
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

推荐文章
相似问题