5分钟学会使用DataHub接入实时数据到MaxCompute(原ODPS)-阿里云开发者社区

开发者社区> 阿里巴巴大数据计算> 正文

5分钟学会使用DataHub接入实时数据到MaxCompute(原ODPS)

简介: DataHub服务是MaxCompute提供的流数据服务, 并提供把实时数据准实时归档到MaxCompute中功能, 在延时上可以做到5分钟数据在MaxCompute中可见;相对于MaxCompute之前提供的批量数据接口Tunnel实时性有了极大的提高。本文简要介绍如何快速通过DataHub创建.

免费开通大数据服务:https://www.aliyun.com/product/odps

DataHub服务是MaxCompute提供的流数据服务, 并提供把实时数据准实时归档到MaxCompute中功能, 在延时上可以做到5分钟数据在MaxCompute中可见;相对于MaxCompute之前提供的批量数据接口Tunnel实时性有了极大的提高。本文简要介绍如何快速通过DataHub创建实时数据写入MaxCompute的数据通道。

准备MaxCompute表

假设我们准备的MaxCompute表是如下结构

create table test_stream_in (data string) partitioned by (ds string);
快速、完全托管的TB/PB级数据仓库解决方案,向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。


登录DataHub Web控制台进行操作

弹内的DataHub服务web控制台地址地址:https://datahub.console.aliyun.com/datahub
目前请使用AK登录。

进入创建Project详情页面, 点击创建Topic

2016-12-22 16-50-41屏幕截图.png

在弹出的选项卡中进行如下操作

0840831f54c8d24567e753ca76d02113af4093c5

  • 创建方式 选中 “导入MaxCompute表结构”
  • 填写我们需要写入的MaxComputed项目,MaxCompute表,AccessId,AccessKey 信息
  • 在选项中勾选上 “自动创建Connector”
  • 然后点击导入表结构,可以看到MaxCompute表的结构就自动填到了Topic选项中
  • 填写Topic名称,Shard数量,生命周期,备注等
  • 点击创建

查看创建成功的Topic和Connector

现在就可以在Topic的列表中查询到我们之前创建的Topic,并且这个Topic已经默认创建了一个归档MaxCompute的Connector。

2016-12-22 17-30-14屏幕截图.png

2016-12-22 17-30-31屏幕截图.png

使用SDK/工具写入实时数据

请大家参考:链接

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
阿里巴巴大数据计算
使用钉钉扫一扫加入圈子
+ 订阅

阿里大数据官方技术圈

官方博客
链接