开发者社区> 隐林> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

5分钟学会使用DataHub接入实时数据到MaxCompute(原ODPS)

简介: DataHub服务是MaxCompute提供的流数据服务, 并提供把实时数据准实时归档到MaxCompute中功能, 在延时上可以做到5分钟数据在MaxCompute中可见;相对于MaxCompute之前提供的批量数据接口Tunnel实时性有了极大的提高。本文简要介绍如何快速通过DataHub创建.
+关注继续查看

免费开通大数据服务:https://www.aliyun.com/product/odps

DataHub服务是MaxCompute提供的流数据服务, 并提供把实时数据准实时归档到MaxCompute中功能, 在延时上可以做到5分钟数据在MaxCompute中可见;相对于MaxCompute之前提供的批量数据接口Tunnel实时性有了极大的提高。本文简要介绍如何快速通过DataHub创建实时数据写入MaxCompute的数据通道。

准备MaxCompute表

假设我们准备的MaxCompute表是如下结构

create table test_stream_in (data string) partitioned by (ds string);
快速、完全托管的TB/PB级数据仓库解决方案,向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。


登录DataHub Web控制台进行操作

弹内的DataHub服务web控制台地址地址:https://datahub.console.aliyun.com/datahub
目前请使用AK登录。

进入创建Project详情页面, 点击创建Topic

2016-12-22 16-50-41屏幕截图.png

在弹出的选项卡中进行如下操作

0840831f54c8d24567e753ca76d02113af4093c5

  • 创建方式 选中 “导入MaxCompute表结构”
  • 填写我们需要写入的MaxComputed项目,MaxCompute表,AccessId,AccessKey 信息
  • 在选项中勾选上 “自动创建Connector”
  • 然后点击导入表结构,可以看到MaxCompute表的结构就自动填到了Topic选项中
  • 填写Topic名称,Shard数量,生命周期,备注等
  • 点击创建

查看创建成功的Topic和Connector

现在就可以在Topic的列表中查询到我们之前创建的Topic,并且这个Topic已经默认创建了一个归档MaxCompute的Connector。

2016-12-22 17-30-14屏幕截图.png

2016-12-22 17-30-31屏幕截图.png

使用SDK/工具写入实时数据

请大家参考:链接

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
MaxCompute SQL使用小技巧之时间日期处理
业务需求分析中经常会对时间日期进行处理,MaxComputer中也有很多关于日期的处理函数,文章就是对这些内置函数相互嵌套使用达到分析要求的分析
1020 0
友盟+联合EB级云数据仓库 MaxCompute 实现友盟域和企业私域数据全面融合
国内领先的第三方全域数据智能服务商友盟+,联合阿里云EB级云数据仓库 MaxCompute 为企业提供面向分析的,实现友盟域数据与企业私域数据全面融合的自助分析服务“U-DOP数据开放”。
4084 0
友盟+联合EB级云数据仓库 MaxCompute 实现友盟域和企业私域数据全面融合
国内领先的第三方全域数据智能服务商友盟+,联合阿里云EB级云数据仓库 MaxCompute 为企业提供面向分析的,实现友盟域数据与企业私域数据全面融合的自助分析服务“U-DOP数据开放”。
610 0
基于MaxCompute的大数据BI分析
本文以电商行业为例,将业务数据和日志数据使用MaxCompute做ETL之后,同步到ADB进行实时分析,之后通过Quick BI进行快速可视化展示。
299 0
MaxCompute studio 第一弹 - 元数据浏览
随着 MaxCompute 2.0 的发布,我们提供了MaxCompute Studio,一套基于IntelliJ IDEA的开发插件,让用户在集成开发环境(IDE)中更方便地进行SQL及用户代码开发。
1454 0
专家教你使用MaxCompute玩转大数据分析!
摘要传统的数据分析经常使用的工具是Hadoop或Spark在使用之前环境是需要用户自己去搭建的。随着业务逐渐向云迁移如何在云上进行大数据分析是需要解决的问题。为此阿里云提供了一项很重要的服务——大数据计算服务MaxCompute。
4794 0
MaxCompute(原ODPS)开发入门指南——计量计费篇
近期介绍大量数据上云用户关于MaxCompute的一些问题,现就MaxCompute产品线的一些工具栈可以和大家进行交流,也欢迎大家拍砖和来扰,一起学习一起进步!也希望能够在帮助到大家!
6400 0
解决海量数据计算、降低企业成本的利器——MaxCompute
MaxCompute能向用户提供完善的数据导入方案,以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。
1927 0
+关注
隐林
阿里云大数据产品专家,擅长MaxCompute、机器学习、分布式、可视化、人工智能等大数据领域;
288
文章
38
问答
来源圈子
更多
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
+ 订阅
相关文档: MaxCompute
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载