关于SDK导数据进入datahub,下面是需求样式,有谁会么-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

关于SDK导数据进入datahub,下面是需求样式,有谁会么

2020-07-10 17:07:48 413 0

研究目标: 在MaxCompute平台上创建对应的数据表,在DataHub上建好Topic,两者建立映射关系。将Oracle数据表的数据写入DataHub,DataHub自动的将数据写入MaxCompute平台。一定间隔后,能在MaxCompute平台读取到数据。

研究流程: 1. 根据Oracle数据表的结构在MaxCompute平台上建立对应的数据表(可以用odpscmd_public客户端) 2. 在DataHub平台上建立一个Topic,并且和MaxCompute平台上建立的数据表建立映射关系,使Topic的数据能定时的自动导入MaxCompute平台。 3. 使用DataHub SDK写一个简单的Demo程序,将Oracle数据表的数据导入创建的DataHub Topic。数据可以自己生成,先不从Oracle数据库获取。导入的语法如果能兼容Kafka producer的语法最好,如果用Kafka producer的语法对数据表的结构有限制,就用DataHub自己的语法。 4. 如果能跑通,简单的做一下性能测试。

先看好文档,尤其是里面的跟MaxCompute集成的配置的例子,还有通过SDK上传数据的例子。

取消 提交回答
全部回答(0)
相关问答

0

回答

datahub数据源相关问题

2021-04-15 18:48:23 107浏览量 回答数 0

1

回答

DataHub的应用场景有哪些

2020-03-23 11:02:54 882浏览量 回答数 1

1

回答

您好有,datahub连接flink 的连接器吗?

2019-09-17 09:51:35 1110浏览量 回答数 1

1

回答

dataworks配置hybriddb for psql数据源,走外网jdbc是走公网流量还是内网?如果想走内网流量需要怎么配置?

2018-11-02 11:49:35 3228浏览量 回答数 1

8

回答

关于代金券,是否赠送给其他人

2018-04-04 19:39:16 4007浏览量 回答数 8

1

回答

ECS是否能够内网访问datahub?

2017-07-18 13:59:30 1436浏览量 回答数 1

1

回答

关于IE浏览器加载easyui-combotree问题

2016-07-08 16:28:33 1596浏览量 回答数 1

1

回答

dwz使用jQuery追加表格,原有的行有相应的css样式,但是用jQuery追加的行没有样式

2016-06-01 09:15:34 2495浏览量 回答数 1

2

回答

jquery选择器使用data-的性能如何?

2016-03-24 13:22:34 2281浏览量 回答数 2

1

回答

关于jquery的datagrid 插件中a标签传值的问题

2016-03-19 12:56:26 2171浏览量 回答数 1
0
文章
1
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载