关于SDK导数据进入datahub,下面是需求样式,有谁会么-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

关于SDK导数据进入datahub,下面是需求样式,有谁会么

游客jsbjvuo37yvp2 2020-07-10 17:07:48 71

研究目标: 在MaxCompute平台上创建对应的数据表,在DataHub上建好Topic,两者建立映射关系。将Oracle数据表的数据写入DataHub,DataHub自动的将数据写入MaxCompute平台。一定间隔后,能在MaxCompute平台读取到数据。

研究流程: 1. 根据Oracle数据表的结构在MaxCompute平台上建立对应的数据表(可以用odpscmd_public客户端) 2. 在DataHub平台上建立一个Topic,并且和MaxCompute平台上建立的数据表建立映射关系,使Topic的数据能定时的自动导入MaxCompute平台。 3. 使用DataHub SDK写一个简单的Demo程序,将Oracle数据表的数据导入创建的DataHub Topic。数据可以自己生成,先不从Oracle数据库获取。导入的语法如果能兼容Kafka producer的语法最好,如果用Kafka producer的语法对数据表的结构有限制,就用DataHub自己的语法。 4. 如果能跑通,简单的做一下性能测试。

先看好文档,尤其是里面的跟MaxCompute集成的配置的例子,还有通过SDK上传数据的例子。

消息中间件 分布式计算 Oracle 关系型数据库 Kafka 测试技术 MaxCompute 开发工具 数据库
分享到
取消 提交回答
全部回答(0)
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

推荐文章
相似问题
推荐课程