研究目标: 在MaxCompute平台上创建对应的数据表,在DataHub上建好Topic,两者建立映射关系。将Oracle数据表的数据写入DataHub,DataHub自动的将数据写入MaxCompute平台。一定间隔后,能在MaxCompute平台读取到数据。
研究流程: 1. 根据Oracle数据表的结构在MaxCompute平台上建立对应的数据表(可以用odpscmd_public客户端) 2. 在DataHub平台上建立一个Topic,并且和MaxCompute平台上建立的数据表建立映射关系,使Topic的数据能定时的自动导入MaxCompute平台。 3. 使用DataHub SDK写一个简单的Demo程序,将Oracle数据表的数据导入创建的DataHub Topic。数据可以自己生成,先不从Oracle数据库获取。导入的语法如果能兼容Kafka producer的语法最好,如果用Kafka producer的语法对数据表的结构有限制,就用DataHub自己的语法。 4. 如果能跑通,简单的做一下性能测试。
先看好文档,尤其是里面的跟MaxCompute集成的配置的例子,还有通过SDK上传数据的例子。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。