有这样一个场景:输入数据是在MaxCompute(原ODPS)上存储的一个表,数据格式是id, kv_string(k1:v1,k2:v2,k3:v3.....),在前端触会通过点击触发发工作流,完成计算输出结果返回,这里的第一步就是根据前端传入的key的列表,从这个kv表中把数据取出来变成一个宽表。
现在的思路是这样的: step1: 根据前端传入的参数名称列表以及服务器上的参数对照表,完成建表;
step2: 把数据插入到表里,这个是在服务器上读取kv表内容,把数据写入到宽表上更好还是通过一个mr任务完成这个
操作;
step3: 用宽表进行其它计算,返回计算结果
请问,根据前端传入的列名创建宽表并往宽表写入数据还有其它更好的方法吗?
创建表可以用SQL也可以用SDK,这都能做,而您后面的数据计算,如果是列不定长,用SQL相对比较复杂,建议是用MR。然后结合起来,您的建表也可以用SDK来创建
SDK创建表可以参考
https://help.aliyun.com/document_detail/34614.html?spm=5176.product27797.6.681.FitIYj#h1-tables
在本地调用MR作业可以参考:
这个应该对您有帮助
https://help.aliyun.com/knowledge_detail/40232.html?spm=5176.7840230.2.4.ijZzCY
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。