你好,目前我们往maxcompute上传的数据都是结构的表数据,是我们在本地服务器对用户的行为日志分析后提取到的所需信息,在将这些结构化的数据上传到maxcompute。我想问一下,我们能不能直接把收集到的用户行为日志长传到maxcompute,然后在你们的服务上直接进行日志的分析,获得想要的信息再进行建表入库?这种复杂的数据筛选、清洗、提取,入库能实现吗?我所了解到的资料都是上传结构化的表数据啊,而且我看到“脚本开发”,只支持sql和shell语言。如果能实现,还需要用到什么服务啊?支持在maxcompute服务上直接写脚本跑程序吗?而且该服务上都支持什么开发语言啊?谢谢!
您可以考虑如下方案:
1 使用日志服务收集日志,并归档到maxcompute上再做数据分析
https://help.aliyun.com/document_detail/29001.html?spm=5176.product28958.6.648.M6KqKA
2、使用一个String字段先存这些日志内容,然后使用SQL/MR进行解析,mapreduce只支持java语言
3、使用maxcompute2.0的功能,日志您可以传到表格存储或者OSS:
https://help.aliyun.com/document_detail/45389.html?spm=5176.product27797.6.557.a6CyzZ
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。