问题一:大数据计算MaxCompute MMA迁移默认都是分区表么?
大数据计算MaxCompute MMA迁移默认都是分区表么?想日历表这种的,不是分区表,在迁移的时候默认会加上where ds的条件。
想问下,非分区表怎么可以使用工具迁移么?
参考答案:
不是。默认迁移的是table。非分区表只要填好表,就可以迁移。如果只迁移分区,在迁移任务中选择partition页签。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/573286
问题二:大数据计算MaxCompute 如果想实现A[:N]这种指定元素个数的取法可以咋写?
大数据计算MaxCompute 目前有个字段是 A ,是 collect_set 类型的
用A[0] 可以取初第一个值
但是用A[:] 或者A[:3]都会语法报错,
如果想实现A[:N]这种指定元素个数的取法可以咋写?
参考答案:
没有直接可以读取的函数。 你用POSEXPLODE吧数组展开,再读下标试试
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/573285
问题三:DataWorks如果 odps中spark请求一个内网地址如何配置这个呢 在config中配置么?
DataWorks中SET odps.session.networklink = Maxcomputer_boldvpc 如果 odps中spark请求一个内网地址 如何配置这个呢 在config中配置么?
参考答案:
在dataworks上配置么 还是?这个set session级别在这里odps spark节点上好像不能配置 只能项目级别看是否能配置
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/571719
问题四:DataWorks数据集成任务的数据来源可以选择其他MaxCompute命名空间么?
DataWorks数据集成任务的数据来源可以选择其他MaxCompute命名空间么,还是只能默认当前的命名空间?
参考答案:
可以的 再配置一个maxcompute数据源
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/571709
问题五:DataWorks数据传输完了 , 看到了脏数据字段, 这个咋处理啊?
DataWorks数据传输完了 , 看到了脏数据字段, 原始是 mediumtext 类型, 我这边存的是string 类型 , 感觉是长度超限 这个咋处理啊?
参考答案:
session级别设置set odps.sql.cfiles.field.maxsize=16384,默认8m不建议设置太大,会导致内存溢出。
setproject odps.sql.cfile2.field.maxsize=16384; 这个flag是用来项目级别限制每列字符串类型最大能写入的长度,单位为KB,默认8192(也就是8M),最大值262144。需要说明的是,String size在极端比较大的场景下,会有OOM问题的风险,所以是不建议设置比较大的值,目前设置到16384,是相对可控的,集成任务 应该只能项目级别设置
关于本问题的更多回答可点击进行查看: