MaxCompute常见问题（2019.04新版）

计量计费

购买开通

• MaxCompute计费常见问题
• 现在公司有数据统计分析的需求，已经在用RDS数据库，还应该开通什么服务？
• 从MaxCompute上下载数据，使用华东2的ECS云主机使用内网，收取流量费用吗？
• MaxCompute如何将后付费转换为预付费？
• MaxCompute数据存储有3.5T，把相关几张大的表格都删除后，显示的总数还是3.5T,是什么原因？会增加ODPS使用费用吗？
  

续费变更

• 如何关闭MaxCompute服务
• 以IO后计费的方式开通了MaxCompute，如何停用不自动续费功能？
• 没有进行MaxCompute的计算为什么有扣费操作?
• MaxCompute table有大小的阈值设置吗？
  

项目管理

项目操作

• 血缘信息上下游表的相关信息，多久会更新？为什么会有重名？
• 使用DataWorks提交任务时，${bdp.system.bizdate}这个时间,如果想取一年前、一个月前、半年前和一周前分别怎么操作？
• 如何删除MaxCompute项目
• 客户端运行odpscmd -f cmd_file，cmd_file中能有变量吗？
• 有类似ptkill之类的方法批量kill超时任务的方式吗？
• mapjoin中大表和小表是否可以互换位置？
• 如何通过MaxCompute做分布式处理并访问外网？
• MaxCompute客户端配置因本地时间不对导致超时
• 如何在客户端上查看任务信息？
• MaxCompute支持快照吗？changelog的设置方式是什么？
• ODPS中可以设置表的过期时间，是否有办法设置分区的过期时间?
• MaxCompute会有lock-in问题吗？
• MaxCompute是否支持restful接口？
• 运维中心补数据功能怎么使用？
• 新建子管理账号，但子账号不能访问MaxCompute的功能，是什么原因？
• 将开通数据保护的MaxCompute表数据导入另一项目空间
• 如何查看某个MaxCompute项目及每张数据表所使用的磁盘空间？
• 如何调用Package中的表？
• 项目Owner能否更换为子账号？
• MaxCompute页面“运行任务”一类的栏目功能在哪里能看到？
• 使用Use Project命令进入项目空间时为什么会报错Failed?
• 如果不调用com.aliyun.odps.Instance中的waitForSuccess()方法，是否导致数据有遗漏？
• MaxCompute在整个解决方案中的应用
  

项目资源

系统安全

用户授权

• 跨项目读取数据
• 子账号登录MaxCompute控制台看不到Project列表？
• MaxCompute如何保证数据安全
• 子账号无法访问大数据开发平台，提示缺少access id
• MaxCompute是否对外提供Xlib模块？
• MaxCompute授权报错：lack of account provider
• 如何把早期的MaxCompute项目添加到现在已开通的数加平台中？
  

项目数据保护与共享

• ODPS表为什么正在使用时找不到了？
• 数据上传到MaxCompute后的数据可靠性怎样？
  

审计脱敏

数据上传下载

Tunnel命令与SDK

• MaxCompute之Tunnel命令相关问题
• MaxCompute之Tunnel上传/下载相关问题
• MaxCompute之Tunnel上传典型问题场景
• MaxCompute的Web控制台的最大屏显行数
• odpscmd tunnel目录文件支持中文吗？
• odpscmd tunnel是否支持.dbf后缀非加密数据库文件?
• odpscmd tunnel是否支持多并发？
• Tunnel导入数据时候报错分区不存在
• Tunnel上传数据报错Blocks not match
• Tunnel SDK如何一次下载分区表里的所有分区
• 如何使用Tunnel下载指定的部分数据？
• Tunnel上传数据如何实现Overwrite的功能
• Tunnel SDK上传报错Error writing request body to server
• MaxCompute tunnel 命令续传数据
• MaxCompute控制台下载数据返回getTableDataCsv.json
• MaxCompute 数据导出分别有几种格式？
• 同一Region内使用Tunnel下载数据为什么也可能产生费用
• 使用Tunnel SDK上传报错为重复提交
  

数据通道

• 使用Tunnel或dship下载数据时，如何设置Endpoint？
• 如何删除已上传的脏数据？
• 请问datahub地址无论在内网还是外网都使用：http://dh.odps.aliyun.com这个地址吗？
• Fluented插件报错：ShardNotReady
• 调用 StreamWriter 向 MaxCompute 中写入数据时,报错：ErrorCode=MalformedDataStream?
• 上传数据的相关问题
• 如何从 MaxCompute 上批量导入数据到 ocs 业务场景需要定时从 MaxCompute 上将 k－v value 批量导入 ocs ？
• hubtable数据上传必须用java sdk吗，能不能用新版客服端就完成？
• MaxCompute 里存储的数据可以导给E-MapReduce吗?如果可以,怎么设置?
• DataHub相关问题
• 实际数据里包含分隔符的解决方案
• 导入数据实现动态分区
• Datahub和Tunnel应用场景的区别
• DataHub上传数据的限制
• 多线程上传数据时报错
  

SQL

SQL语句

• 报错If you really want to perform this join, try mapjoin
• 能否增加/更改分区？
• 分区数量是否越多越好？
• 如何用Mapjoin缓存多张小表？
• 如何查看MaxCompute数据量
• INSERT语句执行过程中出现错误，会损坏原有数据吗？
• 如何添加/删除列？
• 报错Table xx has n columns， but query has m columns
• 如何更新和删除数据？
• MaxCompute 里分区和分区列的区别
• 如何往MaxCompute表插入记录？
• 如何使用 not in，实现上万级别数据量的子查询？
• MaxCompute表如何设置自增长列？
• 如何查看某一天ODPS上执行的所有sql？
• 使用coalesce函数只要超过一个expression，报错FAILED: ODPS-0130071:Semantic analysis exception
• 设置MaxCompute表的主键
• Double类型数据精度问题
• 执行TO_DATE函数报错没有分钟部分
• 隐式类型转换错误
• 用SQL对Double类型数据进行比较
• 输入表过多
• 输出表的分区过多
• 执行SQL报错 FAILED: ODPS-0010000:System internal error - OTS filtering exception - Ots read range partitions exceeds the specified limit:10000
• 执行SQL报错：Repeated key in GROUP BY
• 报错：FAILED:ODPS-0130089 Invalid UDF reference - class not found for function
• 外关联后发现数据条数增加
• 删除分区报错
• 如何删除非分区表中的重复数据？
• Float类型数据应如何插入MaxCompute表
• 相同数据运行insert select 语句的结果和直接select的结果为什么不一致？
• 补数据的时候选择“写入前清理已有数据Insert Overwrite”，导致原库里面30G的数据被清理了，可以恢复吗？
• 已经指定了分区条件，为何还是会提示”禁止全表扫描”？
• 在ODPS中执行一个简单的SQL一直处于Job Quening...状态
• 查询SQL报错“ExceptionBase: ValidateJsonSize error: the size of compressed plan is larger than 1024KB”
• MYSQL中的SUBSTRING_INDEX函数在MaxCompute里没有
• 插入动态分区报错
• 报错：Expression not in GROUP BY key
• 使用odpscmd -e执行SQL语句是否有长度限制？
• odpscmd支持并行download表吗？
• 在odpscmd客户端执行的SQL能用到自己的ECS调度资源吗？如果有限制，如何增加资源？
• MaxCompute的列数限制
• MaxCompute中查询结果的排序
• MaxCompute如何非交互式运行MaxCompute SQL？
• 使用MaxCompute SQL自定义函数查询时，提示内存不够？
• MaxCompute与关系型数据库的区别
• MaxCompute支持虚拟表吗?
• product项目中运行Insert语句并使用动态分区，产生大量分区和记录数，一直没有运行完成，是什么原因？
• MaxCompute能否像MySQL一样灵活使用用户变量（即MySQL的@变量名）？
• [regexp_count(string source, string pattern[, bigint start_position]) 的第二个参数 pattern是否支持嵌入查询语句？](https://help.aliyun.com/knowledge_detail/101781.html)
• SELECT a.id as id > , IFNULL( concat('phsxxx', a.insy, 'xxxbxxx', IFNULL()报错； Semantic analysis exception - Invalid function : line 1:41 'ifnull'
• 所有的MaxCompute的配置、SQL能转移到另一个阿里云账号上吗？
• MaxCompute SQL执行提示输入的数据超过100G，怎么解决？
• MaxCompute如何将一条数据转多条？
• 可以一次add多个partition吗？
• 设置表的生命周期为3天，每个分区的存储量也很大，如果清理分区表旧数据？
• 如何查询才能少用分区计算量？分区设置能调整吗？
• 是否能将rds中的表一次性导入到MaxCompute中？
• Read Table及Select * From Table的屏显限制项
• 对于查询出的结果，目前看到提供了复制和下载功能，是否有哪些设置可以把这两个功能关闭掉？
• 使用SQLTask进行SQL查询时，如何获取所有数据？
• SQL Task返回结果集的数据量是否有限制？
• 使用SQLTask配合Tunnel实现超出1万行的运行结果导出
• 与标准SQL的主要区别及解决方法
• SQLTask查询数据和DownloadSession有何不同？
• 在MaxCompute里运行SQL命令，怎样能下载超过一万行的数据？
• MaxCompute为什么不能查看每条sql执行的费用？
• MaxCompute sql语句中like模糊查询的where条件支持正则表达式吗？
• sql执行报错ODPS-0121145:Data overflow - param convert to Double result is nan，input param is NaN，是什么原因？
• 多路输出的情况下，能否在reduce函数中拿到每一个label的输出表的表结构？
• select * from xxxx where to_char(xxx,'yyyy-mm-dd') = '2017-03-01' ;无法执行，是什么原因？
• 用SQL对Double类型数据进行round四舍五入，结果存在偏差
• 如果只同步100条数据，在where处应该怎样写limit？
• 做数据同步如何删除非分区表中的重复数据？
• 对一张表A做group by成表B,结果表B比原来表A的行数要少了，但是物理存储量表B却是表A的10倍，请问这个什么原因？
• 如果一个表下面有很多分区，需要清空这个表所有的分区，应该怎么操做?
• MaxCompute客户端SQL语句执行成功，但是会打印出异常信息
• 报错：FAILED: ODPS-0130071:Semantic analysis exception - line 6:0 Top level UNION is not supported
  

UDF

• 没有权限编写UDF
• 使用fastjson自定义函数时报错java.lang.NoClassDefFoundError: java/io/File
• 编写UDAF，报错：Resolve annotation not found
• ODPS上，有没有什么函数，可以把'2017-01-23'字符串转化为'20170123'
• MaxCompute表的decimal怎么设置成保留2位小数？
• MaxCompute有类似group_concat的函数吗？
• odps执行定时任务某个节点运行失败，log报错"skynet_packageid is null"
• MaxCompute是否支持Scipy？
• 如何通过自定义日志打印对UDAF进行线上调试
• UDAF函数参数的输入类型能否像内置函数一样接受任意参数类型？
  

外部表

• 查询OSS外部表报错java.lang.OutOfMemoryError: Java heap space
  

MapReduce

• write(Record key, Record value) 与 write(Record record) 的区别
• Main方法中如何判断一个表为空表?
• 如何在本地调用MaxCompute服务器运行Mapreduce任务？
• 报错：BufferOverflowException
• MaxCompute 上的 mapreduce 任务是否会对分区的数据进行覆盖?
• MapReduce常见问题
• 在MapOnly例子中，为什么程序没有指定输出Table的Schema格式
• 报错：Resource not found.
• Hadoop MapReduce源码能否直接应用于MaxCompute MapReduce？
• 使用MR报：class not found
• Mapper和Reducer相关问题
• MaxCompute MapReduce进行分布处理时，如何设置node？
• 如何打印MR/UDF中的日志？MR中是否可以只有Map？
• Reduce刚执行，就报错为内存溢出
• MR中指定两个jar，libjars和classpath
• 报错：Exception in thread “main“ java.io.IOException
• 报错：ODPS-0010000: System internal error - get input pangu dir meta fail
• 报错：Exception in thread "main" com.aliyun.odps.OdpsException: Table not found: project_name.table_name
• 报错：FAILED: ODPS-0123144: Fuxi job failed - WorkerRestart
• MR读取资源次数超过限制
• 报错：java.security.AccessControlException: access denied
• MapReduce实现排序顺序
• MapReduce中的Backups是什么？
• 在MapReduce程序中使用第三方类，打了一个assembly的jar包，运行时报找不到类的错误，应该怎样配置？
• 结果表中会保留两个MR计算之后的重复数据吗？
• [在DataWorks上件执行时logview总是显示Exceed maximum read times [256] per resource: 'RES_META_DICT_CITY'会对结果有影响吗？](https://help.aliyun.com/knowledge_detail/101808.html)
• 在MapReduce过程中OOM内存溢出应该调整什么参数？
• 运行MapReduce报错java.lang.OutOfMemoryError: Java heap space
  

SDK

JAVA SDK

• MaxCompute Java SDK执行任务卡顿如何处理？
• MaxCompute如何下载SDK的DOC？
• 报错：java.lang.ClassNotFoundException
• 报错：OpenJDK 64-Bit Server VM warning: Insufficient space for shared memory
• MaxCompute分析的结果如何传输到PHP开发的WEB应用中？
  

Python SDK(PyODPS)

• PyODPS安装常见问题
• PyODPS开发最佳实践
• PyODPS常见问题
• Dataframe如何获得count实际数字?
• MaxCompute对Python的支持
• 使用SQL"from odps import options options.sql.settings"设置ODPS运行环境不成功是什么原因？
• Shell或Python脚本中，如何执行MaxCompute命令？
  

优化诊断

小文件优化

• MaxCompute小文件有关场景及解决方案
  

作业诊断

• 双击客户端工具闪退
• 进行并发插入等操作报错
• FAILED: ODPS-0130121:Invalid argument type
• 创建的shell任务执行失败，运维中心无法查看失败原因
• DataWorks-运维中心-任务管理中查看某个任务属性，显示的状态是暂停，在数据开发-调度配置中有勾选暂停按钮吗？
• 数据集成操作时消息框提示order字段已经删除
• odpscmd -f 执行任务失败
• 日志服务同步日志到MaxCompute失败
• 同样的SQL语句查询同一个表为什么在不同项目里执行结果不一致？
• 数据同步报错可以配置用户邮件列表把出错的表发送给用户吗？
• 使用DataWorks时很多数据同步任务处于等待状态是什么原因？
• shell任务执行问题：调度资源管理添加的其中一台服务器一直显示“停止”