亢海鹏
TA的个人档案
个人介绍
MaxCompute学习者。
擅长的技术
- Java
- Python
- 前端开发
- Linux
- 数据库
- 高分内容
- 最新动态
- 文章
- 问答
-
提交了问题
2020-05-29
SaaS模式云数据仓库MaxCompute 百问百答合集（持续更新20200724）
-
发表了文章 2020-04-06
MaxCompute问答整理之2020-03月
本文是基于本人对MaxCompute产品的学习进度，再结合开发者社区里面的一些问题，进而整理成文。希望对大家有所帮助。 问题一、在 MaxCompute SQL执行过程中，报错Table xx has n columns， but query has m columns如何处理？MaxCompute SQL使用INSERT INTO/OVERWRITE插入数据时，需要保证SELECT查询出 来的字段和插入的表的字段匹配，匹配内容包括顺序、字段类型，总的字段数量。目前 MaxCompute不支持插入表的指定字段，其他字段为NULL或者其他默认值的情况，您可以 在SELECT的时候设置成NULL，例如SELECT ‘a’,NULL FROM XX。 问题二、MaxCompute 中使用什么方法可以实现相同字段连接，将group by产生的同一个分组中的值连接起来，返回一个字符串结果。类似MySql中的group_concat()函数？MaxCompute可以使用WM_CONCAT函数来实现相同字段连接。具体函数说明可参考：https://help.aliyun.com/document_detail/48975.html 问题三、如何在MaxCompute Java SDK上使用Logview排错？MaxCompute Java SDK提供了Logview接口 i = SQLTask.run(odps, sql); String logview = odps.logview().generateLogView(i, 7 * 24); 问题四、如何进行增量数据同步到MaxCompute？可以尝试两种方式，一种不变的数据进行增量同步，一种是会变的数据进行增量同步(不推荐使用此方式，只有如不支持Delete语句),可参考文档：https://help.aliyun.com/document_detail/87157.html 问题五、MaxCommpute中，如何修改表的Hash Clustering属性？增加表的Hash Clustering属性语句如下： ALTER TABLE table_name [CLUSTERED BY (col_name [, col_name, ...]) [SORTED BY (col_name [ASC | DESC] [, col_name [ASC | DESC] ...])] INTO number_of_buckets BUCKETS]去除表的Hash Clustering属性的语法格式如下：ALTER TABLE table_name NOT CLUSTERED; 问题六、Tunnel上传数据的时候报错信息如下：You cannot complete the specified operation under the current upload or download status错误原因：Session过期或者已经Commit过，需要重新创建Session上传。Tunnel上传时每个Session的生命周期是一天，如果源表数据太大，导致Session超时任务失败时，建议将源表拆分成2个任务执行。 问题七、如何使用Clone table实现同region不同账号之间的MaxCompute的数据迁移？使用Clone table进行数据迁移操作，命令格式为CLONE TABLE <[src_project_name.]src_table_name> [PARTITION(spec), ...]TO <[dest_project_name.]desc_table_name> [IF EXISTS (OVERWRITE | IGNORE)] ;可参考文章：https://developer.aliyun.com/article/748158 问题八、MaxCompute Python UDF如何开启Python 3？在执行Python 3 UDF的SQL语句前增加set odps.sql.python.version=cp37;语句一起执行，即可开启Python 3。 问题九、MaxCompute中如何禁止/恢复生命周期功能？可使用禁止/恢复生命周期SQL来设置。具体语法如下： ALTER TABLE table_name [partition_spec] ENABLE|DISABLE LIFECYCLE; 问题十、MaxCommpute中，如何查看指定的表或者分区是否存在？可使用使用函数TABLE_EXISTS，查询指定的表是否存在。使用函数PARTITION_EXISTS，查询指定的分区是否存在。具体函数说明可参考：https://help.aliyun.com/document_detail/48976.html
-
发表了文章 2020-03-30
MaxCompute Information Schema功能详解
精彩视频回顾请点击：MaxCompute Information Schema 详解 以下为精彩视频内容整理：1.Information Schema简介；2.Information Schema安装使用；3.Information Schema常用场景；4.Information Schema使用建议。 一、Information Schema简介 （一）背景 MaxCompute是一种快速、完全托管的PB/EB级数据仓库解决方案。用户结构化的数据在MaxCompute中以行-列表的的形式存储，每天有千万级别的作业对这些表进行操作，同时有丰富完整的权限控制体系对这些资源访问进行约束控制。为了满足这些海量对象以及对象之间关系的管理、分析需求，MaxCompute提供了开放的元数据服务Information Schema。通过Information Schema用户可以对MaxCompute中管理的对象使用SQL进行全局分析，可以分析用户数据访问行为等，也可以利用这些数据构建自己的内部的元数据管理系统。MaxCompute的Information Schema提供了项目元数据及使用历史数据等信息。在ANSI SQL-92的Information Schema基础上，添加了面向MaxCompute服务特有的字段及视图。包含了22张视图，其中20张是基础对象及对象关系视图，2张是历史记录数据。 （二）数据产出 产出方式周期性离线+实时在线结合的方式进行数据产出。产出流程涉及多个系统，数据是存储在ODPS系统上确保数据可靠性。通过ODPS package+view的机制提供给用户，视图是project级别的。information schema数据安全依托ODPS已有的成熟安全机制。数据覆盖面广，对象关系进行展开，使用方便简单。 (三)Package+View机制(1)什么是view 基于 SQL 语句的结果集的可视化的表，包含行和列就像一个真实的表。通过视图我们可以向用户选择性、稳定地提供数据，隐藏复杂的实现细节。 (2)什么是PACKAGE Package是一种跨项目空间共享数据及资源的机制，我们可以把资源放到package中打包一起共享给其他project使用，相当于功能包。 (3)为什么要用PACKAGE 第一，共享简单，管理方便。不需要逐张view进行授权，后续对InformationSchema内容不需要额外授权操作。第二，安全，不需要管理庞大的用户，只需要对project进行授权。只需要授权project安装后，由project owner管理project内部谁能访问。 (四)视图信息 在上文中提到，InformationSchema包含了22张视图，其中20张是基础对象及对象关系视图，2张是历史记录数据。如下图所示，列出了这22张表，它们大概可以分为四类，其中只有历史数据表是带有分区字段ds，其他都为非分区表。 二、Information Schema安装使用 (一)安装 使用odpscmd或者DataWorks，注意需要PROJECT OWNER/SUPER ADMIN权限的执行。 如果需要project里面其他非project owner、super admin能使用information schema，可以通过ACL或者policy授权。 第一次使用时候由于字段不对，类型不对或者没有目标表权限等等会出现类似如下错误。FAILED: No 'Read' permission for entity 'projects/information_schema/registration/functions/udf_unixtime2str': Authorization Failed [4002], You don't exist in project information_schema. Context ID:353dbeb8-9798-4a3f-8c9f-c5aa0faed66f. --->Tips: CurrentProject:lightning; Pricipal:ALIYUN$shujia_demo@aliyun-inner.com; No permission 'odps:Read' on resouce acs:odps:*:projects/information_schema/registration/functions/udf_unixtime2str 从query可能看不出来什么，有时候用户就是insert overwrite table xxx select * from information_schema.tasks_history。 Q:为什么只是访问information_schema所有表出错？ A:因为部分视图使用了udf，也有用户部分表的schema是对的，比如只有history表带有分区ds字段，其他表是没有的。 (二)使用限制 (1)Information Schema提供的是当前项目的元数据视图，不支持跨项目的元数据访问。如果需要对多个项目的元数据进行统一查询、分析，需要分别获取各个项目中的元数据并整合在一起进行跨项目元数据分析。 (2)元数据系统表目前提供视图有一定时延，对元数据时效性要求较高的应用，建议使用SDK/CLI直接获取指定对象的元数据。 (3)历史数据视图目前只提供14天数据，其他数据为最近产出副本，如果需要长期分析，需要定期导出到用户空间。 (4)视图数据不支持tunnel等拷贝，需要执行odps sql。 三、InformationSchema常用场景 在上文中提到，InformationSchema包含了22张视图，下面对其中一部分视图的常用场景分别作介绍。 (一)TABLES、PARTITIONS (二)TASKS_HISTORY (三)TUNNELS_HISTORY (四)其它常用场景 四、Information Schema使用建议 (一)禁止掉SQL 1.0回退set odps.sql.planner.mode=lot; (二)adhoc查询历史表使用时候加上分区限制避免扫描所有的分区，如果是查询昨天以及之前的数据会更快，因为历史表是历史数据和当天实时数据的聚合，历史数据会定期进行range cluster，进行过滤时候扫描量更小。 (三)定期dump时候不要将时间刚刚好设置为0点，因为产出时间是有一定的延迟，可以考虑设置晚几十分钟。 (四)多个project数据时候可以通过设置二级分区(string ds, string project)，每个项目insert overwrite到自己分区，查询时候可以通过指定ds查询主账号下project数据。 (五)尽量不要用select* ， 类似insert into table xxxx select * from information_schema.tables，因为视图可能会在尾部进行字段扩展。 (六)使用权限表时候查询用户权限时候注意不要遗漏“all”，对应权限*，比如查询用户drop权限时候，过滤列表除了drop还要含有all。
-
发表了文章 2020-03-17
MaxCompute规格详解--合理的选择让您花更低的成本获得更高的业务价值
精彩视频回看请点击：MaxCompute规格详解 以下为精彩视频内容整理：在用户使用MaxCompute之前，都会考虑成本和业务两大问题。有些企业处在快速的发展期，在业务上对性能的要求比较高，例如计算业务对资源的需求是弹性的，要求峰谷明显，一段时间对资源的要求非常高，另一段时间对资源的要求是比较低的，这种类型属于业务优先于成本。还有一些企业对预算有严格的要求，例如进行合同制的企业，在前期必须要有明确的预算，但对性能的要求不是很高，只需要在当天能够完成任务。基于以上两大场景MaxCompute推出了一系列格和计费方式。 服务模式 MaxCompute服务模式 MaxCompute的服务模式有两种方式，按量计费和包年包月。开通MaxCompute相当于对服务进行注册，同时产生有协议的订单，订单成功后即可使用该服务。按量计费是指整个订单计费模式都为使用之后再按量计费，包括计算、存储、下载几大块主要功能。开通时为0元开通，开通后若不使用则无费用产生。包年包月是指订单计费模式为混合模式，计算资源是按包年包月进行预付费，存储和下载则为使用之后在按量计费。开通时需要预先对计算资源进行付款。 MaxCompute计费方式 MaxCompute费用由三部分组成，存储费用、计算费用和下载费用。 存储费用按存储的数据容量大小进行阶梯计费，包年包月套餐中有固定的存储量，超出部分按量计费。 计算费用包含SQL任务、MapReduce任务、Lightning任务及Spark任务。 SQL任务在按量付费时，如果是标准版，根据计算输入数据量及SQL的复杂度进行计算。如果是开发者版，根据计算输入量进行计算。在购买完包年包月的计算资源后，无需额外付费。 MapReduce任务在按量付费时，根据计算任务所消耗的计算时进行计费。在购买完包年包月的计算资源后，无需额外付费。 Lightning任务是根据查询输入量进行计算。 Spark任务在按量付费时，根据计算任务所消耗的计算时进行计算。在购买完包年包月的计算资源后，无需额外付费。 下载费用按公网下载的流量进行计费。对上传、内网的下载不产生费用。 规格介绍 按量计费 按量计费-标准版 按量计费包括标准版和开发者版，标准版的计算资源为极致的弹性计算资源，资源池为共享型，计算任务按需抢占，不可指定使用量也无使用限制。包括SQL（含UDF）、MapReduce、Spark、交互式分析（Lightning）、Graph等计算类型资源。存储资源的资源池为共享型，按需存储，无使用限制。包括表（Table）和资源（Resource）等存储。上传、下载数据资源的资源池为共享型，按需抢占，不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。针对标准版的计费说明，计算资源（CU）收费按各计算类型任务使用量计费。当前仅SQL、MR、Spark、交互式分析几类计算任务有计费。存储收费只收表（Table）存储的容量费用。且容量大小是压缩后的数据。数据上传、下载收费指数据上传至MaxCompute为免费；仅对通过公网下载进行按量收费。 按量计费-开发者版 开发者版的计算资源资源池为共享型，计算任务按需抢占资源，不可指定使用量，只提供MaxCompute SQL（支持使用UDF）、PyODPS计算资源；一个region只能有一个项目选择使用开发者版资源；每个项目最大作业并发数为5个；单作业最多只能占用10CU计算资源。存储资源的资源池为共享型，按需存储。每个项目最大存储量限制在500GB（含临时数据大小），超过500GB将无法存入。这两个因素的限制使得开发者版资源不适合作为生产资源。上传、下载数据资源的资源池为共享型，按需抢占，不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。针对开发者版的计费说明，计算资源（CU）收费：计算作业按照数据扫描量计费。每个月赠送价值100元的免费计算量，即每月可免费执行扫描666GB数据的作业量，超出部分将按量计费。存储收费：每个项目空间可免费且只能存储500GB资源。数据上传、下载收费：数据上传至MaxCompute为免费；仅对通过公网下载进行按量收费。 包年包月 包年包月-标准计算资源 计算资源包含计算资源单元和非预留计算资源两种。计算资源单元即为预留计算资源，是必选资源。资源池为独享型，按购买CU量固定分配资源。非预留计算资源为非必选资源，资源数量在[0，购买量]区间内且不可独享。计算任务只能占用预留和非预留计算资源。资源可以执行SQL（含UDF）、MapReduce、Spark、Graph等计算类型任务。存储资源的资源池为共享型，按需存储，无使用限制。包括表（Table）和资源（Resource）等存储。上传、下载数据资源的资源池为共享型，按需抢占，不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。针对标准计算资源的计费说明，计算资源（CU）收费：服务开通生成订单时就需要预先付费，按CU量和购买时长进行收费。预留和非预留资源单价不一样。存储收费：只收表（Table）存储的容量费用。且容量大小是压缩后的数据。数据上传、下载收费：数据上传至MaxCompute为免费；仅对通过公网下载进行按量收费。 包年包月-套餐版 针对计算资源，套餐中的预留计算资源为独享资源，按购买套餐固定分配计算资源。非预留计算资源为非必选资源，资源数量在[0，购买量]区间内且不可独享。计算任务只能占用预留和非预留计算资源。资源可以执行SQL（含UDF）、MapReduce、Spark、Graph等计算类型任务。存储资源的资源池为共享型，按需存储，无使用限制。包括表（Table）和资源（Resource）等存储。上传、下载数据资源的资源池为共享型，按需抢占，不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。针对套餐版的计费说明，计算资源（CU）收费：服务开通生成订单时就需要预先付费，按套餐和购买时长进行收费。预留和非预留资源单价不一样。存储收费：只收表（Table）存储的容量费用。且容量大小是压缩后的数据。每日按购买的套餐提供固定的存储量，超出的量另行计费。数据上传、下载收费：数据上传至MaxCompute为免费；仅对通过公网下载进行按量收费。 包年包月-非预留计算资源 针对计算资源，资源数量为[0,购买量]范围内的弹性资源池。购买后系统不预留资源，任务发起后，系统会在总资源池抢占并分配空闲资源。如果总资源池中空闲资源充足则可能为您分配所购买的最大CU量；如果总资源池繁忙则可能为您分配0CU。MaxCompute可保障您购买的非预留计算资源全天50%的计算力（一天计算力：资源数量*24小时）。资源可以执行SQL（含UDF）、MapReduce、Spark、Graph等计算类型任务。存储资源的资源池为共享型，按需存储，无使用限制。包括表（Table）和资源（Resource）等存储。上传、下载数据资源的资源池为共享型，按需抢占，不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。针对非预留计算资源的计费说明，计算资源（CU）收费：服务开通生成订单时就需要预先付费，按CU量和购买时长进行收费。存储收费：只收表（Table）存储的容量费用。且容量大小是压缩后的数据。数据上传、下载收费：数据上传至MaxCompute为免费；仅对通过公网下载进行按量收费。 选择和使用 计算资源的选择 如何选择生产计算资源，就要从计算资源需求的场景来考虑。对于极致的弹性计算资源需求，资源为按量计费标准版，计算资源弹性使用，按量付费，其中SQL单价为0.3元/GB/1复杂度。规格优势在于资源不受限，峰值有保障，劣势在于费用不受控，目前有消费监控告警。对于重预算、重基线的场景需求，资源类型为包年包月预留计算资源，独享计算资源，购买后系统固定预留CU。包年包月标准版和套餐中的计算资源单元均为预留计算资源。其中标准版预留计算资源单价为150元/CU/月。规格优势在于资源独享，预算可控，劣势在于资源受限不利于超高峰值任务。对于重预算、轻基线的场景需求，资源类型为包年包月非预留计算资源，预付弹性计算资源池，购买后使用时可获得[0，购买量]的弹性资源，单价为40元/CU/月。资源优势在于价格低廉，预算可控，劣势在于资源不可独享，忙时不能保障峰值。 资源类型的使用 按量付费使用 对于按量付费中的计算资源使用，开通按量计费模式以后，就拥有了共享资源池的使用权，同时创建一个或多个project，就可以指定的使用资源池。MaxCompute会分配共享资源池作为默认资源组，创建MaxCompute project时只要选择按量计费模式，project都是绑定这个默认公共资源组。当project里发起task，则按需占用该资源池资源。它的优势在于使用灵活，无需对资源进行管理，只需要按业务进行项目规划。重点提醒的是需要配置好相关消费监控告警，避免预料外的高额账单。对于按量付费中的存储资源使用，无使用限制，无需关注存储资源，只需要按业务需求进行数据存放。重点提醒的是管理好数据生命周期，存在多project时，在满足业务需求的同时集中存放数据。 包年包月预留资源使用 购买预留计算资源时，开通包年包月模式，选择“标准计算资源”，同时非预留计算资源为0；或者选择3种套餐中的任何一种，同时非预留计算资源为0。使用非预留计算资源时，购买包年包月计算资源后，系统默认给分配一个资源组，其中只包含预留计算资源。可以在MaxCompute管家中创建二级quota组细分资源，如果不细分，则只有1中的默认quota组。Project指定使用包年包月计算资源（默认quota组）后，到MaxCompute管家指定具体quota组。Project中单个task按业务需求可通过quota tag功能指定到其他二级quota组执行。 包年包月非预留资源使用 购买非预留计算资源时，当前仅在国内上海、北京、杭州、深圳4个region可购买，其他地区的region没有开放。购买时有两种方式，组合购买和单独购买，同时也要根据自己的业务需求购买。组合购买，即标准计算资源或套餐购买的同时加购非预留计算资源。通过购买100CU和300ECU后，系统默认给分配一个资源组。可以在MaxCompute管家中创建二级quota组细分资源，一组为默认100CU，另一组为300ECU。Project指定使用默认quota组后，到MaxCompute管家指定具体quota组。Project中单个task按业务需求可通过quota tag功能指定到其他二级quota组执行。如果没有进行细分，这种方式会优先使用预留资源，通过细分预留资源可以进行一些重要的任务，非预留资源可以进行一些峰值高、对性能要求不是很高的任务。单独购买，即只购买使用非预留计算资源。购买300ECU后，默认quota组中会有300ECU，project中的所有任务都会使用默认quota组的计算资源。所有的规格在不同的模式中都是可以切换使用的，比如刚开始使用的是开发者版，也可以切换成标准版来使用，但是不可以将标准版切换成开发者版。使用包年包月时，开通后只能选择一个规格，当有需求时也可以通过升级和降配的页面切换成另外的规格。Project创建时，刚开始选择按量付费，在使用过程中也可以切换成包年包月资源，或者刚开始选择包年包月，在使用过程中也可以切换成按量付费。 包年包月和按量计费混合使用 在实际使用时，也可以按业务需求，同时开通两种模式，混合使用。比如，任务的业务数据量很大但是时间要求不高，按量计费不划算可以使用包年包月资源慢慢执行。再比如，任务需要重点保障时间，且峰值很高，包年包月按峰值数量购买的话很多时间又闲置不划算，买少了又不能保障峰值和时间，可以放到按量计费资源执行。 示例 案例一：MaxCompute按量计费如上图所示，此案例的需求特点是业务处在需要快速发展阶段，对数据基线要求高，集群利用率低，业务计算闲时占比大于50%，计算峰值是平均水位的大于2倍。这时，推荐规格为按量付费，业务处在高速发展期，使用MaxCompute相比于IDC自建集群，可以省掉集群运维成本，同时灵活的弹性资源可以满足爆发式分析资源需求。 案例二：MaxCompute包年包月此案例的需求特点是成本控制严格，特别关注低质量SQL对计费的影响，如果是预算合同制，通过按量不容易估算成本。在前期可评估每天平均作业量和数据量，计算峰值所需核数是平均水位的5倍，但对生产性能要求不高。这时，推荐规格为包年包月的预留资源加非预留预付。如上图所示，通过独占计算资源和非预留系统抢占式计算资源的方式，以预留独享计算资源保障重要业务，非预留作为非保障业务峰值扩充资源。 大家如果对MaxCompute有更多咨询或者建议，欢迎扫码加入 MaxCompute开发者社区钉钉群，或点击链接 申请加入。
-
发表了文章 2020-03-06
MaxCompute问答整理之2020-02月
本文是基于本人对MaxCompute产品的学习进度，再结合开发者社区里面的一些问题，进而整理成文。希望对大家有所帮助。 问题一、子账号无法访问DataWorks工作空间，提示缺少AccessKey ID，但这个账号已经有AccessKey ID的，是什么原因造成无法访问？在控制台的个人信息中进行绑定AK信息，才可以使用大数据开发平台。 问题二、MaxCompute使用Tunnel命令上传数据时，源文件是csv格式，字段中有逗号分隔的数据，上传会被拆分成多列，这个怎么设置能避免这个问题？如果描述字段中本身有逗号的话，建议转换数据的分隔符为其他符号，即修改csv文件的默认分隔符为其他分隔符。再通过-fd指定为其他分隔符进行上传。 问题三、如何查看MaxCompute JDBC Driver的日志？MaxCompute JDBC Driver的日志默认放在Driver Jar包所在的同级目录，文件名为jdbc.log。如果将用户代码与Driver打包为一个超级Jar，日志将会在超级Jar所在的同级目录。 问题四、MaxCompute有数据库一致性和锁的处理机制吗？MaxCompute支持ACID语义原子性（Atomicity）：一个操作或是全部完成，或是全部不完成，不会结束在中间某个环节。一致性（Consistency）：从操作开始至结束的期间，数据对象的完整性没有被破坏。隔离性（Isolation）：操作独立于其它并发操作完成。持久性（Durability）：操作处理结束后，对数据的修改将永久有效，即使出现系统故障，该修改也不会丢失。 问题五、在MaxCompute中运行SQL语句查询表test中数据，test表中数据为1万条，查询一直处于Job Quening...状态，无法执行，原因是什么？请排查任务运行状态，可能有个任务运行完了所有的资源，请先中止或者等待此任务。可以在MaxCompute客户端中运行Show Instances/Show P命令来查看实例信息。 问题六、使用MaxCompute SQLTask执行cost sql sql命令时报错ODPS-0130161:[1,1] Parse exception - invalid token 'cost'怎么解决呢？需要使用Java SDK中的SQLCostTask接口来实现单条SQL费用的查询。接口使用方式可以参考：https://www.javadoc.io/doc/com.aliyun.odps/odps-sdk-core/latest/com/aliyun/odps/task/SQLCostTask.html 问题七、MaxCompute中为什么SQL查询不同的分区，费用差异比较大？分区Size较大就会造成费用较多。您可以使用desc table_name partition(pt_spec)命令查看具体分区大小。分区表的意义在于优化查询。查询表时通过WHERE子句查询指定所需查询的分区，避免全表扫描，提高处理效率，降低计算费用。 问题八、MaxCompute中如何删除生产环境的表？可以在MaxCompute客户端或DataStudio中使用 drop table project_name.table_name; 删除生产环境的表。 问题九、MaxCommpute中，是否可以添加或删除列？可以添加列，但不可以删除列。如果有删除列的需求，可以新建表，再重命名表。 问题十、如何理解开源与云原生的大数据技术与产品？2020 大数据技术公开课第一季《从开源到云原生，你不得不知的大数据实战》，通过比较和实操，帮助开发者们更好的理解和掌握大数据技术。大家可以通过文字和视频观看学习。https://yq.aliyun.com/articles/744581 欢迎扫码加入 MaxCompute开发者社区钉钉群，或点击链接 申请加入。
滑动查看更多
2020年08月
-
08.05 15:42:30
回答了问题
2020-08-05 15:42:30
请问MaxCompute中的表存储信息中的数据最后变更时间是在什么时候会发生变化。
您好，MaxComptue 表有两个last time， LastDDLTime：最后一次DDL操作时间。 LastModifiedTime：表中的数据最后一次被改动的时间。
如有更多疑问咨询可以加入MaxCompute开发者社区钉群点击链接
赞0 踩0 评论0
2020年07月
-
07.24 11:14:55回答了问题
2020-07-24 11:14:55
Spark并发从Maxcompute获取数据，出现数据类型转换异常
您好，这一列应该是String，但是Spark用getTimestamp获取数据，可以把数据改成getTimestamp试试。 如有更多疑问咨询可以加入MaxCompute开发者社区钉群点击链接
赞0 踩0 评论0 -
07.24 11:01:38回答了问题
2020-07-24 11:01:38
请问，MaxCompute支持mapreduce进行mapjoin开发嘛
您好，在sql中有map join可以参考 参考文档： https://help.aliyun.com/document_detail/73785.html 如果使用MapReduce实现map join可以参考开源。
如有更多疑问咨询可以加入MaxCompute开发者社区钉群点击链接
赞0 踩0 评论0 -
07.15 18:37:53
发表了文章
2020-07-15 18:37:53
MaxCompute问答整理之2020-06月
MaxCompute问答整理之2020-06月
-
07.08 16:52:31回答了问题
2020-07-08 16:52:31
如何查看MaxCompute JDBC Driver的日志？
MaxCompute JDBC Driver的日志记录了对JDBC接口调用的详细信息，包括调用的类名、方法名、行数、参数以及返回值等。通过这些信息，用户可以轻松地进行Debug。 MaxCompute JDBC Driver的日志默认放在Driver Jar包所在的同级目录，文件名为jdbc.log。 如果将用户代码与Driver打包为一个超级Jar，日志将会在超级Jar所在的同级目录。
如有更多疑问咨询可以加入MaxCompute开发者社区钉群点击链接
赞0 踩0 评论0 -
07.02 16:45:54回答了问题
2020-07-02 16:45:54
maxcomputer与Dataworks有什么区别在使用场景上，还有本质上？
您好，两款产品是不同类型的云产品哈。
MaxCompute是一款云原生、高效能的企业级数据仓库服务。 它构建在阿里云大规模计算、存储资源之上，以Serverless架构提供全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，并最小化用户的运维投入。MaxCompute支持多种经典计算模型（批处理、机器学习、交互式分析等）和完善的企业管理功能，借助MaxCompute，企业可轻松集成和管理企业数据资产，简化数据平台架构，加速价值实现。
DataWorks（数据工场，原大数据开发套件）是阿里云重要的PaaS平台产品，为您提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。 DataWorks为MaxCompute提供一站式的数据同步、业务流程设计、数据开发、管理和运维功能。
温馨提示：MaxCompute可以简拼为MC或MaxC。 如果可以的话，麻烦您把提问的错误拼写修改一下哈。 十分感谢。
如有其他疑问，您可以加入MaxCompute开发者社区钉群进行咨询。点击加入
赞0 踩0 评论0 -
07.01 11:40:59回答了问题
2020-07-01 11:40:59
MaxCompute常见问题：MaxCompute 其他使用问题
收藏~
赞0 踩0 评论0
2020年06月
-
06.29 10:53:07回答了问题
2020-06-29 10:53:07
maxcompute jdbc 日志重复打印重大bug
您好，问题已反馈给研发。感谢您的反馈，后续会版本更新哈。
如有更多疑问咨询可以加入MaxCompute开发者社区钉群点击链接申请
赞0 踩0 评论0 -
06.24 10:06:58回答了问题
2020-06-24 10:06:58
MaxCompute （原odps）的表的数据类型升级要怎么使用？想要使用varchar类型。
您好，可以直接在SQL语句前执行 set odps.sql.type.system.odps2=true;
如：set odps.sql.type.system.odps2=true;
create table if not exists test_var(test VARCHAR(20));
如有更多疑问咨询可以加入MaxCompute开发者社区钉群点击链接
赞0 踩0 评论0 -
06.10 17:20:35
-
06.10 10:51:24回答了问题
2020-06-10 10:51:24
MaxCompute-VPC IP白名单是否支持设置地址段
支持，如：setproject odps.security.vpc.whitelist=cn-beijing_125179[100.116.0.0/16];
如有更多疑问咨询可以加入MaxCompute开发者社区钉群点击链接
赞0 踩0 评论0 -
06.04 11:04:47发表了文章
2020-06-04 11:04:47
MaxCompute问答整理之2020-04~05月
MaxCompute问答整理之2020-04~05月
2020年05月
-
05.29 15:10:00提交了问题
2020-05-29 15:10:00
SaaS模式云数据仓库MaxCompute 百问百答合集（持续更新20200724）
-
05.21 11:08:19回答了问题
2020-05-21 11:08:19
Datahub同步maxcompute，对maxcompute进行覆盖修改
您好，同步过程中是没有办法去重的，可以在源端处理，或者在MaxCompute中试下distinct。 如有更多疑问咨询可以加入MaxCompute开发者社区钉群点击链接或扫一扫下方二维码加入
赞0 踩0 评论0 -
05.21 10:43:11回答了问题
2020-05-21 10:43:11
xml接口数据想要集成到MaxCompute中，使用什么产品或组件？
您好，暂时没有插件。xml的数据可以先使用实时计算处理一下，再写入到MaxCompute。json的数据MaxCompute可以直接处理，可以参考文档：https://help.aliyun.com/document_detail/96866.html 更多疑问咨询可以加入MaxCompute开发者社区 点击链接或扫一扫下方二维码加入
赞0 踩0 评论0
2020年04月
-
04.23 16:21:26回答了问题
2020-04-23 16:21:26
E-Mapreduce和MaxCompute两者有什么区别？
您好，MaxCompute作为一款云原生、高效能的企业级数据仓库服务，构建在阿里云大规模计算、存储资源之上，以Serverless架构提供全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，并最小化用户的运维投入。MaxCompute支持多种经典计算模型（批处理、机器学习、交互式分析等）和完善的企业管理功能，借助MaxCompute，企业可轻松集成和管理企业数据资产，简化数据平台架构，加速价值实现。MaxCompute被广泛用于构建现代化企业数据平台，开展BI分析、数据化运营、画像及推荐、智能预测等应用场景。
MaxCompute兼容原生Spark：https://help.aliyun.com/document_detail/102357.html
MaxComptue兼容原生MapReduce：https://help.aliyun.com/document_detail/27875.html
赞0 踩2 评论0 -
04.06 11:31:21发表了文章
2020-04-06 11:31:21
MaxCompute问答整理之2020-03月
MaxCompute问答整理之2020-03月
2020年03月
滑动查看更多
-
发表了文章
2020-07-15
MaxCompute问答整理之2020-06月
-
发表了文章
2020-06-04
MaxCompute问答整理之2020-04~05月
-
发表了文章
2020-04-06
MaxCompute问答整理之2020-03月
-
发表了文章
2020-03-30
MaxCompute Information Schema功能详解
-
发表了文章
2020-03-17
MaxCompute规格详解--合理的选择让您花更低的成本获得更高的业务价值
-
发表了文章
2020-03-06
MaxCompute问答整理之2020-02月
-
发表了文章
2020-02-25
MaxCompute Spark与Spark SQL对比分析及使用注意事项
-
发表了文章
2020-02-06
MaxCompute问答整理之2020-01月
-
发表了文章
2020-01-06
MaxCompute问答整理之12月
-
发表了文章
2019-11-18
Hive数据如何同步到MaxCompute之实践讲解
-
发表了文章
2019-11-12
MySQL/RDS数据如何同步到MaxCompute之实践讲解
-
发表了文章
2019-11-01
这样才能正确解锁MaxCompute客户端
-
发表了文章
2019-11-01
MaxCompute问答整理之10月
-
发表了文章
2019-10-30
业务流程多节点依赖调度配置实践
-
发表了文章
2019-09-30
MaxCompute问答整理之9月
-
发表了文章
2019-09-06
MaxCompute开发者夏季颁奖礼~久久感谢有你
-
发表了文章
2019-09-02
MaxCompute问答整理之8月
-
发表了文章
2019-08-06
MaxCompute问答整理之7月
-
发表了文章
2019-07-15
MaxCompute问答整理之6月
滑动查看更多
-
回答了问题
2020-08-05
请问MaxCompute中的表存储信息中的数据最后变更时间是在什么时候会发生变化。
您好，MaxComptue 表有两个last time， LastDDLTime：最后一次DDL操作时间。 LastModifiedTime：表中的数据最后一次被改动的时间。
如有更多疑问咨询可以加入MaxCompute开发者社区钉群点击链接
赞0 踩0 评论0 -
回答了问题
2020-07-24
Spark并发从Maxcompute获取数据，出现数据类型转换异常
您好，这一列应该是String，但是Spark用getTimestamp获取数据，可以把数据改成getTimestamp试试。 如有更多疑问咨询可以加入MaxCompute开发者社区钉群点击链接
赞0 踩0 评论0 -
回答了问题
2020-07-24
请问，MaxCompute支持mapreduce进行mapjoin开发嘛
您好，在sql中有map join可以参考 参考文档： https://help.aliyun.com/document_detail/73785.html 如果使用MapReduce实现map join可以参考开源。
如有更多疑问咨询可以加入MaxCompute开发者社区钉群点击链接
赞0 踩0 评论0 -
回答了问题
2020-07-08
如何查看MaxCompute JDBC Driver的日志？
MaxCompute JDBC Driver的日志记录了对JDBC接口调用的详细信息，包括调用的类名、方法名、行数、参数以及返回值等。通过这些信息，用户可以轻松地进行Debug。 MaxCompute JDBC Driver的日志默认放在Driver Jar包所在的同级目录，文件名为jdbc.log。 如果将用户代码与Driver打包为一个超级Jar，日志将会在超级Jar所在的同级目录。
如有更多疑问咨询可以加入MaxCompute开发者社区钉群点击链接
赞0 踩0 评论0 -
回答了问题
2020-07-02
maxcomputer与Dataworks有什么区别在使用场景上，还有本质上？
您好，两款产品是不同类型的云产品哈。
MaxCompute是一款云原生、高效能的企业级数据仓库服务。 它构建在阿里云大规模计算、存储资源之上，以Serverless架构提供全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，并最小化用户的运维投入。MaxCompute支持多种经典计算模型（批处理、机器学习、交互式分析等）和完善的企业管理功能，借助MaxCompute，企业可轻松集成和管理企业数据资产，简化数据平台架构，加速价值实现。
DataWorks（数据工场，原大数据开发套件）是阿里云重要的PaaS平台产品，为您提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。 DataWorks为MaxCompute提供一站式的数据同步、业务流程设计、数据开发、管理和运维功能。
温馨提示：MaxCompute可以简拼为MC或MaxC。 如果可以的话，麻烦您把提问的错误拼写修改一下哈。 十分感谢。
如有其他疑问，您可以加入MaxCompute开发者社区钉群进行咨询。点击加入
赞0 踩0 评论0 -
回答了问题
2020-07-01
MaxCompute常见问题：MaxCompute 其他使用问题
收藏~
赞0 踩0 评论0 -
回答了问题
2020-06-29
maxcompute jdbc 日志重复打印重大bug
您好，问题已反馈给研发。感谢您的反馈，后续会版本更新哈。
如有更多疑问咨询可以加入MaxCompute开发者社区钉群点击链接申请
赞0 踩0 评论0 -
回答了问题
2020-06-24
MaxCompute （原odps）的表的数据类型升级要怎么使用？想要使用varchar类型。
您好，可以直接在SQL语句前执行 set odps.sql.type.system.odps2=true;
如：set odps.sql.type.system.odps2=true;
create table if not exists test_var(test VARCHAR(20));
如有更多疑问咨询可以加入MaxCompute开发者社区钉群点击链接
赞0 踩0 评论0 -
回答了问题
2020-06-10
MaxCompute-VPC IP白名单是否支持设置地址段
支持，如：setproject odps.security.vpc.whitelist=cn-beijing_125179[100.116.0.0/16];
如有更多疑问咨询可以加入MaxCompute开发者社区钉群点击链接
赞0 踩0 评论0 -
提交了问题
2020-05-29
SaaS模式云数据仓库MaxCompute 百问百答合集（持续更新20200724）
-
回答了问题
2020-05-21
Datahub同步maxcompute，对maxcompute进行覆盖修改
您好，同步过程中是没有办法去重的，可以在源端处理，或者在MaxCompute中试下distinct。 如有更多疑问咨询可以加入MaxCompute开发者社区钉群点击链接或扫一扫下方二维码加入
赞0 踩0 评论0 -
回答了问题
2020-05-21
xml接口数据想要集成到MaxCompute中，使用什么产品或组件？
您好，暂时没有插件。xml的数据可以先使用实时计算处理一下，再写入到MaxCompute。json的数据MaxCompute可以直接处理，可以参考文档：https://help.aliyun.com/document_detail/96866.html 更多疑问咨询可以加入MaxCompute开发者社区 点击链接或扫一扫下方二维码加入
赞0 踩0 评论0 -
回答了问题
2020-04-23
E-Mapreduce和MaxCompute两者有什么区别？
您好，MaxCompute作为一款云原生、高效能的企业级数据仓库服务，构建在阿里云大规模计算、存储资源之上，以Serverless架构提供全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，并最小化用户的运维投入。MaxCompute支持多种经典计算模型（批处理、机器学习、交互式分析等）和完善的企业管理功能，借助MaxCompute，企业可轻松集成和管理企业数据资产，简化数据平台架构，加速价值实现。MaxCompute被广泛用于构建现代化企业数据平台，开展BI分析、数据化运营、画像及推荐、智能预测等应用场景。
MaxCompute兼容原生Spark：https://help.aliyun.com/document_detail/102357.html
MaxComptue兼容原生MapReduce：https://help.aliyun.com/document_detail/27875.html
赞0 踩2 评论0 -
回答了问题
2019-11-25
Maxcompute 资源怎么调用资源
您好，您可以通过调取第三方包实现。您可以参考MaxCompute官方文档： pyODPS使用第三方包 如有其它问题，您可在MaxCompute开发者社区中进行交流沟通。 可点击链接加入：邀请链接或扫码加入
赞0 踩0 评论0 -
回答了问题
2019-10-16
HiTSDB的数据如何集成到maxcompute或其他组件？
您好，您的问题可能需要您提供更加详细的资料及业务流程。您可以添加我的钉钉，咱们详细沟通一下。
赞0 踩0 评论0 -
回答了问题
2019-09-18
maxcompute有无sdk去创建任务的调度
可以看看DataWorks控制台中的运维中心。可以加入MaxCompute开发者社区沟通更多技术和产品问题。 欢迎加入“MaxCompute开发者社区2群”,点击链接申请加入或扫描二维码 欢迎加入“MaxCompute开发者社区2群”,点击链接申请加入或扫描二维码 https://h5.dingtalk.com/invite-page/index.html?bizSource=source&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
赞0 踩0 评论0 -
回答了问题
2019-09-18
Quick BI加载MaxCompute数据时报错
加上分区字段的查询范围。 可以加入MaxCompute开发者社区沟通更多技术和产品问题。 欢迎加入“MaxCompute开发者社区2群”,点击链接申请加入或扫描二维码 欢迎加入“MaxCompute开发者社区2群”,点击链接申请加入或扫描二维码 https://h5.dingtalk.com/invite-page/index.html?bizSource=source&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
赞0 踩0 评论0 -
回答了问题
2019-09-12
通过MaxCompute访问OTS可以使用多元索引吗？
MaxCompute是不支持的。 可以加入MaxCompute开发者社区沟通更多技术和产品问题。 欢迎加入“MaxCompute开发者社区2群”,点击链接申请加入或扫描二维码 欢迎加入“MaxCompute开发者社区2群”,点击链接申请加入或扫描二维码 https://h5.dingtalk.com/invite-page/index.html?bizSource=source&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
赞0 踩0 评论0 -
回答了问题
2019-08-16
maxcompute sql中给column设定alias不能加入“+”，"?"，"*"等特殊字符
别名的命名尽量不要使用特殊字符。
可以加入MaxCompute开发者社群和更多开发者讨论学习。
赞0 踩0 评论0
滑动查看更多