MaxCompute产品使用合集之在datawoks的datastudio和odpscmd里执行时间没有问题,但是用jdbc连接大数据计算MaxCompute获取getdate()时间就不对,该怎么办

简介: MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

问题一:我在datawoks的打他studio和odpscmd里执行这种情况下也是在odpscmd里设置吗?

我在datawoks的打他studio和odpscmd里执行 时间都是对的

但是用jdbc连接大数据计算MaxCompute获取getdate()时间就不对,

这种情况下也是在odpscmd里设置吗? 感觉不应该呢



参考答案:

数据开发和odpscmd里执行getdate()结果对的话,项目属性里的时区应该没问题。

看一下本地的时区,可以参考下网上的办法https://wenku.baidu.com/view/9cbb6f03ef3a87c24028915f804d2b160a4e866d.html?_wkts_=1703648573508&bdQuery=Windows%E5%A6%82%E4%BD%95%E8%AE%BE%E7%BD%AE%E6%9C%AC%E5%9C%B0%E6%97%B6%E5%8C%BA&needWelcomeRecommand=1



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/584326



问题二:大数据计算MaxCompute这个是怎么设置的?

大数据计算MaxCompute这个是怎么设置的?



参考答案:

可以在odpscmd执行一下project级别的设置



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/584325



问题三:我问下大数据计算MaxCompute要是dataworks中配置的周期任务是属于这个样子的吗?

我问下大数据计算MaxCompute要是dataworks中配置的周期任务是属于console_query_task这个样子的吗?



参考答案:

这些字段信息没有透出,暂时不需要关注。 如果要查看是否为DataWorks周期任务,可以看任务ID



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/584321



问题四:大数据计算MaxCompute选了一个表来看,我分别用API获取到他的datasize这个怎么解释?

大数据计算MaxCompute选了一个表来看,我分别用API获取到他的datasize、desc获取、数据地图查看,但是我发现desc获取出来的是差不多是API获取的3倍哦,这个怎么解释?



参考答案:

先从mc的层面来获取,看看

desc extended的结果;

元数据视图的信息(TABLES表的data_length字段):https://help.aliyun.com/zh/maxcompute/user-guide/overview-of-information-schema?spm=a2c4g.11186623.0.i202#6ae253f035qx9

ListTables api的获取结果:https://help.aliyun.com/zh/maxcompute/user-guide/api-maxcompute-2022-01-04-listtables?spm=a2c4g.11186623.0.0.37f572f66L0Onl

若元数据视图里的结果应该和desc的结果一致。,则以desc 结果的size为准

如果要是算费用,最准确的是用量明细

用量明细是项目纬度,没小时采集一次,不包含小文件啥的,然后一天按24求平均后计费;

desc 结果是对当时表存储量的展示,是实时的。

这俩口径不一样。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/584318



问题五:大数据计算MaxCompute出现这种问题我们这边可以取消限制吗?

大数据计算MaxCompute出现这种问题我们这边可以取消限制吗?



参考答案:

那就是dw的屏显显示了,数据太大了展示不出来



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/584317

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
Java 数据库连接 数据库
【YashanDB知识库】WAS配置YashanDB JDBC连接
【YashanDB知识库】WAS配置YashanDB JDBC连接
|
安全 Java 数据库连接
gbase8a JDBC常用特性-Kerberos认证方式连接
JDBC常用特性-Kerberos认证方式连接
|
Java 数据库连接 网络安全
JDBC常用特性-SSH隧道连接
JDBC常用特性-SSH隧道连接
|
Java 数据库连接
JDBC连接复习
JDBC连接复习
220 1
|
Java 大数据 数据库连接
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
283 2
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
|
SQL Java 数据库连接
Java开发者必知:JDBC连接数据库的“三大法宝”
Java开发者必知:JDBC连接数据库的“三大法宝”
183 7
|
SQL Java 数据库连接
JDBC连接SQL Server2008 完成增加、删除、查询、修改等基本信息基本格式及示例代码
这篇文章提供了使用JDBC连接SQL Server 2008数据库进行增加、删除、查询和修改操作的基本步骤和示例代码。
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
402 0
|
SQL 分布式计算 大数据
"大数据计算难题揭秘:MaxCompute中hash join内存超限,究竟该如何破解?"
【8月更文挑战第20天】在大数据处理领域,阿里云的MaxCompute以高效稳定著称,但复杂的hash join操作常导致内存超限。本文通过一个实例解析此问题:数据分析师小王需对两个共计300GB的大表进行join,却遭遇内存不足。经分析发现,单个mapper任务内存默认为2GB,不足以支持大型hash表的构建。为此,提出三种解决方案:1) 提升mapper任务内存;2) 利用map join优化小表连接;3) 实施分而治之策略,将大表分割后逐一处理再合并结果。这些方法有助于提升大数据处理效率及稳定性。
554 0
|
Java 关系型数据库 MySQL
mysql5.7 jdbc驱动
遵循上述步骤,即可在Java项目中高效地集成MySQL 5.7 JDBC驱动,实现数据库的访问与管理。
3054 1

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute