MaxCompute JDBC 2.0 beta中的一些变更说明

简介: 本文主要介绍了在MaxCompute JDBC 2.0 beta 之后就易用性方面对配置相关变更的说明

注:MaxCompute原名ODPS,是阿里云自研的大数据计算平台,文中出现的MaxCompute与ODPS都指代同一平台,不做区分

MaxCompute JDBC 2.0 beta 出于易用性的考虑,对配置相关的部分进行了一些变更,大致如下:

  • 添加了对日志配置的支持

新增了配置参数 log_conf_file 用一指定一个本地的配置文件来对日志功能进行定义。该日志功能利用了Java日志框架logback,所以指定的配置文件必须是一个与logback相兼容的配置文件。具体的配置方式见《手把手教你完成ODPS JDBC自定义日志配置》

  • 同化了URL及PROP参数名

之前JDBC的配置参数可以通过URL参数的方式传递,也可以在编程时通过Property的方式传递,且两种方式的参数Key是不同的,如下所示:

URL key Property Key Description
endpoint end_point the endpoint of the ODPS cluster
project project_name the current ODPS project
accessId access_id the id to access the ODPS service
accessKey access_key the authentication key
logview logview_host the host domain of the log view appeared in the log history
lifecycle lifecycle the lifecycle of the temp table using in query
charset charset the charset of the string
loglevel log_level the level of debug infomartion debug/info/fatal

为了便于记忆和使用,目前变更为在这两种方式中,以上两种Key将通用不作区分,且在两种Key同时存在的情况下,优先使用Property Key的入参。同时,如果在URL和Property中都传入同一参数(不区分Key的形式),将优先使用以Property方式传入的参数

  • 支持在JDBC URL中传入配置文件

之前在JDBC的URL串中传入参数时,存在一个麻烦的地方,即个别参数可能存在特殊字符。例如,有个别的access_key的末尾是以=结束的,这对URL参数的解析造成了干扰,唯一能做的就是需要用户提前对这些参数的值进行url encoding.

为了避免这种情况发生,目前支持在URL串上直接传入配置文件,如下:

jdbc:odps:http://10.101.xx.xx/api?odps_config=/Users/emerson/odps_config.ini

我们支持在URL上传入 odps_config 作为指定本地配置文件路径的参数。其中odps_config.ini的内容如下,就是简单的键值对:

 project_name=odps_dev
 access_id=xxxxx
 access_key=xxxxxxxxx
 log_conf_file=/Users/emerson/logback.xml
 ...

这些参数的Key与之前URL或Property的方式一致,且含有特殊字符的值也无须转义。

这里需要注意的是, odps_config 参数只支持以URL参数的方式传入,不支持Property的方式传入。一旦传递了该配置文件,将忽略所有通过URL或Property传入的参数。

另一点需要注意的是即使你在配置文件中指定了end_point,MaxCompute JDBC仍将使用JDBC URL串中的地址作为end_point,即http://10.101.xx.xx/api。

欢迎加入MaxCompute钉钉群讨论

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
SQL Java 大数据
Hive实战(03)-深入了解Hive JDBC:在大数据世界中实现数据交互
Hive实战(03)-深入了解Hive JDBC:在大数据世界中实现数据交互
885 1
|
SQL 前端开发 Java
大数据平台底层技术-JAVA篇-如何动态加载不同版本的 HIVE JDBC 驱动 - 一文读懂JAVA的类加载机制 1
大数据平台底层技术-JAVA篇-如何动态加载不同版本的 HIVE JDBC 驱动 - 一文读懂JAVA的类加载机制
|
Java 大数据 数据库连接
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
238 2
大数据-163 Apache Kylin 全量增量Cube的构建 手动触发合并 JDBC 操作 Scala
|
SQL 安全 Java
开启 Kerberos 安全认证的大数据环境中如何正确指定 HS2 的 jdbc url 地址?
开启 Kerberos 安全认证的大数据环境中如何正确指定 HS2 的 jdbc url 地址?
|
SQL Java 大数据
大数据平台底层技术-JAVA篇-如何动态加载不同版本的 HIVE JDBC 驱动 - 一文读懂JAVA的类加载机制 2
大数据平台底层技术-JAVA篇-如何动态加载不同版本的 HIVE JDBC 驱动 - 一文读懂JAVA的类加载机制
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
301 0
|
分布式计算 大数据 Java
MaxCompute产品使用合集之在datawoks的datastudio和odpscmd里执行时间没有问题,但是用jdbc连接大数据计算MaxCompute获取getdate()时间就不对,该怎么办
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
缓存 监控 druid
对比各大数据库连接池技术-Jdbc-Dbcp-C3p0-Druid-Hikaricp
对比各大数据库连接池技术-Jdbc-Dbcp-C3p0-Druid-Hikaricp
535 0
|
SQL Java 大数据
【大数据系列之JDBC】(七):JDBC解决字段名和Java中对象名不一致
【大数据系列之JDBC】(七):JDBC解决字段名和Java中对象名不一致
386 0
【大数据系列之JDBC】(七):JDBC解决字段名和Java中对象名不一致
|
SQL 存储 Java
【大数据系列之JDBC】(四):Statement存在SQL注入问题
【大数据系列之JDBC】(四):Statement存在SQL注入问题
318 0
【大数据系列之JDBC】(四):Statement存在SQL注入问题

相关产品

  • 云原生大数据计算服务 MaxCompute