一、场景
客户A需要对生产和开发环境的Hive SQL/Spark SQL根据任务优先级指定YARN资源队列,提高任务执行效率和资源利用率,在Dataphin上如何实现?
二、解决方案及功能
Dataphin支持根据任务优先级指定YARN资源队列
①【计算源-队列信息配置】配置资源队列,具体可以联系Hadoop的运维团队或者是从yarn-site.xml中获取资源队列的信息
②【运维-周期任务/手动任务】配置任务优先级,如果租户开启了基线功能,任务优先级仅支持配置最低、低、中;高和更高的任务优先级只支持基线任务使用
③Dataphin的实例从调度集群的客户端每次提交Hive SQL/Spark SQL时,Hive/Spark会启动一个新的Session,并根据任务优先级指定的资源队列,在JDBC URL后面拼接资源队列信息
String jdbcUrl = "jdbc:hive2://<host>:<port>/;hive.queue.name=<queue_name>";
String jdbcUrl = "jdbc:hive2://<host>:<port>/;spark.scheduler.pool=<queue_name>";