Flink hive-site.xml里面配置了【hive.metastore.uris】、【hive.metastore.sasl.enabled】和【hive.metastore.kerberos.principal】,想问下还需要什么其他配置吗?
这些参数的具体值可以根据实际需求进行修改和配置,以满足您的Hive和Spark环境的要求。
hive.metastore.uris:Hive元数据存储的URI。
hive.metastore.client.socket.timeout:Hive元数据客户端套接字超时时间。
hive.metastore.warehouse.dir:Hive数据仓库目录。
hive.warehouse.subdir.inherit.perms:子目录是否继承权限。
hive.auto.convert.join:自动转换连接类型的Join操作。
hive.auto.convert.join.noconditionaltask.size:自动转换连接类型的Join操作时条件不满足的最大数据量。
hive.optimize.bucketmapjoin.sortedmerge:是否优化Bucket Map Join的Sorted Merge。
hive.smbjoin.cache.rows:SMB Join操作缓存的行数。
hive.server2.logging.operation.enabled:是否启用Hive Server2日志记录操作。
hive.server2.logging.operation.log.location:Hive Server2操作日志的存储位置。
mapred.reduce.tasks:MapReduce作业的Reduce任务数。
hive.exec.reducers.bytes.per.reducer:每个Reduce任务的数据量。
hive.exec.copyfile.maxsize:最大允许复制文件的大小。
hive.exec.reducers.max:同时运行的最大Reduce任务数。
hive.vectorized.groupby.checkinterval:Vectorized Group By操作的检查间隔。
hive.vectorized.groupby.flush.percent:Vectorized Group By操作的Flush比例。
hive.compute.query.using.stats:是否使用统计信息来优化查询计划。
hive.vectorized.execution.enabled:是否启用向量化执行引擎。
hive.vectorized.execution.reduce.enabled:是否在Reduce阶段启用向量化执行。
hive.vectorized.use.vectorized.input.format:是否使用向量化输入格式。
hive.vectorized.use.checked.expressions:是否使用检查表达式的向量化执行。
hive.vectorized.use.vector.serde.deserialize:是否使用向量化序列化和反序列化。
hive.vectorized.adaptor.usage.mode:向量化适配器的使用模式。
hive.vectorized.input.format.excludes:排除的向量化输入格式列表。
hive.merge.mapfiles:是否合并Map输出的小文件。
hive.merge.mapredfiles:是否合并MapReduce输出的小文件。
hive.cbo.enable:是否启用CBO优化。
hive.fetch.task.conversion:Fetch任务转换级别。
hive.fetch.task.conversion.threshold:触发Fetch任务转换的数据量阈值。
hive.limit.pushdown.memory.usage:Limit操作的内存使用百分比。
hive.merge.sparkfiles:是否合并Spark任务输出的小文件。
hive.merge.smallfiles.avgsize:合并小文件时的平均大小。
hive.merge.size.per.task:每个任务合并的数据量。
hive.optimize.reducededuplication:是否启用重复消除优化。
hive.optimize.reducededuplication.min.reducer:最小Reduce任务数以启用重复消除优化。
hive.map.aggr:是否启用Map端聚合。
hive.map.aggr.hash.percentmemory:Map端聚合的哈希表内存比例。
hive.optimize.sort.dynamic.partition:是否优化动态分区排序。
hive.execution.engine:Hive执行引擎类型。
spark.executor.memory:Spark Executor的内存大小。
spark.driver.memory:Spark Driver的内存大小。
spark.executor.cores:每个Spark Executor的核心数。
spark.yarn.driver.memoryOverhead:Spark Driver的内存Overhead。
spark.yarn.executor.memoryOverhead:Spark Executor的内存Overhead。
spark.dynamicAllocation.enabled:是否启用动态资源分配。
spark.dynamicAllocation.initialExecutors:动态资源分配的初始Executor数量。
spark.dynamicAllocation.minExecutors:动态资源分配的最小Executor数量。
spark.dynamicAllocation.maxExecutors:动态资源分配的最大Executor数量。
hive.metastore.execute.setugi:是否在Hive元数据存储中执行setugi操作。
hive.support.concurrency:是否支持并发操作。
hive.zookeeper.quorum:ZooKeeper服务器列表。
hive.zookeeper.client.port:ZooKeeper客户端端口号。
hive.zookeeper.namespace:Hive使用的ZooKeeper命名空间。
hive.cluster.delegation.token.store.class:集群委派令牌存储类。
hive.server2.enable.doAs:是否启用Hive Server2用户代理模式。
hive.metastore.sasl.enabled:是否启用Hive元数据存储的SASL认证。
hive.server2.authentication:Hive Server2的认证方式。
hive.metastore.kerberos.principal:Hive元数据存储的Kerberos主体名称。
hive.server2.authentication.kerberos.principal:Hive Server2的Kerberos主体名称。
spark.shuffle.service.enabled:是否启用Spark Shuffle服务。
hive.strict.checks.orderby.no.limit:是否在没有Limit操作的OrderBy语句中执行严格检查。
hive.strict.checks.no.partition.filter:是否在没有分区过滤条件的查询中执行严格检查。
hive.strict.checks.type.safety:是否执行严格的类型安全性检查。
hive.strict.checks.cartesian.product:是否执行严格的笛卡尔积检查。
hive.strict.checks.bucketing:是否执行严格的桶排序检查。
——参考链接。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。