开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink hive-site.xml里面配置了想问下还需要什么其他配置吗?

Flink hive-site.xml里面配置了【hive.metastore.uris】、【hive.metastore.sasl.enabled】和【hive.metastore.kerberos.principal】,想问下还需要什么其他配置吗?

展开
收起
真的很搞笑 2024-05-14 17:17:52 40 0
1 条回答
写回答
取消 提交回答
  • 这些参数的具体值可以根据实际需求进行修改和配置,以满足您的Hive和Spark环境的要求。

    hive.metastore.uris:Hive元数据存储的URI。
    hive.metastore.client.socket.timeout:Hive元数据客户端套接字超时时间。
    hive.metastore.warehouse.dir:Hive数据仓库目录。
    hive.warehouse.subdir.inherit.perms:子目录是否继承权限。
    hive.auto.convert.join:自动转换连接类型的Join操作。
    hive.auto.convert.join.noconditionaltask.size:自动转换连接类型的Join操作时条件不满足的最大数据量。
    hive.optimize.bucketmapjoin.sortedmerge:是否优化Bucket Map Join的Sorted Merge。
    hive.smbjoin.cache.rows:SMB Join操作缓存的行数。
    hive.server2.logging.operation.enabled:是否启用Hive Server2日志记录操作。
    hive.server2.logging.operation.log.location:Hive Server2操作日志的存储位置。
    mapred.reduce.tasks:MapReduce作业的Reduce任务数。
    hive.exec.reducers.bytes.per.reducer:每个Reduce任务的数据量。
    hive.exec.copyfile.maxsize:最大允许复制文件的大小。
    hive.exec.reducers.max:同时运行的最大Reduce任务数。
    hive.vectorized.groupby.checkinterval:Vectorized Group By操作的检查间隔。
    hive.vectorized.groupby.flush.percent:Vectorized Group By操作的Flush比例。
    hive.compute.query.using.stats:是否使用统计信息来优化查询计划。
    hive.vectorized.execution.enabled:是否启用向量化执行引擎。
    hive.vectorized.execution.reduce.enabled:是否在Reduce阶段启用向量化执行。
    hive.vectorized.use.vectorized.input.format:是否使用向量化输入格式。
    hive.vectorized.use.checked.expressions:是否使用检查表达式的向量化执行。
    hive.vectorized.use.vector.serde.deserialize:是否使用向量化序列化和反序列化。
    hive.vectorized.adaptor.usage.mode:向量化适配器的使用模式。
    hive.vectorized.input.format.excludes:排除的向量化输入格式列表。
    hive.merge.mapfiles:是否合并Map输出的小文件。
    hive.merge.mapredfiles:是否合并MapReduce输出的小文件。
    hive.cbo.enable:是否启用CBO优化。
    hive.fetch.task.conversion:Fetch任务转换级别。
    hive.fetch.task.conversion.threshold:触发Fetch任务转换的数据量阈值。
    hive.limit.pushdown.memory.usage:Limit操作的内存使用百分比。
    hive.merge.sparkfiles:是否合并Spark任务输出的小文件。
    hive.merge.smallfiles.avgsize:合并小文件时的平均大小。
    hive.merge.size.per.task:每个任务合并的数据量。
    hive.optimize.reducededuplication:是否启用重复消除优化。
    hive.optimize.reducededuplication.min.reducer:最小Reduce任务数以启用重复消除优化。
    hive.map.aggr:是否启用Map端聚合。
    hive.map.aggr.hash.percentmemory:Map端聚合的哈希表内存比例。
    hive.optimize.sort.dynamic.partition:是否优化动态分区排序。
    hive.execution.engine:Hive执行引擎类型。
    spark.executor.memory:Spark Executor的内存大小。
    spark.driver.memory:Spark Driver的内存大小。
    spark.executor.cores:每个Spark Executor的核心数。
    spark.yarn.driver.memoryOverhead:Spark Driver的内存Overhead。
    spark.yarn.executor.memoryOverhead:Spark Executor的内存Overhead。
    spark.dynamicAllocation.enabled:是否启用动态资源分配。
    spark.dynamicAllocation.initialExecutors:动态资源分配的初始Executor数量。
    spark.dynamicAllocation.minExecutors:动态资源分配的最小Executor数量。
    spark.dynamicAllocation.maxExecutors:动态资源分配的最大Executor数量。
    hive.metastore.execute.setugi:是否在Hive元数据存储中执行setugi操作。
    hive.support.concurrency:是否支持并发操作。
    hive.zookeeper.quorum:ZooKeeper服务器列表。
    hive.zookeeper.client.port:ZooKeeper客户端端口号。
    hive.zookeeper.namespace:Hive使用的ZooKeeper命名空间。
    hive.cluster.delegation.token.store.class:集群委派令牌存储类。
    hive.server2.enable.doAs:是否启用Hive Server2用户代理模式。
    hive.metastore.sasl.enabled:是否启用Hive元数据存储的SASL认证。
    hive.server2.authentication:Hive Server2的认证方式。
    hive.metastore.kerberos.principal:Hive元数据存储的Kerberos主体名称。
    hive.server2.authentication.kerberos.principal:Hive Server2的Kerberos主体名称。
    spark.shuffle.service.enabled:是否启用Spark Shuffle服务。
    hive.strict.checks.orderby.no.limit:是否在没有Limit操作的OrderBy语句中执行严格检查。
    hive.strict.checks.no.partition.filter:是否在没有分区过滤条件的查询中执行严格检查。
    hive.strict.checks.type.safety:是否执行严格的类型安全性检查。
    hive.strict.checks.cartesian.product:是否执行严格的笛卡尔积检查。
    hive.strict.checks.bucketing:是否执行严格的桶排序检查。
    

    ——参考链接

    2024-07-13 14:46:21
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Hive Bucketing in Apache Spark 立即下载
    spark替代HIVE实现ETL作业 立即下载
    2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载