AI 助理
备案控制台
开发者社区 大数据 文章 正文

Hive执行sql，报内存溢出

2017-11-13 3111
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 应用场景 搭建了hadoop伪分布式集群，并且在其上搭建了hive环境，但是在执行HQL语句的时候，老是报内存溢出，很麻烦，只需要简单设置，就可以解决该问题。

应用场景

搭建了hadoop伪分布式集群，并且在其上搭建了hive环境，但是在执行HQL语句的时候，老是报内存溢出，很麻烦，只需要简单设置，就可以解决该问题。

操作方案

运行程序过程中，报内存溢出：java.sql.SQLException: Error running query: java.lang.OutOfMemoryError: PermGen space

解决方案：
在/opt/hive-2.1.1/conf/hive-env.sh

export HADOOP_HEAPSIZE=102400
文章标签：
SQL
HIVE
分布式计算
Hadoop
关键词：
SQL内存
SQL hive
SQL内存溢出
SQL执行
wsc449
目录
相关文章
kng32f3vbngrm
|
SQL HIVE
【Hive SQL 每日一题】环比增长率、环比增长率、复合增长率
该文介绍了环比增长率、同比增长率和复合增长率的概念及计算公式，并提供了SQL代码示例来计算商品的月度增长率。环比增长率是相邻两期数据的增长率，同比增长率是与去年同期相比的增长率，复合增长率则是连续时间段内平均增长的速率。文章还包含了一组销售数据用于演示如何运用这些增长率进行计算。
kng32f3vbngrm
718 4
瓴羊Dataphin
|
6月前
|
SQL 分布式计算 资源调度
Dataphin功能Tips系列（48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
瓴羊Dataphin
189 4
流水刀客6
|
6月前
|
SQL 监控 数据库
如何解决 SQL Server 占用内存过多问题
SQL Server 占用过多内存会导致响应缓慢和查询性能低下。解决流程包括：1) 查看内存使用情况，2) 分析各数据库内存占用，3) 优化 SQL Server 配置（如限制最大内存），4) 优化查询（如创建索引），5) 持续监控效果。通过这些步骤可有效控制内存占用，提升系统性能。
流水刀客6
770 0
武子康
|
11月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
武子康
262 3
龙大吉
|
SQL 消息中间件 数据处理
"颠覆传统，Hive SQL与Flink激情碰撞！解锁流批一体数据处理新纪元，让数据决策力瞬间爆表，你准备好了吗？"
【9月更文挑战第2天】
龙大吉
222 2
武子康
|
11月前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
武子康
220 0
武子康
|
11月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
武子康
280 0
皮牙子抓饭
|
SQL 存储 分布式计算
插入Hive表数据SQL
【8月更文挑战第10天】
皮牙子抓饭
328 4
龙大吉
|
SQL 物联网 数据处理
"颠覆传统，Hive SQL与Flink激情碰撞！解锁流批一体数据处理新纪元，让数据决策力瞬间爆表，你准备好了吗？"
【8月更文挑战第9天】数据时代，实时性和准确性至关重要。传统上，批处理与流处理各司其职，但Apache Flink打破了这一界限，尤其Flink与Hive SQL的结合，开创了流批一体的数据处理新时代。这不仅简化了数据处理流程，还极大提升了效率和灵活性。例如，通过Flink SQL，可以轻松实现流数据与批数据的融合分析，无需在两者间切换。这种融合不仅降低了技术门槛，还为企业提供了更强大的数据支持，无论是在金融、电商还是物联网领域，都将发挥巨大作用。
龙大吉
140 6
你都不懂
|
SQL 分布式计算 关系型数据库
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
你都不懂
170 2

热门文章

最新文章

  • 1
    从“写SQL”到“聊数据”：NL2SQL如何用自然语言解锁数据库？
  • 2
    SQL 移植--SPL 轻量级多源混算实践 7
  • 3
    云时代SQL Server的终极答案：阿里云 RDS SQL Server如何用异地容灾重构系统可靠性
  • 4
    SQL Server 2025 年 8 月更新 - 修复 CVE-2025-49759 SQL Server 特权提升漏洞
  • 5
    Sql Server数据库Sa密码如何修改
  • 6
    PostgreSQL在何处处理 sql查询之二十四
  • 7
    检查自己的SQL SERVER 2000的版本号
  • 8
    sql点滴42—mysql中的时间转换
  • 9
    如何编写更好的SQL查询：终极指南-第三部分
  • 10
    SQL语句查询结果集中的动态修改案例(临时表+游标)
  • 1
    Flutter Hive NoSql 数据库使用指南
    329
  • 2
    MaxCompute产品使用合集之如何将数据迁移到CDH Hive
    214
  • 3
    DataWorks产品使用合集之同步数据到Hive时，如何使用业务字段作为分区键
    130
  • 4
    DataWorks产品使用合集之在数据集成中，如何设置写入Hive的用户为指定用户
    157
  • 5
    实时计算 Flink版操作报错合集之从mysql读数据写到hive报错，是什么原因
    388
  • 6
    实时计算 Flink版产品使用问题之如何使用Flink SQL连接带有Kerberos认证的Hive
    390
  • 7
    大数据处理平台Hive详解
    856
  • 8
    Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
    170
  • 9
    DataWorks操作报错合集之在进行Hive分区truncate操作时遇到权限不足，怎么解决
    208
  • 10
    ClickHouse(19)ClickHouse集成Hive表引擎详细解析
    413

    • 相关课程

    更多
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 大数据Hive教程精讲
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • SQL Server在电子商务中的应用与实践
  • GeoMesa on Spark SQL
  • 原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili
    • 下一篇
    蛋白质语言模型 ProGen：在实验室合成由 AI 预测的蛋白质