AI 助理
备案控制台
开发者社区 大数据 文章 正文

Hive执行sql，报内存溢出

2017-11-13 3020
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 应用场景 搭建了hadoop伪分布式集群，并且在其上搭建了hive环境，但是在执行HQL语句的时候，老是报内存溢出，很麻烦，只需要简单设置，就可以解决该问题。

应用场景

搭建了hadoop伪分布式集群，并且在其上搭建了hive环境，但是在执行HQL语句的时候，老是报内存溢出，很麻烦，只需要简单设置，就可以解决该问题。

操作方案

运行程序过程中，报内存溢出：java.sql.SQLException: Error running query: java.lang.OutOfMemoryError: PermGen space

解决方案：
在/opt/hive-2.1.1/conf/hive-env.sh

export HADOOP_HEAPSIZE=102400
文章标签：
SQL
HIVE
分布式计算
Hadoop
关键词：
SQL hive
SQL内存
SQL内存溢出
SQL执行
wsc449
目录
相关文章
kng32f3vbngrm
|
8月前
|
SQL HIVE
【Hive SQL 每日一题】环比增长率、环比增长率、复合增长率
该文介绍了环比增长率、同比增长率和复合增长率的概念及计算公式，并提供了SQL代码示例来计算商品的月度增长率。环比增长率是相邻两期数据的增长率，同比增长率是与去年同期相比的增长率，复合增长率则是连续时间段内平均增长的速率。文章还包含了一组销售数据用于演示如何运用这些增长率进行计算。
kng32f3vbngrm
275 4
武子康
|
3月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
武子康
92 3
武子康
|
3月前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
武子康
75 0
武子康
|
3月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
武子康
124 0
龙大吉
|
4月前
|
SQL 消息中间件 数据处理
"颠覆传统，Hive SQL与Flink激情碰撞！解锁流批一体数据处理新纪元，让数据决策力瞬间爆表，你准备好了吗？"
【9月更文挑战第2天】
龙大吉
104 2
皮牙子抓饭
|
5月前
|
SQL 存储 分布式计算
插入Hive表数据SQL
【8月更文挑战第10天】
皮牙子抓饭
61 4
龙大吉
|
5月前
|
SQL 物联网 数据处理
"颠覆传统，Hive SQL与Flink激情碰撞！解锁流批一体数据处理新纪元，让数据决策力瞬间爆表，你准备好了吗？"
【8月更文挑战第9天】数据时代，实时性和准确性至关重要。传统上，批处理与流处理各司其职，但Apache Flink打破了这一界限，尤其Flink与Hive SQL的结合，开创了流批一体的数据处理新时代。这不仅简化了数据处理流程，还极大提升了效率和灵活性。例如，通过Flink SQL，可以轻松实现流数据与批数据的融合分析，无需在两者间切换。这种融合不仅降低了技术门槛，还为企业提供了更强大的数据支持，无论是在金融、电商还是物联网领域，都将发挥巨大作用。
龙大吉
69 6
VipSoft
|
5月前
|
SQL 存储 缓存
SQL Server 内存占用较高 - 清除缓存 或 设置内存最大占用值
SQL Server 内存占用较高 - 清除缓存 或 设置内存最大占用值
VipSoft
166 0
你都不懂
|
6月前
|
SQL 分布式计算 关系型数据库
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
你都不懂
79 2
三分钟热度的鱼
|
6月前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用问题之如何使用Flink SQL连接带有Kerberos认证的Hive
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
三分钟热度的鱼
186 0

热门文章

最新文章

  • 1
    了解Hive 工作原理：Hive 是如何工作的？
  • 2
    Flask 框架防止 SQL 注入攻击的方法
  • 3
    Vanna：开源 AI 检索生成框架，自动生成精确的 SQL 查询
  • 4
    SQL自学笔记（3）：SQL里的DCL,DQL都代表什么？
  • 5
    Flink SQL Deduplication 去重以及如何获取最新状态操作
  • 6
    MySQL导入.sql文件后数据库乱码问题
  • 7
    MySQL进阶突击系列(02)一条更新SQL执行过程 | 讲透undoLog、redoLog、binLog日志三宝
  • 8
    MySQL 高级(进阶) SQL 语句
  • 9
    MySQL进阶突击系列(01)一条简单SQL搞懂MySQL架构原理 | 含实用命令参数集
  • 10
    SQL自学笔记（1）：什么是SQL？有什么用？
  • 1
    SQL脚本相除
    75
  • 2
    0基础学习SQL注入之万能账号密码（BUUctf例题-[极客大挑战 2019]EasySQL1）
    741
  • 3
    SQL脚本利用带关联子查询Update语句更新数据
    146
  • 4
    10分钟了解Flink SQL使用
    407
  • 5
    SQL脚本把多行SQL数据变成一条多列数据
    125
  • 6
    mybatis动态sql
    49
  • 7
    基于若依的ruoyi-nbcio流程管理系统修改代码生成的sql菜单id修改成递增id（谨慎修改，大并发分布式有弊端）
    127
  • 8
    SQL脚本字符串替换
    79
  • 9
    你写的每条SQL都是全表扫描吗
    188
  • 10
    数据库SQL语言实战（六）
    59

    • 相关课程

    更多
  • 如何在 PolarDB-X 中优化慢 SQL
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • SQL Server 2017
  • GeoMesa on Spark SQL
  • 原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili

    • 相关实验场景

    更多
  • PolarDB for AI：在数据库中通过SQL实现AI能力
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
  • 使用SQL语句实现数据表管理
  • 使用SQL语句实现数据插入、修改和删除操作
  • 使用SQL语句实现数据查询操作
  • 使用SQL语句管理索引
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月