实时数仓 Hologres操作报错合集之 遇到报错:too many shards in this instance, the threshold is 16, now 16 used,该怎么处理

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 在使用阿里云实时数仓Hologres时,可能会遇到不同类型的错误。例如:1.内存超限错误、2.字符串缓冲区扩大错误、3.分区导入错误、4.外部表访问错误、5.服务未开通或权限问题、6.数据类型范围错误,下面是一些常见错误案例及可能的原因与解决策略的概览。

问题一:Hologres里除法可以怎么处理可以不报错?不能直接返回nan吗?

Hologres里除法可以怎么处理可以不报错?不能直接返回nan吗?



参考答案:

看下哈:https://help.aliyun.com/zh/hologres/user-guide/migrate-data-from-mysql-to-hologres?spm=a2c4g.11186623.0.0.326330d4nTvO4N



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574316



问题二:Hologres这个报错是什么原因?

Hologres这个报错是什么原因?



参考答案:

这不是报错,是notice,报错是下面的error,分母为0了



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574315



问题三:Hologres这个问题怎么解决?

Hologres这个问题怎么解决? too many shards in this instance, the threshold is 16, now 16 used



参考答案:

"Hologres这个问题怎么解决?too many shards in this instance, the threshold is 16, now 16 used" 错误表示在当前的Hologres实例中,分片数已经达到了上限,超出了阈值。默认情况下,Hologres实例允许的最大分片数为16。

要解决这个问题,您可以尝试以下方法:

  1. 扩容实例:如果您的数据量已经超过了当前实例的分片上限,并且需要更多的分片来存储数据,可以考虑升级或扩容Hologres实例,以增加可支持的分片数。
  2. 数据清理和优化:检查并清理不再需要的数据,删除不必要的分区,以释放分片空间。另外,优化表结构、索引和查询语句,以减少数据占用和提高查询性能。
  3. 数据迁移和分片合并:如果有一些分片的数据量较小,您可以考虑将其与其他相邻的分片合并,以减少分片数。这可能需要进行数据迁移和重新分布操作,请注意备份数据并谨慎执行。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574313



问题四:Hologres 是Hologres对查询数据表总大小进行新的限制了吗?

Hologres 最近我们的数据总报ERPC_ERROR_CONNECTION_CLOSED错误 是Hologres对查询数据表总大小进行新的限制了吗?



参考答案:

报错:ERROR: Query:[xxx] Build desc failed: failed to get foregin table split:ERPC_ERROR_CONNECTION_CLOSED.

https://help.aliyun.com/zh/hologres/support/common-errors-and-troubleshooting-of-integration-with-maxcompute?spm=a2c4g.11186623.0.i137#section-hjo-ua7-5zc

报错原因:

MaxCompute小文件过多,导致请求的META超过远程过程调用协议(RPC,Remote Procedure Call Protocol)1GB的最大限制。

解决方法:

请执行以下命令进行小文件合并。

set MaxCompute.merge.task.mode=sql;

set MaxCompute.merge.lock.expire.time=0;

ALTER TABLE [PARTITION] MERGE SMALLFILES;

HologresV0.10.21及以上版本已优化,请升级Hologres实例,详情请参见实例升级。

请联系MaxCompute技术支持从源头解决,如果数据量不大可直接将数据写入Hologres。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574311



问题五:Hologres我们在查询外表的时候,用的主键查询,会报这个错误。 只有主键会报错?

Hologres我们在查询外表的时候,用的主键查询,会报这个错误。 其他字段没有这个问题,只有主键会报错?



参考答案:

应该是读取外表是shard prune逻辑问题,可以先设置GUC : set hg_experimental_enable_shard_pruning = off; 绕过,近期会出版本修复,



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574310



问题六:连接hologres 一直报org.怎么看下hologres里的连接线程?

连接hologres 一直报org.postgresql.util.PSQLException: FATAL: Connect to FE failed, remaining connection slots are reserved for non-replication superuser connections

at org.postgresql.core.v3.QueryExecutorImpl.receiveErrorResponse(QueryExecutorImpl.java:2675) ~[postgresql-42.3.7.jar!/:42.3.7]

at org.postgresql.core.v3.QueryExecutorImpl.readStartupMessages(QueryExecutorImpl.java:2787) ~[postgresql-42.3.7.jar!/:42.3.7]

at org.postgresql.core.v3.QueryExecutorImpl.(QueryExecutorImpl.java:173) ~[postgresql-42.3.7.jar!/:42.3.7]

at org.postgresql.core.v3.ConnectionFactoryImpl.openConnectionImpl(ConnectionFactoryImpl.java:290) ~[postgresql-42.3.7.jar!/:42.3.7]

at org.postgresql.core.ConnectionFactory.openConnection(ConnectionFactory.java:49) ~[postgresql-42.3.7.jar!/:42.3.7]

at org.postgresql.jdbc.PgConnection.(PgConnection.java:223) ~[postgresql-42.3.7.jar!/:42.3.7]

at org.postgresql.Driver.makeConnection(Driver.java:402) ~[postgresql-42.3.7.jar!/:42.3.7]

at org.postgresql.Driver.connect$original$Lf0MrImE(Driver.java:261) ~[postgresql-42.3.7.jar!/:42.3.7]

at org.postgresql.Driver.connect$original$Lf0MrImE$accessor$gqZAfVVX(Driver.java) ~[postgresql-42.3.7.jar!/:42.3.7]

at org.postgresql.Driver$auxiliary$y2QdhJCB.call(Unknown Source) ~[postgresql-42.3.7.jar!/:42.3.7]?

或者我怎么看下hologres里的连接线程



参考答案:

连接数不够了,可以查看pg_stat_activity表

您可以参考下文档

https://help.aliyun.com/zh/hologres/user-guide/manage-connections

  1. 当连接数不够的时候,可以用superuser登录实例去杀连接
  2. 推荐使用连接池,怎么推荐配置文档有写
  3. 普通应用对接Holo实例不要用superuser,应该用普通用户,并且设置普通用户的最大连接数



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574309

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
相关文章
|
3月前
|
存储 运维 搜索推荐
实时数仓Hologres发展问题之Hologres在无人车送货场景中的应用如何解决
实时数仓Hologres发展问题之Hologres在无人车送货场景中的应用如何解决
44 2
|
3月前
|
SQL NoSQL 关系型数据库
实时数仓Hologres发展问题之实时数仓的类数据库化与HTAP数据库的差异如何解决
实时数仓Hologres发展问题之实时数仓的类数据库化与HTAP数据库的差异如何解决
54 2
|
3月前
|
数据采集 运维 双11
实时数仓Hologres发展问题之Hologres提升实时数仓的生产级高可用性如何解决
实时数仓Hologres发展问题之Hologres提升实时数仓的生产级高可用性如何解决
67 2
|
3月前
|
存储 边缘计算 运维
实时数仓Hologres发展问题之实时数仓对Lambda架构的问题如何解决
实时数仓Hologres发展问题之实时数仓对Lambda架构的问题如何解决
63 2
|
1月前
|
SQL 分布式计算 数据挖掘
加速数据分析:阿里云Hologres在实时数仓中的应用实践
【10月更文挑战第9天】随着大数据技术的发展,企业对于数据处理和分析的需求日益增长。特别是在面对海量数据时,如何快速、准确地进行数据查询和分析成为了关键问题。阿里云Hologres作为一个高性能的实时交互式分析服务,为解决这些问题提供了强大的支持。本文将深入探讨Hologres的特点及其在实时数仓中的应用,并通过具体的代码示例来展示其实际应用。
154 0
|
3月前
|
存储 分布式计算 数据挖掘
实时数仓 Hologres 问题之适用于业务场景的实时数仓如何搭建
实时数仓 Hologres 问题之适用于业务场景的实时数仓如何搭建
|
3月前
|
SQL 关系型数据库 MySQL
实时数仓 Hologres操作报错合集之Flink CTAS Source(Mysql) 表字段从可空改为非空的原因是什么
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
3月前
|
SQL DataWorks 数据库连接
实时数仓 Hologres操作报错合集之如何将物理表数据写入临时表
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
3月前
|
SQL 分布式计算 DataWorks
实时数仓 Hologres操作报错合集之如何解决报错:internal error: Queryis cancelled
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。
|
3月前
|
SQL 网络安全 数据库
实时数仓 Hologres操作报错合集之如何解决错误代码SERVER_INTERNAL ERROR
实时数仓Hologres是阿里云推出的一款高性能、实时分析的数据库服务,专为大数据分析和复杂查询场景设计。使用Hologres,企业能够打破传统数据仓库的延迟瓶颈,实现数据到决策的无缝衔接,加速业务创新和响应速度。以下是Hologres产品的一些典型使用场景合集。

热门文章

最新文章

相关产品

  • 实时数仓 Hologres