实时数仓 Hologres操作报错合集之 遇到报错:too many shards in this instance, the threshold is 16, now 16 used,该怎么处理

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 在使用阿里云实时数仓Hologres时,可能会遇到不同类型的错误。例如:1.内存超限错误、2.字符串缓冲区扩大错误、3.分区导入错误、4.外部表访问错误、5.服务未开通或权限问题、6.数据类型范围错误,下面是一些常见错误案例及可能的原因与解决策略的概览。

问题一:Hologres里除法可以怎么处理可以不报错?不能直接返回nan吗?

Hologres里除法可以怎么处理可以不报错?不能直接返回nan吗?



参考答案:

看下哈:https://help.aliyun.com/zh/hologres/user-guide/migrate-data-from-mysql-to-hologres?spm=a2c4g.11186623.0.0.326330d4nTvO4N



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574316



问题二:Hologres这个报错是什么原因?

Hologres这个报错是什么原因?



参考答案:

这不是报错,是notice,报错是下面的error,分母为0了



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574315



问题三:Hologres这个问题怎么解决?

Hologres这个问题怎么解决? too many shards in this instance, the threshold is 16, now 16 used



参考答案:

"Hologres这个问题怎么解决?too many shards in this instance, the threshold is 16, now 16 used" 错误表示在当前的Hologres实例中,分片数已经达到了上限,超出了阈值。默认情况下,Hologres实例允许的最大分片数为16。

要解决这个问题,您可以尝试以下方法:

  1. 扩容实例:如果您的数据量已经超过了当前实例的分片上限,并且需要更多的分片来存储数据,可以考虑升级或扩容Hologres实例,以增加可支持的分片数。
  2. 数据清理和优化:检查并清理不再需要的数据,删除不必要的分区,以释放分片空间。另外,优化表结构、索引和查询语句,以减少数据占用和提高查询性能。
  3. 数据迁移和分片合并:如果有一些分片的数据量较小,您可以考虑将其与其他相邻的分片合并,以减少分片数。这可能需要进行数据迁移和重新分布操作,请注意备份数据并谨慎执行。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574313



问题四:Hologres 是Hologres对查询数据表总大小进行新的限制了吗?

Hologres 最近我们的数据总报ERPC_ERROR_CONNECTION_CLOSED错误 是Hologres对查询数据表总大小进行新的限制了吗?



参考答案:

报错:ERROR: Query:[xxx] Build desc failed: failed to get foregin table split:ERPC_ERROR_CONNECTION_CLOSED.

https://help.aliyun.com/zh/hologres/support/common-errors-and-troubleshooting-of-integration-with-maxcompute?spm=a2c4g.11186623.0.i137#section-hjo-ua7-5zc

报错原因:

MaxCompute小文件过多,导致请求的META超过远程过程调用协议(RPC,Remote Procedure Call Protocol)1GB的最大限制。

解决方法:

请执行以下命令进行小文件合并。

set MaxCompute.merge.task.mode=sql;

set MaxCompute.merge.lock.expire.time=0;

ALTER TABLE [PARTITION] MERGE SMALLFILES;

HologresV0.10.21及以上版本已优化,请升级Hologres实例,详情请参见实例升级。

请联系MaxCompute技术支持从源头解决,如果数据量不大可直接将数据写入Hologres。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574311



问题五:Hologres我们在查询外表的时候,用的主键查询,会报这个错误。 只有主键会报错?

Hologres我们在查询外表的时候,用的主键查询,会报这个错误。 其他字段没有这个问题,只有主键会报错?



参考答案:

应该是读取外表是shard prune逻辑问题,可以先设置GUC : set hg_experimental_enable_shard_pruning = off; 绕过,近期会出版本修复,



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574310



问题六:连接hologres 一直报org.怎么看下hologres里的连接线程?

连接hologres 一直报org.postgresql.util.PSQLException: FATAL: Connect to FE failed, remaining connection slots are reserved for non-replication superuser connections

at org.postgresql.core.v3.QueryExecutorImpl.receiveErrorResponse(QueryExecutorImpl.java:2675) ~[postgresql-42.3.7.jar!/:42.3.7]

at org.postgresql.core.v3.QueryExecutorImpl.readStartupMessages(QueryExecutorImpl.java:2787) ~[postgresql-42.3.7.jar!/:42.3.7]

at org.postgresql.core.v3.QueryExecutorImpl.(QueryExecutorImpl.java:173) ~[postgresql-42.3.7.jar!/:42.3.7]

at org.postgresql.core.v3.ConnectionFactoryImpl.openConnectionImpl(ConnectionFactoryImpl.java:290) ~[postgresql-42.3.7.jar!/:42.3.7]

at org.postgresql.core.ConnectionFactory.openConnection(ConnectionFactory.java:49) ~[postgresql-42.3.7.jar!/:42.3.7]

at org.postgresql.jdbc.PgConnection.(PgConnection.java:223) ~[postgresql-42.3.7.jar!/:42.3.7]

at org.postgresql.Driver.makeConnection(Driver.java:402) ~[postgresql-42.3.7.jar!/:42.3.7]

at org.postgresql.Driver.connect$original$Lf0MrImE(Driver.java:261) ~[postgresql-42.3.7.jar!/:42.3.7]

at org.postgresql.Driver.connect$original$Lf0MrImE$accessor$gqZAfVVX(Driver.java) ~[postgresql-42.3.7.jar!/:42.3.7]

at org.postgresql.Driver$auxiliary$y2QdhJCB.call(Unknown Source) ~[postgresql-42.3.7.jar!/:42.3.7]?

或者我怎么看下hologres里的连接线程



参考答案:

连接数不够了,可以查看pg_stat_activity表

您可以参考下文档

https://help.aliyun.com/zh/hologres/user-guide/manage-connections

  1. 当连接数不够的时候,可以用superuser登录实例去杀连接
  2. 推荐使用连接池,怎么推荐配置文档有写
  3. 普通应用对接Holo实例不要用superuser,应该用普通用户,并且设置普通用户的最大连接数



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574309

相关实践学习
基于Hologres+PAI+计算巢,5分钟搭建企业级AI问答知识库
本场景采用阿里云人工智能平台PAI、Hologres向量计算和计算巢,搭建企业级AI问答知识库。通过本教程的操作,5分钟即可拉起大模型(PAI)、向量计算(Hologres)与WebUI资源,可直接进行对话问答。
相关文章
|
1月前
|
SQL 关系型数据库 Java
实时数仓 Hologres操作报错合集之遇到:Hologres query next from pg executor failed问题,该怎么处理
在使用阿里云实时数仓Hologres时,可能会遇到不同类型的错误。例如:1.内存超限错误、2.字符串缓冲区扩大错误、3.分区导入错误、4.外部表访问错误、5.服务未开通或权限问题、6.数据类型范围错误,下面是一些常见错误案例及可能的原因与解决策略的概览。
|
19天前
|
存储 SQL 消息中间件
Hologres+Flink企业级实时数仓核心能力介绍
通过Hologres+Flink构建易用、统一的企业级实时数仓。
|
1月前
|
SQL 缓存 DataWorks
DataWorks操作报错合集之当绑定 Hologres 后出现 "Build connection error! The connection attempt failed" ,是什么导致的
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
1月前
|
SQL Cloud Native 关系型数据库
云原生数据仓库AnalyticDB操作报错合集之执行sql的进程报错:"unknown connection id",是什么导致的
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
751 3
|
1月前
|
SQL Cloud Native 关系型数据库
云原生数据仓库AnalyticDB操作报错合集之报错代码"[31004, 2023121817001319216817200303151051107] : Compiler failed and interpreter is disabled"是什么导致的
阿里云AnalyticDB提供了全面的数据导入、查询分析、数据管理、运维监控等功能,并通过扩展功能支持与AI平台集成、跨地域复制与联邦查询等高级应用场景,为企业构建实时、高效、可扩展的数据仓库解决方案。以下是对AnalyticDB产品使用合集的概述,包括数据导入、查询分析、数据管理、运维监控、扩展功能等方面。
694 3
|
16天前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之对于Hologres的Python查询,该如何操作
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
16 0
|
18天前
|
JSON DataWorks 关系型数据库
DataWorks操作报错合集之已经绑定Hologres数据源,但是节点没法执行,显示拒绝连接,该如何处理
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
2月前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用合集之如何将Hologres字段转换为小写
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
1月前
|
Java 数据处理 Apache
实时计算 Flink版产品使用问题之lookup Join hologres的维表,是否可以指定查bitmap
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
1月前
|
JSON 关系型数据库 MySQL
实时计算 Flink版产品使用问题之在使用CDAS语法同步MySQL数据到Hologres时,如果开启了字段类型宽容模式,MySQL中的JSON类型会被转换为什么
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

热门文章

最新文章

相关产品

  • 实时数仓 Hologres