DataHub常见问题之限制篇

简介: 介绍DataHub因为参数限制而出现的错误

Request: com.aliyun.datahub.client.exception.DatahubClientException: [httpStatus:413, requestId:null, errorCode:null, errorMessage:{
"ErrorCode": "RequestEntityTooLarge",
"ErrorMessage": "Request body size exceeded."
}
报错原因:DataHub限制发起一次请求的大小,限制大小为4M,需要降低每一次发送的条数,如果单条记录超过4M,则需要考虑进行字段切分

DataHub常见限制

限制项 描述 值域范围
活跃shard数 每个topic中活跃shard数量限制 (0,256] (公测限制,流量超出256个Shard承载能力请联系管理员提升Quota)
总shard数 每个topic中总shard数量限制 (0,512]
Http BodySize http请求中body大小限制 4MB
单个String长度 数据中单个String字段长度限制 2MB
Merge/Split频率限制 每个新产生的shard在一定时间内不允许进行Merge/Split操作 5s
QPS限制 每个Shard写入QPS限制(非Record/s,Batch写入同一Shard仅计算为1次) 2000
Throughput限制 每个Shard写入每秒吞吐限制 5MB/s
Project限制 每个云账号能够创建的Project上限 50
Topic限制 每个Project内能创建的Topic数量限制,如有特殊请求请联系管理员 500
Topic Lifecycle限制 每个Topic中数据保存的最大时长,单位是天 [1,7]
相关文章
|
SQL 监控 druid
springboot-druid数据源的配置方式及配置后台监控-自定义和导入stater(推荐-简单方便使用)两种方式配置druid数据源
这篇文章介绍了如何在Spring Boot项目中配置和监控Druid数据源,包括自定义配置和使用Spring Boot Starter两种方法。
|
数据采集 Java API
初识 DataHub|学习笔记
快速学习初识 DataHub
814 0
初识 DataHub|学习笔记
|
分布式计算 自然语言处理 DataWorks
高效使用 PyODPS 最佳实践
以更清晰的认知 PyODPS,DataWorks PyODPS 节点以及 PyODPS 何时在计算集群运行,开发者如何利用 PyODPS 更高效地进行数据开发。
18832 3
高效使用 PyODPS 最佳实践
|
数据采集 JSON 关系型数据库
将 MySQL 数据抽取并写入 DataHub,您可以按照以下步骤进行
将 MySQL 数据抽取并写入 DataHub,您可以按照以下步骤进行
886 2
|
数据采集 安全 数据管理
深度解析:DataHub的数据集成与管理策略
【10月更文挑战第23天】DataHub 是阿里云推出的一款数据集成与管理平台,旨在帮助企业高效地处理和管理多源异构数据。作为一名已经有一定 DataHub 使用经验的技术人员,我深知其在数据集成与管理方面的强大功能。本文将从个人的角度出发,深入探讨 DataHub 的核心技术、工作原理,以及如何实现多源异构数据的高效集成、数据清洗与转换、数据权限管理和安全控制措施。通过具体的案例分析,展示 DataHub 在解决复杂数据管理问题上的优势。
1445 1
|
存储 关系型数据库 分布式数据库
基于PolarDB Ganos的气象数据处理:恶劣气象预警
本文介绍了在航海恶劣天气预警的场景中,PolarDB Ganos利用栅格模型对基于NetCDF的气象预测数据入库,利用数据库函数计算恶劣天气范围,并将其存储在PolarDB中。通过Ganos实时电子围栏功能,对船只位置并与恶劣天气范围对比,实现航海恶劣气象预警功能。
|
存储 SQL 人工智能
【云栖实录】Hologres3.0全新升级:一体化实时湖仓平台
2024年云栖大会,Hologres 3.0全新升级为一体化实时湖仓平台,通过统一数据平台实现湖仓存储一体、多模式计算一体、分析服务一体、Data+AI 一体,发布 Dynamic Table、External Database、分时弹性、Query Queue、NL2SQL 等众多新的产品能力,实现一份数据、一份计算、一份服务,极大提高数据开发及应用效率。同时,Hologres 的预付费实例年付折扣再降15%,仅需7折,不断帮助企业降低数据管理成本,赋能业务增长。
|
SQL 人工智能 分布式计算
MaxCompute 产品新能力发布-2024年Q1
随着阿里云MaxCompute4.0的产品新版本发布,越来越多的MaxCompute产品新能力被客户广泛关注,包括近实时查询/湖仓一体&开放架构/容灾备份等。在此我们对外整体介绍一下MaxCompute FY25-Q1产品新功能,帮助更多用户借此了解MaxCompute4.0云原生数仓新版本的重点产品特性,核心竞争力与典型用户场景等信息。
609 1
|
关系型数据库 Linux Docker
datahub元数据管理平台从安装到使用一站式指南(未完)_datahub安装
datahub元数据管理平台从安装到使用一站式指南(未完)_datahub安装
datahub元数据管理平台从安装到使用一站式指南(未完)_datahub安装
|
SQL 消息中间件 canal
Flink cdc自定义format格式数据源
变更数据捕获 (CDC) 已成为一种流行的模式,本文介绍如何通过自定义format来获取不同格式cdc数据源
Flink cdc自定义format格式数据源