DataHub常见问题之限制篇

简介: 介绍DataHub因为参数限制而出现的错误

Request: com.aliyun.datahub.client.exception.DatahubClientException: [httpStatus:413, requestId:null, errorCode:null, errorMessage:{
"ErrorCode": "RequestEntityTooLarge",
"ErrorMessage": "Request body size exceeded."
}
报错原因:DataHub限制发起一次请求的大小,限制大小为4M,需要降低每一次发送的条数,如果单条记录超过4M,则需要考虑进行字段切分

DataHub常见限制

限制项 描述 值域范围
活跃shard数 每个topic中活跃shard数量限制 (0,256] (公测限制,流量超出256个Shard承载能力请联系管理员提升Quota)
总shard数 每个topic中总shard数量限制 (0,512]
Http BodySize http请求中body大小限制 4MB
单个String长度 数据中单个String字段长度限制 2MB
Merge/Split频率限制 每个新产生的shard在一定时间内不允许进行Merge/Split操作 5s
QPS限制 每个Shard写入QPS限制(非Record/s,Batch写入同一Shard仅计算为1次) 2000
Throughput限制 每个Shard写入每秒吞吐限制 5MB/s
Project限制 每个云账号能够创建的Project上限 50
Topic限制 每个Project内能创建的Topic数量限制,如有特殊请求请联系管理员 500
Topic Lifecycle限制 每个Topic中数据保存的最大时长,单位是天 [1,7]
相关实践学习
实时数据及离线数据上云方案
本实验通过使用CANAL、DataHub、DataWorks、MaxCompute服务,实现数据上云,解决了数据孤岛问题,同时把数据迁移到云计算平台,对后续数据的计算和应用提供了第一步开山之路。
相关文章
|
22天前
|
消息中间件 分布式计算 DataWorks
DataWorks常见问题之kafka数据导入datahub失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
22天前
|
消息中间件 分布式计算 DataWorks
DataWorks常见问题之dataworks中lasticseatch8.9和logstash版本兼容问题如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
数据采集 Java API
初识 DataHub|学习笔记
快速学习初识 DataHub
417 0
初识 DataHub|学习笔记
|
数据采集 大数据 数据挖掘
DataHub应用场景有哪些?
本文为您介绍DataHub三大应用场景,主要场景包括:实时数据通道、实时数据清洗和分析、实时数据仓库。
841 0
|
22天前
|
SQL 存储 DataWorks
DataWorks产品使用合集之DataWorks中,配置DataHub数据源如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
50 5
|
22天前
|
DataWorks 监控 大数据
DataWorks常见问题之如何实时同步任务配置参数
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
22天前
|
存储 分布式计算 DataWorks
DataWorks如何同步SLS日志到odps上?
DataWorks如何同步SLS日志到odps上?
88 0
|
存储 分布式计算 监控
日志投递 MaxCompute | 学习笔记
快速学习日志投递MaxCompute
94 0
日志投递 MaxCompute | 学习笔记
|
SQL JSON 分布式计算
【MaxCompute 常见问题】 数据同步
当需要新增数据源时,首先要确认自己的数据源类型、网络类型、是否支持测试连通性。当新增数据源无法支持测试连通性时,可以尝试用独享资源组来解决数据集成问题。
【MaxCompute 常见问题】 数据同步
HH
|
Java 开发工具 关系型数据库
阿里云DataHub入门测试
阿里云流数据处理平台DataHub是流式数据(Streaming Data)的处理平台,提供对流式数据的发布 (Publish),订阅 (Subscribe)和分发功能,让您可以轻松构建基于流式数据的分析和应用。DataHub服务可以对各种移动设备,应用软件,网站服务,传感器等产生的大量流式数据进行持续不断的采集,存储和处理。用户可以编写应用程序或者使用流计算引擎来处理写入到DataHub的流式数据比如实时web访问日志、应用日志、各种事件等,并产出各种实时的数据处理结果比如实时图表、报警信息、实时统计等。
HH
509 0
阿里云DataHub入门测试

热门文章

最新文章