Request: com.aliyun.datahub.client.exception.DatahubClientException: [httpStatus:413, requestId:null, errorCode:null, errorMessage:{
"ErrorCode": "RequestEntityTooLarge",
"ErrorMessage": "Request body size exceeded."
}
报错原因:DataHub限制发起一次请求的大小,限制大小为4M,需要降低每一次发送的条数,如果单条记录超过4M,则需要考虑进行字段切分
DataHub常见限制
限制项 | 描述 | 值域范围 |
---|---|---|
活跃shard数 | 每个topic中活跃shard数量限制 | (0,256] (公测限制,流量超出256个Shard承载能力请联系管理员提升Quota) |
总shard数 | 每个topic中总shard数量限制 | (0,512] |
Http BodySize | http请求中body大小限制 | 4MB |
单个String长度 | 数据中单个String字段长度限制 | 2MB |
Merge/Split频率限制 | 每个新产生的shard在一定时间内不允许进行Merge/Split操作 | 5s |
QPS限制 | 每个Shard写入QPS限制(非Record/s,Batch写入同一Shard仅计算为1次) | 2000 |
Throughput限制 | 每个Shard写入每秒吞吐限制 | 5MB/s |
Project限制 | 每个云账号能够创建的Project上限 | 50 |
Topic限制 | 每个Project内能创建的Topic数量限制,如有特殊请求请联系管理员 | 500 |
Topic Lifecycle限制 | 每个Topic中数据保存的最大时长,单位是天 | [1,7] |