AI 助理
备案控制台
开发者社区 问答 正文

flume 在配置source 访问avro 的时候，能使用socket 发送数据给avro。：报错

在本地使用socket 编程 去调用远程的flume机器，发现有个 org.apache.avro.AvroRuntimeException: Excessively large list allocation request detected: 16843009 items! Connection closed.  问题 不清楚如何解决 

展开
收起
kun坤 2020-06-07 10:18:20 910 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • kun坤

    client Avro格式 是通过RPC方式交互，JAVA有API，而C C++版本 AVRO官网尚无相应的API，所以说，如果是C C++显示SOKET开发是不可行的，即使组对了event消息，发过去，flume那头解析不了。java直接调avro rpc api即可。仅供参考！######

    您好，我也想问这个问题，请问您知道the answer吗

    2020-06-07 10:18:24
    赞同 展开评论
问答标签：
socket配置 Flume source Flume source数据 Flume数据 socket数据
问答地址：
开发者社区 > 云计算 > 问答
相关问答
Flink CDC中socket exception像是连接有问题？不指定时间戳不会报错？
69
1
0
在Flink CDC中，当flink source为socket端口，Checkpoint没有生效？
96
0
0
我理解Flink类似flume一样 配置source,sink就可以了对吗？
75
1
0
数据传输DTS出现socket timeout报错
68
1
0
阿里函数计算中偶尔报错 errorMessage ：socket hang up，这个怎么解决？
677
2
0
如何配置FLUME集群将MYSQL数据写入到kafka集群？
112
4
0
自己修改server源码,想通过avro序列化到kafka,在new Source()的时候报错,s
106
1
0
如果用dataStream 怎么反序列化 avro的数据呀？
616
1
0
通过flink sql 消费这个avro后的数据改了半天 又报了这个错误是什么原因啊？
653
1
0
阿里离线数仓实战：配置好flume、datahub后，运行flume报错
516
0
0