producer配置

简介:

比较核心的配置:metadata.broker.list、request.required.acks、producer.type、serializer.class

消费者获取消息元信息(topics, partitions and replicas)的地址,配置格式是:host1:port1,host2:port2,也可以在外面设置一个vip

metadata.broker.list

消息的确认模式

0:不保证消息的到达确认,只管发送,低延迟但是会出现消息的丢失,在某个server失败的情况下,有点像TCP

1:发送消息,并会等待leader 收到确认后,一定的可靠性

-1:发送消息,等待leader收到确认,并进行复制操作后,才返回,最高的可靠性

request.required.acks =0

消息发送的最长等待时间

request.timeout.ms =10000

socket的缓存大小

send.buffer.bytes=100*1024

key的序列化方式,若是没有设置,同serializer.class

key.serializer.class

分区的策略,默认是取模

partitioner.class=kafka.producer.DefaultPartitioner

消息的压缩模式,默认是none,可以有gzip和snappy

compression.codec = none

可以针对默写特定的topic进行压缩

compressed.topics=null

消息发送失败后的重试次数

message.send.max.retries =3

每次失败后的间隔时间

retry.backoff.ms =100

生产者定时更新topic元信息的时间间隔 ,若是设置为0,那么会在每个消息发送后都去更新数据

topic.metadata.refresh.interval.ms =600*1000

用户随意指定,但是不能重复,主要用于跟踪记录消息

client.id=""

------------------------------------------- 消息模式 相关 -------------------------------------------

生产者的类型 async:异步执行消息的发送 sync:同步执行消息的发送

producer.type=sync

异步模式下,那么就会在设置的时间缓存消息,并一次性发送

queue.buffering.max.ms =5000

异步的模式下 最长等待的消息数

queue.buffering.max.messages =10000

异步模式下,进入队列的等待时间 若是设置为0,那么要么进入队列,要么直接抛弃

queue.enqueue.timeout.ms = -1

异步模式下,每次发送的最大消息数,前提是触发了queue.buffering.max.messages或是queue.buffering.max.ms的限制

batch.num.messages=200

消息体的系列化处理类 ,转化为字节流进行传输

serializer.class= kafka.serializer.DefaultEncoder

目录
相关文章
|
存储 安全 PHP
【PHP 开发专栏】PHP 框架入门与选择
【4月更文挑战第30天】本文介绍了PHP框架的基础知识,强调其在提高开发效率和代码质量上的优势。文中列举了常见的PHP框架,如Laravel(适合复杂项目)、Symfony(适合企业级应用)、CodeIgniter(轻量级,适用于中小型项目)、Yii(高性能,适合大型应用)和Phalcon(极佳性能,适合高并发场景)。选择框架时,应考虑项目需求、学习曲线、社区支持和技术栈兼容性。
426 0
|
机器学习/深度学习 人工智能 算法
智能增强:人工智能在医疗诊断中的应用与挑战
本文深入探讨了人工智能技术在医疗诊断领域的应用及其带来的变革。文章首先概述了AI技术的基本原理和发展历程,随后详细分析了AI在提高诊断准确性、个性化治疗计划以及疾病预防方面的具体应用案例。同时,文章也指出了AI在医疗实践中面临的数据隐私、算法透明度和医疗伦理等挑战,并提出了相应的解决策略。最后,文章展望了AI技术在未来医疗诊断中的发展前景,强调了跨学科合作的重要性以及持续监管和技术创新的必要性。
|
存储 分布式计算 监控
HDFS的主要特点是什么?为什么它适合处理大规模数据集?
HDFS的主要特点是什么?为什么它适合处理大规模数据集?
674 0
|
存储 缓存 Linux
探索文件系统:高效、可靠的文件管理与访问机制
本篇文章探索了文件系统的功能规划,着重讨论了文件存储、索引节点和目录项的管理、缓存策略以及文件数据的存储等方面。文件系统作为计算机系统中重要的组成部分,对于实现高效、可靠的文件管理与访问机制至关重要。通过深入了解文件系统的基本单位、元信息记录和目录结构,我们可以更好地理解文件系统的工作原理,本文旨在为读者提供对文件系统功能规划的全面认识,以帮助他们更好地理解和应用文件系统相关的技术。
497 0
|
网络协议 Shell Perl
根据web访问日志,封禁请求量异常的IP,如IP在半小时后恢复正常,则解除封禁
根据web访问日志,封禁请求量异常的IP,如IP在半小时后恢复正常,则解除封禁
257 1
|
自然语言处理 计算机视觉
IDEA研究院原作团队解读封神榜体系:致力于成为中文认知智能的基础设施
IDEA研究院原作团队解读封神榜体系:致力于成为中文认知智能的基础设施
531 0
|
传感器 人工智能 自然语言处理
AI大模型加速RPAxAI时代到来,谁会是RPA领域的杀手级应用?
GPT等AI大模型如何重新定义RPA?能够为企业级RPA带来哪些技术变革与商业机会?什么是RPAxAI? 一篇文章看明白 。
549 0
|
传感器 算法 开发工具
Baumer工业相机堡盟万兆网相机如何在联合Halcon中对图像进行平场校正功能(Halcon)
Baumer工业相机堡盟万兆网相机如何在联合Halcon中对图像进行平场校正功能(Halcon)
553 0
|
数据安全/隐私保护
又一款有虚拟形象的录屏软件来了,制作教学类视频的神器!(文末送福利)
Wondershare PDFelement:一款强大的pdf处理软件,一键去除水印、编辑图片、批量处理PDF等等,拥有很多强大的功能!
425 0
|
存储 Java C++
java 单列集合List 万字详解(通俗易懂)
java 集合之List接口,是集合篇章重要的一部分。
473 0
java 单列集合List 万字详解(通俗易懂)