• 关于 kafka 队列 的搜索结果

问题

EMR版的kafka和消息队列版kafka有什么区别?

游客znybgvady2b2u 2020-04-15 05:05:00 7 浏览量 回答数 1

问题

Kafka、RabbitMQ、RocketMQ 消息中间件的对比 | 消息发送性能篇

琴瑟 2019-12-01 21:36:29 3527 浏览量 回答数 0

问题

【精品问答】消息队列 Kafka 版

montos 2020-04-08 13:18:45 2 浏览量 回答数 1

消息队列 RocketMQ 9.9元包月起

消息队列 RocketMQ 9.9元包月起,另含2000万次API 免费调用额度

回答

数据可靠性RocketMQ支持异步实时刷盘,同步刷盘,同步Replication,异步ReplicationKafka使用异步刷盘方式,异步Replication/同步Replication总结:RocketMQ的同步刷盘在单机可靠性上比Kafka更高,不会因为操作系统Crash,导致数据丢失。Kafka同步Replication理论上性能低于RocketMQ的同步Replication,原因是Kafka的数据以分区为单位组织,意味着一个Kafka实例上会有几百个数据分区,RocketMQ一个实例上只有一个数据分区,RocketMQ可以充分利用IO Group Commit机制,批量传输数据,配置同步Replication与异步Replication相比,性能损耗约20%~30%,Kafka没有亲自测试过,但是个人认为理论上会低于RocketMQ。性能对比Kafka单机写入TPS约在百万条/秒,消息大小10个字节RocketMQ单机写入TPS单实例约7万条/秒,单机部署3个Broker,可以跑到最高12万条/秒,消息大小10个字节总结:Kafka的TPS跑到单机百万,主要是由于Producer端将多个小消息合并,批量发向Broker。RocketMQ为什么没有这么做?Producer通常使用Java语言,缓存过多消息,GC是个很严重的问题Producer调用发送消息接口,消息未发送到Broker,向业务返回成功,此时Producer宕机,会导致消息丢失,业务出错Producer通常为分布式系统,且每台机器都是多线程发送,我们认为线上的系统单个Producer每秒产生的数据量有限,不可能上万。缓存的功能完全可以由上层业务完成。单机支持的队列数Kafka单机超过64个队列/分区,Load会发生明显的飙高现象,队列越多,load越高,发送消息响应时间变长。Kafka分区数无法过多的问题RocketMQ单机支持最高5万个队列,Load不会发生明显变化队列多有什么好处?单机可以创建更多Topic,因为每个Topic都是由一批队列组成Consumer的集群规模和队列数成正比,队列越多,Consumer集群可以越大消息投递实时性Kafka使用短轮询方式,实时性取决于轮询间隔时间,0.8以后版本支持长轮询。RocketMQ使用长轮询,同Push方式实时性一致,消息的投递延时通常在几个毫秒。消费失败重试Kafka消费失败不支持重试。RocketMQ消费失败支持定时重试,每次重试间隔时间顺延总结:例如充值类应用,当前时刻调用运营商网关,充值失败,可能是对方压力过多,稍后再调用就会成功,如支付宝到银行扣款也是类似需求。这里的重试需要可靠的重试,即失败重试的消息不因为Consumer宕机导致丢失。严格的消息顺序Kafka支持消息顺序,但是一台Broker宕机后,就会产生消息乱序RocketMQ支持严格的消息顺序,在顺序消息场景下,一台Broker宕机后,发送消息会失败,但是不会乱序Mysql Binlog分发需要严格的消息顺序定时消息Kafka不支持定时消息RocketMQ支持两类定时消息开源版本RocketMQ仅支持定时Level,定时Level用户可定制阿里云ONS支持定时Level,以及指定的毫秒级别的延时时间分布式事务消息Kafka不支持分布式事务消息阿里云ONS支持分布式定时消息,未来开源版本的RocketMQ也有计划支持分布式事务消息消息查询Kafka不支持消息查询RocketMQ支持根据Message Id查询消息,也支持根据消息内容查询消息(发送消息时指定一个Message Key,任意字符串,例如指定为订单Id)总结:消息查询对于定位消息丢失问题非常有帮助,例如某个订单处理失败,是消息没收到还是收到处理出错了。消息回溯Kafka理论上可以按照Offset来回溯消息RocketMQ支持按照时间来回溯消息,精度毫秒,例如从一天之前的某时某分某秒开始重新消费消息总结:典型业务场景如consumer做订单分析,但是由于程序逻辑或者依赖的系统发生故障等原因,导致今天消费的消息全部无效,需要重新从昨天零点开始消费,那么以时间为起点的消息重放功能对于业务非常有帮助。消费并行度Kafka的消费并行度依赖Topic配置的分区数,如分区数为10,那么最多10台机器来并行消费(每台机器只能开启一个线程),或者一台机器消费(10个线程并行消费)。即消费并行度和分区数一致。RocketMQ消费并行度分两种情况顺序消费方式并行度同Kafka完全一致乱序方式并行度取决于Consumer的线程数,如Topic配置10个队列,10台机器消费,每台机器100个线程,那么并行度为1000。消息轨迹Kafka不支持消息轨迹阿里云ONS支持消息轨迹开发语言友好性Kafka采用Scala编写RocketMQ采用Java语言编写Broker端消息过滤Kafka不支持Broker端的消息过滤RocketMQ支持两种Broker端消息过滤方式根据Message Tag来过滤,相当于子topic概念向服务器上传一段Java代码,可以对消息做任意形式的过滤,甚至可以做Message Body的过滤拆分。消息堆积能力理论上Kafka要比RocketMQ的堆积能力更强,不过RocketMQ单机也可以支持亿级的消息堆积能力,我们认为这个堆积能力已经完全可以满足业务需求。开源社区活跃度Kafka社区更新较慢RocketMQ的github社区有250个个人、公司用户登记了联系方式,QQ群超过1000人。成熟度Kafka在日志领域比较成熟RocketMQ在阿里集团内部有大量的应用在使用,每天都产生海量的消息,并且顺利支持了多次天猫双十一海量消息考验,是数据削峰填谷的利器。

王晨纯 2019-12-02 01:44:21 0 浏览量 回答数 0

回答

在控制台上可以查看和设置监控告警功能,但是在 2018 年 11 月以前部署的消息队列 Kafka 版集群不支持上报监控告警数据,因此需要升级旧版本的消息队列 Kafka 版实例集群,让它可以上报监控告警数据。 若您要升级您的消息队列 Kafka 版实例集群,请参见升级实例服务版本。

保持可爱mmm 2020-03-28 18:17:33 0 浏览量 回答数 0

回答

请求结构 消息队列 Kafka 版的 API 是 RPC 风格,您可以通过发送 HTTP 请求调用 消息队列 Kafka 版 API。 其请求结构如下: http://Endpoint/?Action=xx&Parameters 其中: Endpoint: 消息队列 Kafka 版 API 的服务接入地址。不同地域的接入地址如下表所示。 表 1. 消息队列 Kafka 版接入地址 地域名称 RegionId Domain 华东1(杭州) cn-hangzhou alikafka.cn-hangzhou.aliyuncs.com 华东2(上海) cn-shanghai alikafka.cn-shanghai.aliyuncs.com 华北1(青岛) cn-qingdao alikafka.cn-qingdao.aliyuncs.com 华北2(北京) cn-beijing alikafka.cn-beijing.aliyuncs.com 华北3(张家口) cn-zhangjiakou alikafka.cn-zhangjiakou.aliyuncs.com 华北5(呼和浩特) cn-huhehaote alikafka.cn-huhehaote.aliyuncs.com 华南1(深圳) cn-shenzhen alikafka.cn-shenzhen.aliyuncs.com 中国(香港) cn-hongkong alikafka.cn-hongkong.aliyuncs.com 新加坡 ap-southeast-1 alikafka.ap-southeast-1.aliyuncs.com 印度(孟买) ap-south-1 alikafka.ap-south-1.aliyuncs.com 印度尼西亚(雅加达) ap-southeast-5 slb.ap-southeast-5.aliyuncs.com Action:要执行的操作。例如,调用 GetInstanceList 查询已创建的消息队列 Kafka 版实例。 Version:要使用的 API 版本。消息队列 Kafka 版的 API 版本是 2019-09-16。 Parameters:请求参数。每个参数之间用 “&” 分隔。 请求参数由公共请求参数和 API 自定义参数组成。公共参数中包含 API 版本号、身份验证等信息。详情请参见公共参数。 以下是一个调用 GetInstanceList 接口查询已创建的消息队列 Kafka 版实例的示例: 说明 为了便于您查看,本文中的示例都做了格式化处理。 https://alikafka.aliyuncs.com/?Action=GetInstanceList &Format=JSON &Version=2019-09-16 &Signature=xxxx%xxxx%%3D &SignatureMethod=HMAC-SHA1 &SignatureNonce=87dacc12d1a92bb296d2b398b454884b &SignatureVersion=1.0 &AccessKeyId=key-test &Timestamp=2020-01-06T09 … API 授权 为了确保您的账号安全,建议您使用子账号的身份凭证调用 API。如果您使用 RAM 账号调用消息队列 Kafka 版,您需要为该 RAM 账号创建、附加相应的授权策略。 消息队列 Kafka 版中可授权的资源和接口列表,请参见RAM 鉴权。 API 签名 对于每一次 HTTP 或者 HTTPS 协议请求,我们会根据访问中的签名信息验证访问请求者身份。具体使用 AccessKey 的 AccessKeyId 和 AccessKeySecret 对称加密验证实现。消息队列 Kafka 版通过使用 AccessKey ID 和 AccessKey Secret 进行对称加密的方法来验证请求的发送者身份。AccessKey 是为阿里云账号和 RAM 用户发布的一种身份凭证(类似于用户的登录密码),其中 AccessKey ID 用于标识访问者的身份,AccessKey Secret 是用于加密签名字符串和服务器端验证签名字符串的密钥,必须严格保密。API 签名方法,请参见签名机制。

保持可爱mmm 2020-03-28 17:56:33 0 浏览量 回答数 0

回答

Consumer Group 自动创建会引起运维问题,造成系统不稳定。 注意 由于 Spark 比较特殊,您无法指定 Consumer Group。消息队列 Kafka 版支持前缀为 spark-kafka 或 spark-executor 的 Consumer Group 自动创建。 Consumer Group 自动创建,使用起来方便,运维起来却极其麻烦,且极易造成系统不稳定。消息队列 Kafka 版的 Consumer Group,还涉及一系列鉴权问题。消息队列 Kafka 版因而不开放自动创建,但支持通过控制台、API、自动化编排工具创建 Consumer Group。 控制台:步骤二:创建 Consumer Group API:CreateConsumerGroup Terraform:alicloud_alikafka_consumer_group

保持可爱mmm 2020-03-28 18:14:29 0 浏览量 回答数 0

问题

Kafka是什么?

猫饭先生 2019-12-01 21:15:11 997 浏览量 回答数 0

回答

概述 在使用消息队列Kafka版时,客户端可能报错,您可以根据报错消息匹配对应的解决方案。 详细信息 报错信息对应的详细信息如下。 报错信息 客户端语言类型 报错原因 解决方案 TimeoutException Java 网络问题 客户端鉴权(sasl.mechanisms)失败 说明 该报错仅出现在消息队列Kafka版的公网实例中。 确保servers配置正确。 通过telnet命令排除网络问题。 如果网络正常,请参考如下内容,确认鉴权正常。 RAM主子账号授权 消息队列Kafka版Demo库 说明 该方案仅适用于消息队列Kafka版的公网实例。 run out of brokers Go Authentication failed for user Python Leader is not available 所有 Topic初始化时会短暂报该错误。如果持续报错,可能是因为没有创建Topic。 登录消息队列Kafka版的控制台。 检查Topic是否已经创建。 如果未创建,请先创建Topic。具体信息,请参见创建Topic。 leader is in election array index out of bound exception Java Spring Cloud会按自己的格式解析消息内容。 参考如下两种解决方法。 推荐同时使用Spring Cloud发送和消费。 如果您使用其他方式发送,例如,调用Kafka原生Java客户端发送,通过Spring Cloud消费时,需要设置headerMode为“raw”,即禁用解析消息内容。 具体信息,请参见Spring Cloud 官网。 No such configuration property: "sasl.mechanisms" C++ 包装C++的客户端,例如,PHP、Node.js等。 SASL和SSL模块未安装或安装异常。 参考如下命令安装SASL和SSL模块。 说明 此处以CentOS系统为例,其他系统请查阅相关官网或者第三方搜索引擎。 安装SSL:sudo yum install openssl openssl-devel 安装SASL:sudo yum install cyrus-sasl{,-plain} No worthy mechs found No KafkaClient Entry Java 未找到kafka_client_jaas.conf配置文件。 准备好 kafka_client_jaas.conf文件,放在任意目录下,这里假设为/home/admin。Java的安全登录设置是系统性的,有如下两种设置方法。 设置系统变量 通过设置JVM参数:-Djava.security.auth.login.config=/home/admin/kafka_client_jaas.conf 通过代码设置:System.setProperty("java.security.auth.login.config","/home/admin/kafka_client_jaas.conf") 注意 如果在代码中设置,一定要保证代码在启动Kafka客户端之前执行。 配置系统文件:在${JAVA_HOME}/jre/lib/java.security中增加内容:login.config.url.1=file:/home/admin/kafka_client_jaas.conf。 更多信息,请参见 Oracle JAAS Login Configuration File。 Error sending fetch request Java Consumer拉取消息失败报错,可能的原因如下。 网络问题 拉取消息超时 确保servers配置正确。 通过telnet命令排除网络问题。 如果网络正常,可能是拉取消息超时引起。可以尝试调整下列两个参数,限制单次拉取的消息量。 fetch.max.bytes:单次拉取操作,服务端返回的最大Bytes。 max.partition.fetch.bytes:单次拉取操作,服务端单个Partition返回的最大Bytes。 服务端流量限制,可以在消息队列Kafka版控制台的实例详情页面查看相应内容。 VPC访问时查看峰值流量。 公网访问时查看公网流量。 DisconnectException 适用于 消息队列 Kafka 版 如果您的问题仍未解决,您可以在阿里云社区免费咨询,或提交工单联系阿里云技术支持。

保持可爱mmm 2020-03-28 18:39:52 0 浏览量 回答数 0

问题

消息队列 Kafka 如何获取AccessKey?

保持可爱mmm 2020-03-28 17:58:16 1 浏览量 回答数 1

问题

消息队列 Kafka 如何RAM 鉴权?

保持可爱mmm 2020-03-28 17:57:39 1 浏览量 回答数 1

回答

在使用 RAM 账号调用消息队列 Kafka 版 API 前,需要主账号通过创建授权策略对 RAM 账号进行授权。在授权策略中,使用资源描述符(Alibaba Cloud Resource Name,ARN)指定授权资源。 可授权的消息队列 Kafka 版类型 在进行 RAM 子账号授权时,消息队列 Kafka 版资源的描述方式如下: 资源类型 授权策略中的资源描述方法 Instance acs:alikafka:::instanceid 其中 instanceid 为具体的资源 ID,* 代表对应的所有资源。 可授权的消息队列 Kafka 版接口 下表列举了消息队列 Kafka 版中可授权的 API 及其描述方式: API 资源描述 CreatePostPayOrder acs:alikafka:::instanceid GetInstanceList acs:alikafka:::instanceid StartInstance acs:alikafka:::instanceid UpgradePostPayOrder acs:alikafka:::instanceid ConvertPostPayOrder acs:alikafka:::instanceid ModifyInstanceName acs:alikafka:::instanceid ReleaseInstance acs:alikafka:::instanceid ListTopic acs:alikafka:::instanceid CreatePrePayOrder acs:alikafka:::instanceid DeleteInstance acs:alikafka:::instanceid UpgradePrePayOrder acs:alikafka:::instanceid GetAllowdIpList acs:alikafka:::instanceid UpdateAllowedIp acs:alikafka:::instanceid CreateTopic acs:alikafka:::instanceid GetTopicList acs:alikafka:::instanceid DeleteTopic acs:alikafka:::instanceid GetTopicStatus acs:alikafka:::instanceid CreateConsumerGroup acs:alikafka:::instanceid DeleteConsumerGroup acs:alikafka:::instanceid GetConsumerList acs:alikafka:::instanceid GetConsumerProgress acs:alikafka:::instanceid ListTagResources acs:alikafka:::instanceid TagResources acs:alikafka:::instanceid UntagResources acs:alikafka:::instanceid

保持可爱mmm 2020-03-28 17:59:10 0 浏览量 回答数 0

问题

消息队列 Kafka 版如何调用SDK?

保持可爱mmm 2020-03-28 17:54:55 1 浏览量 回答数 1

问题

消息队列 Kafka 版公共参数有哪些?

保持可爱mmm 2020-03-28 17:56:20 1 浏览量 回答数 1

问题

消息队列 Kafka 版的API有哪些?

保持可爱mmm 2020-03-28 17:53:13 2 浏览量 回答数 1

问题

消息队列 Kafka 版是否支持延迟消息?

保持可爱mmm 2020-03-28 18:37:51 1 浏览量 回答数 1

问题

消息队列 Kafka 版何时删除旧消息?

保持可爱mmm 2020-03-28 18:38:01 1 浏览量 回答数 1

问题

[@talishboy][¥20]如何使用Kafka搭建消息队列系统?

黄二刀 2019-12-01 19:27:58 476 浏览量 回答数 2

问题

消息队列 Kafka 版的签名机制有哪些?

保持可爱mmm 2020-03-28 17:55:36 1 浏览量 回答数 1

问题

能否通过公网访问消息队列 Kafka 版实例?

保持可爱mmm 2020-03-28 18:37:39 1 浏览量 回答数 1

问题

消息队列 Kafka 版的调用方式有哪些?

保持可爱mmm 2020-03-28 17:54:22 2 浏览量 回答数 1

问题

能否通过代理访问消息队列 Kafka 版实例?

保持可爱mmm 2020-03-28 18:35:25 3 浏览量 回答数 1

问题

消息队列 Kafka 版的API版本有哪些?

保持可爱mmm 2020-03-28 17:54:02 2 浏览量 回答数 1

回答

以非公网的方式访问消息队列 Kafka 版实例,首先要满足以下两个条件: 执行访问的机器必须在白名单范围内。 执行访问的机器必须与消息队列 Kafka 版实例在同一 VPC 内。 在同一 VPC 的不同可用区内,只要通过 VPC 内虚拟网络的配置让不同可用区网络可达,那么就可以访问消息队列 Kafka 版实例。 单 VPC 内多交换机的网络规划的更多信息,请参见网络规划。 配置多交换机的路由的更多信息,请参见路由表。

保持可爱mmm 2020-03-28 18:35:39 0 浏览量 回答数 0

问题

如何快速测试消息队列 Kafka 版服务端是否正常?

保持可爱mmm 2020-03-28 18:09:18 1 浏览量 回答数 1

问题

消息队列 Kafka 版的接入点为何 Ping 不通?

保持可爱mmm 2020-03-28 18:34:57 1 浏览量 回答数 1

问题

为什么不能登录部署消息队列 Kafka 版的机器?

保持可爱mmm 2020-03-28 18:15:46 1 浏览量 回答数 1

问题

使用消息队列Kafka版时客户端的报错如何解决?

保持可爱mmm 2020-03-28 18:39:09 0 浏览量 回答数 1

问题

不是同一可用区的 ECS 能否访问消息队列 Kafka 版实例?

保持可爱mmm 2020-03-28 18:34:23 1 浏览量 回答数 1

回答

消息队列 Kafka 版是全托管的,由消息队列 Kafka 版专业团队进行运维保障,您无需登录机器。集群的一些基础信息会通过监控告警进行透传。

保持可爱mmm 2020-03-28 18:16:47 0 浏览量 回答数 0
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 云栖号物联网 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站 云栖号弹性计算 阿里云云栖号 云栖号案例 云栖号直播