kafka时间轮解析
概述
这篇博文的起源在于阿里的公众号里面有一篇文章讲菜鸟的同学在造一个关于时间轮定时器的文章,然后在网上搜索资料发现其实在好多开源的软件里面已经有了,最后选择了kafka里面的定时器实现来加深自己的理解。
Kafka 分布式消息系统详解
实际上kafka对机器的需求与Hadoop的类似。
原来,对于Linkin这样的互联网企业来说,用户和网站上产生的数据有三种:
需要实时响应的交易数据,用户提交一个表单,输入一段内容,这种数据最后是存放在关系数据库(Oracle, MySQL)中的,有些需要事务支持。 活动流数据,准实时的,例如页面访问量、用户行为、搜索情况,这些数据可以产生啥?广播、排序、个性化推荐、运营监控等。这种数据
CentOS 7部署Kafka和Kafka集群
CentOS 7部署Kafka和Kafka集群
注意事项
需要启动多个shell脚本交互客户端进行验证,运行中的客户端不要停止。
准备工作:
安装java并设置java环境变量,在`/etc/profile`中加入
export JAVA_HOME=/usr/java/jdk1.
设计一个百万级的消息推送系统
原文:设计一个百万级的消息推送系统
前言
首先迟到的祝大家中秋快乐。
最近一周多没有更新了。其实我一直想憋一个大招,分享一些大家感兴趣的干货。
鉴于最近我个人的工作内容,于是利用这三天小长假憋了一个出来(其实是玩了两天)。
消息队列常见的 5 个应用场景
一、简介
消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。
带你读《微服务架构设计模式》之三:微服务架构中的进程间通信
成功地开发基于微服务架构的应用软件,需要掌握一系列全新的架构思想和实践。在这本独特的书籍中,微服务架构的先驱、Java 开发者社区的意见领袖 Chris Richardson 收集、分类并解释了 44 个架构设计模式,这些模式用来解决诸如服务拆分、事务管理、查询和跨服务通信等难题。本书不仅仅是一个模式目录,还提供了经验驱动的建议,以帮助你设计、实现、测试和部署基于微服务的应用程序。
Apache Carbondata接入Kafka实时流数据
1.导入carbondata依赖的jar包
将apache-carbondata-1.5.3-bin-spark2.3.2-hadoop2.7.2.jar导入$SPARKHOME/jars;或将apache-carbondata-1.