基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(一)案例需求

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: 基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(一)案例需求

Flume+Kafka+Hbase+Flink+FineBI的实时综合案例

01:课程回顾

  1. Hbase如何解决非索引查询速度慢的问题?
  • 原因:Hbase以Rowkey作为唯一索引
  • 现象:只要查询条件不是Rowkey前缀,不走索引
  • 解决:构建二级索引
  • 思想:自己建rowkey索引表,通过走两次索引来代替全表扫描
  • 步骤
  • step1:根据自己查询条件找到符合条件的原表的rowkey
  • step2:根据原表rowkey去原表检索
  • 问题:不同查询条件需要不同索引表,维护原表数据与索引数据同步问题
  • 解决
  • 方案一:手动管理:自己建表、自己写入数据【原表、索引表】
  • 方案二:自己开发协处理器:协处理器的开发成本非常高
  • 方案三:第三方工具:Phoenix
create [local] index indexName on tbname(Col) [include(col)]
  • a.自动构建索引表/列族
  • b.自动对原表中的数据构建索引,自动把索引数据同步到索引表
  • c.自动维护中间所有过程
  1. Phoenix支持哪几种索引,各自的区别和实现原理是什么?
  • 索引设计:加快查询的效率
  • 全局索引
create index 
  • 索引表来实现
  • rowkey:查询条件+原表rowkey
  • col:x【占位】
  • 过程:先查询索引表,从索引中查找满足条件的rowkey,再拿rowkey到原表查询结果
  • 场景:写少读多
  • 实现:先拦截写原表的请求,先写索引表,再去写原表
  • 问题:查询的数据都在原表中,必须到原表拿数据,性能相对比较差
  • 覆盖索引:基于全局索引
create index …… include
  • 索引表来实现
  • rowkey:查询条件+原表rowkey
  • col:x【占位】
  • col……:经常作为查询结果要返回的列
  • 过程:根据查询条件,直接从索引表返回,不再查询原表
  • 场景:写少读多
  • 实现:先拦截写原表的请求,先写索引表,再去写原表
  • 问题:写的性能受到了较大影响
  • 本地索引
create local index 
  • 将索引与数据存储在原表中,索引用一个单独的列族来存储
  • rowkey:这条数据所在Region的StartKey + 查询条件 + 数据的rowey
  • 过程:必须加载全部索引来进行索引查询,牺牲了一定读的性能
  • 场景:写多读多
  • 实现:在写入数据时,直接通过协处理器将数据和数据的索引写入原表的同一个region中
  • 特点:数据侵入性比较高,所有读写都基于Phoenix进行读写,盐表不能使用本地索引
  • 函数索引:一般不用

02:课程目标

  • 目标
  • 每种存储对应的应用场景:MySQL、HDFS、HIve、Redis、Hbase、Kafka
  • 如何实现不同存储设计和开发
  • Hbase设计 + Hbase Java API
  • Kafka API
  • 架构
  • 实时采集:Flume + Kafka
  • 实时存储:Kafka
  • 离线存储:Hbase
  • 离线计算:Hive 、Phoenix
  • 实时计算:Flink
  • 实时报表:FineBI
  • 要求
  • 所有环节自己实现一遍
  • 自己设计,自己写代码

03:案例需求

  • 目标:了解案例的背景及需求
  • 路径
  • step1:案例背景
  • step2:整体目标
  • step3:具体需求
  • 实施
  • 案例背景
社交软件每天都有数千万的用户进行聊天, 陌陌、微信、脸书等公司想要对这些用户的聊天记录进行存储,满足用户的所有查询浏览以及后台需要对每天的消息量进行实时统计分析, 请设计如何实现数据的存储以及实时的数据统计分析工作。
  • 整体目标
  • 选择合理的存储容器进行数据存储, 并让其支持即席查询与离线分析工作
  • 具体需求
  • 离线分析:满足离线统计分析与即时查询
  • 根据发件人id + 收件人id + 消息日期 查询聊天记录
  • |
  • Rowkey设计
  • 实时分析
  • 实时统计消息总量
  • 实时统计各个地区发送消息的总量
  • 实时统计各个地区接收消息的总量
  • 实时统计每个用户发送消息的总量
  • 实时统计每个用户接收消息的总量
  • |
  • 指标:消息总个数
  • 维度:时间 、地区、用户、消息类型
  • 小结
  • 了解案例的背景及需求


目录
相关文章
消息中间件 存储 传感器
62 0
|
4月前
|
消息中间件 SQL 关系型数据库
Flink CDC + Kafka 加速业务实时化
Flink CDC 是一种支持流批一体的分布式数据集成工具,通过 YAML 配置实现数据传输过程中的路由与转换操作。它已从单一数据源的 CDC 数据流发展为完整的数据同步解决方案,支持 MySQL、Kafka 等多种数据源和目标端(如 Delta Lake、Iceberg)。其核心功能包括多样化数据输入链路、Schema Evolution、Transform 和 Routing 模块,以及丰富的监控指标。相比传统 SQL 和 DataStream 作业,Flink CDC 提供更灵活的 Schema 变更控制和原始 binlog 同步能力。
|
5月前
|
消息中间件 运维 Kafka
直播预告|Kafka+Flink 双引擎实战:手把手带你搭建分布式实时分析平台!
直播预告|Kafka+Flink 双引擎实战:手把手带你搭建分布式实时分析平台!
175 11
|
5月前
|
消息中间件 运维 Kafka
直播预告|Kafka+Flink双引擎实战:手把手带你搭建分布式实时分析平台!
在数字化转型中,企业亟需从海量数据中快速提取价值并转化为业务增长动力。5月15日19:00-21:00,阿里云三位技术专家将讲解Kafka与Flink的强强联合方案,帮助企业零门槛构建分布式实时分析平台。此组合广泛应用于实时风控、用户行为追踪等场景,具备高吞吐、弹性扩缩容及亚秒级响应优势。直播适合初学者、开发者和数据工程师,参与还有机会领取定制好礼!扫描海报二维码或点击链接预约直播:[https://developer.aliyun.com/live/255088](https://developer.aliyun.com/live/255088)
350 35
直播预告|Kafka+Flink双引擎实战:手把手带你搭建分布式实时分析平台!
|
9月前
|
消息中间件 存储 缓存
kafka 的数据是放在磁盘上还是内存上,为什么速度会快?
Kafka的数据存储机制通过将数据同时写入磁盘和内存,确保高吞吐量与持久性。其日志文件按主题和分区组织,使用预写日志(WAL)保证数据持久性,并借助操作系统的页缓存加速读取。Kafka采用顺序I/O、零拷贝技术和批量处理优化性能,支持分区分段以实现并行处理。示例代码展示了如何使用KafkaProducer发送消息。
|
12月前
|
消息中间件 存储 运维
为什么说Kafka还不是完美的实时数据通道
【10月更文挑战第19天】Kafka 虽然作为数据通道被广泛应用,但在实时性、数据一致性、性能及管理方面存在局限。数据延迟受消息堆积和分区再平衡影响;数据一致性难以达到恰好一次;性能瓶颈在于网络和磁盘I/O;管理复杂性涉及集群配置与版本升级。
398 1
|
12月前
|
消息中间件 Java Kafka
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
273 1
|
vr&ar 图形学 开发者
步入未来科技前沿:全方位解读Unity在VR/AR开发中的应用技巧,带你轻松打造震撼人心的沉浸式虚拟现实与增强现实体验——附详细示例代码与实战指南
【8月更文挑战第31天】虚拟现实(VR)和增强现实(AR)技术正深刻改变生活,从教育、娱乐到医疗、工业,应用广泛。Unity作为强大的游戏开发引擎,适用于构建高质量的VR/AR应用,支持Oculus Rift、HTC Vive、Microsoft HoloLens、ARKit和ARCore等平台。本文将介绍如何使用Unity创建沉浸式虚拟体验,包括设置项目、添加相机、处理用户输入等,并通过具体示例代码展示实现过程。无论是完全沉浸式的VR体验,还是将数字内容叠加到现实世界的AR应用,Unity均提供了所需的一切工具。
623 0
|
消息中间件 存储 关系型数据库
实时计算 Flink版产品使用问题之如何使用Kafka Connector将数据写入到Kafka
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
消息中间件 监控 Kafka
实时计算 Flink版产品使用问题之处理Kafka数据顺序时,怎么确保事件的顺序性
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。