kudu入门 _应用场景_kudu|学习笔记

简介: 快速学习kudu入门 _应用场景_kudu

开发者学堂课程【2020版大数据实战项目之DMP广告系统(第一阶段)kudu入门 _应用场景_kudu】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/676/detail/11750


kudu入门 _应用场景_kudu


方案四:Kudu

首先对前面的内容做一个总结,应用难点在于

(1)保存实时流数据,逐条插入

(2)在此基础之上,要进行批量扫描

而kudu可以保存实时流数据,逐条插入,并且在此基础之上,要进行批量扫描。kudu可以弥补 HDFS 和 Hbase 的不足,它是介于 HDFS 和 Hbase 之间的存储引擎。

Kudu 必须要满足以下两点要求:

1.能够让 Spark Streaming 的数据能够以一小批或者一条一条的方式来进行插入

2.还要提供近似于 Hbase 随机插入性。即在随机读写性能上,媲美 Hbase。Hbase 逐条插入性能非常高,因此 kudu要具备此性能。

3.kudu 在扫描性能即大规模数据分析性能,媲美 HDFS 上的 Parquet。

image.png

因此 Kudu 特别适合随机读写,在随机扫描上也很好,但没有 Parquet 性能高。完美的解决方案是不存在的,但有多种选择。Kudu 虽然没有 Parquet 高性能,但能媲美 hbase 插入性能,kudu 具有全面能力。

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
存储 消息中间件 SQL
Flink 基础学习(五)数据存储
前面两篇笔记已经写了数据来源和转换如何使用,那么这篇当然就到了数据存储,接下来将会从以下角度介绍一下(喜闻乐见的 What / Why / How)~:
1365 0
Flink 基础学习(五)数据存储
|
3月前
|
分布式计算 监控 大数据
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
92 1
|
8月前
|
SQL 存储 大数据
手把手教你大数据离线综合实战 ETL+Hive+Mysql+Spark
手把手教你大数据离线综合实战 ETL+Hive+Mysql+Spark
298 0
|
消息中间件 SQL NoSQL
Flink的sink实战之三:cassandra3
实践flink数据集sink到cassandra3
138 1
Flink的sink实战之三:cassandra3
|
监控 大数据 分布式数据库
|
存储 分布式计算 数据挖掘
kudu入门_应用场景_方案三|学习笔记
快速学习kudu入门_应用场景_方案三
121 0
kudu入门_应用场景_方案三|学习笔记
|
SQL 消息中间件 存储
Kudu入门_应用场景_方案一|学习笔记
快速学习Kudu入门_应用场景_方案一
118 0
Kudu入门_应用场景_方案一|学习笔记
|
SQL 存储 大数据
kudu入门_应用场景_方案二|学习笔记
快速学习kudu入门_应用场景_方案二
108 0
kudu入门_应用场景_方案二|学习笔记
|
存储 数据可视化 大数据
Kudu入门_应用场景_项目介绍|学习笔记
快速学习Kudu入门_应用场景_项目介绍
140 0
Kudu入门_应用场景_项目介绍|学习笔记