《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (6)

简介: 《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (6)

《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (5) https://developer.aliyun.com/article/1228527?groupCode=ClouderaCDP


三、 CDP 用例场景


1. 现代化数据仓库


构建现代化数据仓库来替代传统数据仓库以解决企业对数据来源、数据量及数据服务时效的需求,使得现代化数据仓库可以使用强大的自助服务工具来为数千名 BI 分析用户提供支持,同时系统提供快速和大规模的向导和自动化管理工具,并且存储所有的数据(包括各种类型和数据量的数据)


image.png


在现代化数据仓库平台中,能够容纳所有的数据类型和数据量,并在平台上进行大规模数据的处理和分析,同时通过统一的安全和治理,保证企业数据的合规。


利用 CDP 平台提供的高性能的 ETL 工具 Hive-on-Tez 和交互式低延时 BI 查询工具Impala 来提供现代数据仓库的解决方案。

image.png


2. 流式消息处理


Apache Kafka 是一个高性能、高可用性的冗余流消息平台,可以替代更传统的消息代理。消息代理的使用有多种原因(将数据生成和处理分离,缓冲未处理的消息等)。


与大多数消息传递系统相比,Kafka 具有更好的吞吐量、内置分区、复制和容错功能,这使其成为大规模消息处理应用程序的理想解决方案。


Kafka 的功能很像发布/订阅消息系统,但具有更高的吞吐量、内置的分区、复制和容错能力。对于大规模消息处理应用程序来说,Kafka 是一个很好的解决方案。它通常与 Apache Hadoop、Spark Streaming 和 Flink 等一起使用。


在 CDP 中提供了 Kafka 及其周边的小伙伴,来使得 Kafka 更易用,更好用。该图是一种简化的动态数据参考架构,在边缘端显示为 Apache MiNiFi,它从移动资产中提取了机器生成的数据。Apache NiFi 收集数据并转换、解析和过滤到 Kafka的主题,以便 Apache Flink/Spark Streaming 等流处理引擎和其他应用程序可以快速构建和运行分析。

image.png


• 使用 CDP7.1,您将获得最新的 Kafka 服务。

• Kafka Connect 支持可用于增强与 HDFS、S3 和 Kafka Streams 的连接。可以直接将 Kafka 的数据写入到对应的存储中。

• Schema Registry 将在整个 Kafka 集群中存储和访问您的 Schema。它与Apache Ranger 集成,来支持对 Schema Registry 的访问控制。

• Stream Replication Manager 可实现业务连续性,该业务连续性支持您的 Kafka集群的复制,以实现灾难恢复和高可用性需求。

• Cruise Control 支持提供基于 API 的工具,以监视和协助 Kafka 集群和主题的重新平衡和扩展。

• Streams Messaging Manager 用于监控和管理发布者、代理、使用者和主题。


《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (7) https://developer.aliyun.com/article/1228525?groupCode=ClouderaCDP


目录
相关文章
|
监控 安全 数据可视化
java基于微服务的智慧工地管理云平台SaaS源码 数据大屏端 APP移动端
围绕施工现场人、机、料、法、环、各个环节,“智慧工地”将传统建筑施工与大数据物联网无缝结合集成多个智慧应用子系统,施工数据云端整合分析,提供专业、先进、安全的智慧工地解决方案。
553 1
|
机器学习/深度学习 算法 数据可视化
基于Google Earth Engine云平台构建的多源遥感数据森林地上生物量AGB估算模型含生物量模型应用APP
基于Google Earth Engine云平台构建的多源遥感数据森林地上生物量AGB估算模型含生物量模型应用APP
1168 0
|
大数据 定位技术
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (3)
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (3)
695 0
|
SQL 安全 大数据
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (1)
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (1)
1335 0
|
弹性计算 分布式计算 安全
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (2)
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (2)
820 0
|
机器学习/深度学习 消息中间件 监控
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (4)
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (4)
782 0
|
SQL 分布式计算 安全
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (5)
《CDP企业数据云平台从入门到实践》——Cloudera CDP 产品介绍 (5)
986 0
|
存储 边缘计算 人工智能
《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (1)
《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (1)
1025 0
|
分布式计算 安全 Hadoop
《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (2)
《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (2)
667 0
|
SQL 存储 分布式计算
《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (3)
《CDP企业数据云平台从入门到实践》——CDP/HDP 何去何从 (3)
777 0

热门文章

最新文章