AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】使用Kafka, Spark, and Kudu构建实时BI系统

2017-02-19 4158
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Ruhollah Farchtchi在Spark Summit East 2017上的演讲，主要介绍了在面对处理实时流数据时的一个关键性挑战就是被捕获到的数据的格式不是查询中的最佳解析格式，那么如何构建实时的商业智能系统就成为了一个挑战，本讲义介绍了如何使用Kafka, Spark, and Kudu构建实时BI系统。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Ruhollah Farchtchi在Spark Summit East 2017上的演讲，主要介绍了在面对处理实时流数据时的一个关键性挑战就是被捕获到的数据的格式不是查询中的最佳解析格式，那么如何构建实时的商业智能系统就成为了一个挑战，本讲义介绍了如何使用Kafka, Spark, and Kudu构建实时BI系统。


4e21d7620d4d57d3a780e63912ee65d8641adf84

c41fa69b5e01b3f2f7aa1f84ebb14c85c8e4c66f

9f6373c12dff6abdec1d87f7fa6ee5a489b39c4a

b8e59a4913d20d7728694c6a5f5fc14f5cc44281

cbfd26fe5f6899007b86410a33383f586b0479c4

8fabbbd2a42cea1df62255819473d3e1da5b97f3

956a2bffe539d9816192cca113a4f265bd565599

9cafe52d81febf6b61440b0bf00e95fdf30d1108

51d5a5a91edd6f64c4f9323b2a43a113d6c1f578

85f9a0e970f1d785c568acd9e363a9c1b579e533


12d868c828e5bbd3a1cf15975b8891370edf2b32

520e573e2b3c900a1ab5ce71e8ebf766c178d2c9

1ed3ba32a2b386e03c753d5deb2d3a86b9fc6879

76c6526d847a07172178a91623cb8354ab9470fd
76e73e4ad80c5483b2cfef1197f885f69047f071

5beb9f8772316084fc06b82202f3767e993f2fe2

974b0b3d40d44f78499b9fb1b5d0a5b69dae8962

df6d1884f87026872e3dfd4b2359433de7f3aee5

e10caee9929b360192b1e57acee14a8137d2f3ee



文章标签：
云消息队列 Kafka 版
大数据
分布式计算
Spark
BI
消息中间件
关键词：
云消息队列 Kafka 版构建
云消息队列 Kafka 版系统
apache spark kafka
spark云消息队列 Kafka 版
云消息队列 Kafka 版构建系统
小猫吃鱼569
目录
相关文章
武子康
|
22天前
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
武子康
31 0
武子康
|
22天前
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
武子康
59 0
武子康
|
22天前
|
消息中间件 分布式计算 Kafka
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
武子康
46 0
郑小健
|
3月前
|
存储 分布式计算 资源调度
Hadoop生态系统概览：从HDFS到Spark
【8月更文第28天】Hadoop是一个开源软件框架，用于分布式存储和处理大规模数据集。它由多个组件构成，旨在提供高可靠性、高可扩展性和成本效益的数据处理解决方案。本文将介绍Hadoop的核心组件，包括HDFS、MapReduce、YARN，并探讨它们如何与现代大数据处理工具如Spark集成。
郑小健
155 0
BetterBench
|
3月前
|
分布式计算 Java Linux
【Deepin 20系统】Linux 系统安装Spark教程及使用
在Deepin 20系统上安装和使用Apache Spark的详细教程，包括安装Java JDK、下载和解压Spark安装包、配置环境变量和Spark配置文件、启动和关闭Spark集群的步骤，以及使用Spark Shell和PySpark进行简单操作的示例。
BetterBench
54 0
孜倦与shine
|
5月前
|
机器学习/深度学习 分布式计算 算法
基于Spark中随机森林模型的天气预测系统
基于Spark中随机森林模型的天气预测系统
孜倦与shine
113 1
孜倦与shine
|
5月前
|
消息中间件 分布式计算 关系型数据库
使用Apache Spark从MySQL到Kafka再到HDFS的数据转移
使用Apache Spark从MySQL到Kafka再到HDFS的数据转移
孜倦与shine
84 0
孜倦与shine
|
5月前
|
消息中间件 分布式计算 Kafka
利用Spark将Kafka数据流写入HDFS
利用Spark将Kafka数据流写入HDFS
孜倦与shine
85 0
晓之以理的喵~~
|
6月前
|
消息中间件 分布式计算 Kafka
Spark与Kafka的集成与流数据处理
Spark与Kafka的集成与流数据处理
晓之以理的喵~~
323 0
小猫吃鱼569
|
分布式计算 大数据 Spark
【Spark Summit East 2017】基于Elastic Spark Streaming的自动伸缩系统
本讲义出自PhuDuc Nguyen在Spark Summit East 2017上的演讲，主要介绍了不支持开箱即用的在不中断实时Spark Streaming任务的同时能够添加或删除节点的功能。并介绍了Elastic Spark Streaming任务能够自动调整对于数据流的体积和流量的需求。
小猫吃鱼569
1718 0

热门文章

最新文章

  • 1
    Spark-ML-01-小试spark分析离线商品信息
  • 2
    Spark做TPC-DS性能测试
  • 3
    [Spark][Python]Spark Python 索引页
  • 4
    Spark Job的提交与task本地化分析（源码阅读八）
  • 5
    spark 3.1.x支持（兼容）hive 1.2.x以及hadoop cdh版本的尝试
  • 6
    Spark-构建基于Spark的推荐引擎
  • 7
    Spark PruneDependency 依赖关系 RangePartitioner
  • 8
    Spark Master启动源码分析
  • 9
    十二、Spark的安装与部署详情（Local模式，Standalone模式，Spank on YARN模式）
  • 10
    spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
  • 1
    云原生最佳实践系列 5：基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作
    664
  • 2
    org.apache.kafka.common.KafkaException: Socket server failed to bind to 114.115.20.100:9092: Cannot
    68
  • 3
    Kafka启动遇到ERROR Exiting Kafka due to fatal exception (kafka.Kafka$)
    719
  • 4
    【深入浅出 RocketMQ原理及实战】「底层源码挖掘系列」透彻剖析贯穿一下RocketMQ和Kafka索引设计原理和方案
    115
  • 5
    Kafka 面试题及答案整理，最新面试题
    208
  • 6
    面试官：你说说Kafka是怎么保证消息可靠性的
    92
  • 7
    面试官：Kafka和ES选主有什么区别？
    108
  • 8
    如何快速实现 Kafka 性能压测
    89933
  • 9
    SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）
    94
  • 10
    Kafka【付诸实践 03】Offset Explorer Kafka 的终极 UI 工具安装+简单上手+关键特性测试（一篇学会使用 Offset Explorer）
    802

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 分布式消息系统 Kafka 快速入门
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Java Spring Boot开发实战系列课程【第16讲】：Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析
  • MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute
  • 消息队列kafka介绍

    • 相关实验场景

    更多
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 基于Flink+Tair搭建实时监控大屏
  • 5分钟上手Flink MySQL连接器
  • 数据湖构建DLF快速入门
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月