AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】使用Kafka, Spark, and Kudu构建实时BI系统

2017-02-19 4226
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Ruhollah Farchtchi在Spark Summit East 2017上的演讲，主要介绍了在面对处理实时流数据时的一个关键性挑战就是被捕获到的数据的格式不是查询中的最佳解析格式，那么如何构建实时的商业智能系统就成为了一个挑战，本讲义介绍了如何使用Kafka, Spark, and Kudu构建实时BI系统。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Ruhollah Farchtchi在Spark Summit East 2017上的演讲，主要介绍了在面对处理实时流数据时的一个关键性挑战就是被捕获到的数据的格式不是查询中的最佳解析格式，那么如何构建实时的商业智能系统就成为了一个挑战，本讲义介绍了如何使用Kafka, Spark, and Kudu构建实时BI系统。


4e21d7620d4d57d3a780e63912ee65d8641adf84

c41fa69b5e01b3f2f7aa1f84ebb14c85c8e4c66f

9f6373c12dff6abdec1d87f7fa6ee5a489b39c4a

b8e59a4913d20d7728694c6a5f5fc14f5cc44281

cbfd26fe5f6899007b86410a33383f586b0479c4

8fabbbd2a42cea1df62255819473d3e1da5b97f3

956a2bffe539d9816192cca113a4f265bd565599

9cafe52d81febf6b61440b0bf00e95fdf30d1108

51d5a5a91edd6f64c4f9323b2a43a113d6c1f578

85f9a0e970f1d785c568acd9e363a9c1b579e533


12d868c828e5bbd3a1cf15975b8891370edf2b32

520e573e2b3c900a1ab5ce71e8ebf766c178d2c9

1ed3ba32a2b386e03c753d5deb2d3a86b9fc6879

76c6526d847a07172178a91623cb8354ab9470fd
76e73e4ad80c5483b2cfef1197f885f69047f071

5beb9f8772316084fc06b82202f3767e993f2fe2

974b0b3d40d44f78499b9fb1b5d0a5b69dae8962

df6d1884f87026872e3dfd4b2359433de7f3aee5

e10caee9929b360192b1e57acee14a8137d2f3ee



文章标签：
云消息队列 Kafka 版
大数据
分布式计算
Spark
BI
消息中间件
关键词：
云消息队列 Kafka 版系统
apache spark构建系统
apache spark系统
apache spark构建
云消息队列 Kafka 版构建
小猫吃鱼569
目录
相关文章
消息中间件 存储 传感器
208 0
啦啦啦191
|
4月前
|
消息中间件 Java Kafka
Java 事件驱动架构设计实战与 Kafka 生态系统组件实操全流程指南
本指南详解Java事件驱动架构与Kafka生态实操，涵盖环境搭建、事件模型定义、生产者与消费者实现、事件测试及高级特性，助你快速构建高可扩展分布式系统。
啦啦啦191
242 7
阿里云大数据
|
8月前
|
分布式计算 运维 搜索推荐
立马耀：通过阿里云 Serverless Spark 和 Milvus 构建高效向量检索系统，驱动个性化推荐业务
蝉妈妈旗下蝉选通过迁移到阿里云 Serverless Spark 及 Milvus，解决传统架构性能瓶颈与运维复杂性问题。新方案实现离线任务耗时减少40%、失败率降80%，Milvus 向量检索成本降低75%，支持更大规模数据处理，查询响应提速。
阿里云大数据
409 57
阿里云大数据
|
10月前
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台，实现了数据与 AI 技术的有效融合，解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台，最终实现不同场景下整体性能提升50%以上，同时综合成本下降30%。
阿里云大数据
761 58
wljslmz
|
消息中间件 Java Kafka
Spring Boot 与 Apache Kafka 集成详解：构建高效消息驱动应用
Spring Boot 与 Apache Kafka 集成详解：构建高效消息驱动应用
wljslmz
455 1
八百标兵奔北坡
|
消息中间件 Ubuntu Java
Ubuntu系统上安装Apache Kafka
Ubuntu系统上安装Apache Kafka
八百标兵奔北坡
1157 0
郑小健
|
消息中间件 安全 Kafka
Apache Kafka安全加固指南：保护你的消息传递系统
【10月更文挑战第24天】在现代企业环境中，数据的安全性和隐私保护至关重要。Apache Kafka作为一款广泛使用的分布式流处理平台，其安全性直接影响着业务的稳定性和用户数据的安全。作为一名资深的Kafka使用者，我深知加强Kafka安全性的重要性。本文将从个人角度出发，分享我在实践中积累的经验，帮助读者了解如何有效地保护Kafka消息传递系统的安全性。
郑小健
803 7
郑小健
|
消息中间件 数据挖掘 Kafka
Apache Kafka流处理实战：构建实时数据分析应用
【10月更文挑战第24天】在当今这个数据爆炸的时代，能够快速准确地处理实时数据变得尤为重要。无论是金融交易监控、网络行为分析还是物联网设备的数据收集，实时数据处理技术都是不可或缺的一部分。Apache Kafka作为一款高性能的消息队列系统，不仅支持传统的消息传递模式，还提供了强大的流处理能力，能够帮助开发者构建高效、可扩展的实时数据分析应用。
郑小健
696 5
郑小健
|
消息中间件 存储 监控
构建高可用性Apache Kafka集群：从理论到实践
【10月更文挑战第24天】随着大数据时代的到来，数据传输与处理的需求日益增长。Apache Kafka作为一个高性能的消息队列服务，因其出色的吞吐量、可扩展性和容错能力而受到广泛欢迎。然而，在构建大规模生产环境下的Kafka集群时，保证其高可用性是至关重要的。本文将从个人实践经验出发，详细介绍如何构建一个高可用性的Kafka集群，包括集群规划、节点配置以及故障恢复机制等方面。
郑小健
391 4
郑小健
|
消息中间件 Java Kafka
初识Apache Kafka：搭建你的第一个消息队列系统
【10月更文挑战第24天】在数字化转型的浪潮中，数据成为了企业决策的关键因素之一。而高效的数据处理能力，则成为了企业在竞争中脱颖而出的重要武器。在这个背景下，消息队列作为连接不同系统和服务的桥梁，其重要性日益凸显。Apache Kafka 是一款开源的消息队列系统，以其高吞吐量、可扩展性和持久性等特点受到了广泛欢迎。作为一名技术爱好者，我对 Apache Kafka 产生了浓厚的兴趣，并决定亲手搭建一套属于自己的消息队列系统。
郑小健
310 2
初识Apache Kafka：搭建你的第一个消息队列系统

热门文章

最新文章

  • 1
    Hadoop大数据平台实战(05)：深入Spark Cluster集群模式YARN vs Mesos vs Standalone vs K8s
  • 2
    开源大数据技术专场（上午）:Spark、HBase、JStorm应用与实践
  • 3
    Spark SQL玩起来
  • 4
    阿里巴巴瑾谦/沐远：云HBaseSQL及分析——Phoenix&Spark
  • 5
    【译】使用Spark SQL 运行大规模基因组工作流
  • 6
    Spark SQL性能优化
  • 7
    云栖社区2019年1月技术活动：PG， Java，Spark等30+场预告【持续更新】
  • 8
    spark on k8s的动态资源分配和external shuffle Service以及任务的队列资源管理
  • 9
    【大数据技术Hadoop+Spark】Spark RDD设计、运行原理、运行流程、容错机制讲解（图文解释）
  • 10
    入门 spark
  • 1
    大数据+商业智能=精准决策，企业的秘密武器
    226
  • 2
    BI 驱动决策，赋能企业增长
    189
  • 3
    《大模型时代的智能BI—Quick BI》评测获奖名单公布
    214
  • 4
    如何选择好用的BI平台？BI报表管理与BI可视化平台功能优势比拼！
    273
  • 5
    数字化时代企业怎么做，Quick BI 告诉你
    440
  • 6
    Quick BI × 宜搭：低代码敏捷开发与专业数据分析的完美融合，驱动企业数字化转型新范式
    522
  • 7
    产品测评 | 大模型时代下全场景数据消费平台的智能BI—Quick BI深度解析
    604
  • 8
    Quick BI 测评报告
    398
  • 9
    模型时代的智能BI—Quick BI：阿里云的数据洞察与决策引擎
    1197
  • 10
    数据可视化工具大比拼：从Tableau到Power BI，谁才是你的最佳拍档？
    1038

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 分布式消息系统 Kafka 快速入门
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Java Spring Boot开发实战系列课程【第16讲】：Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析
  • MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute
  • 消息队列kafka介绍

    • 相关实验场景

    更多
  • 基于Flink+Kafka实现订单评论实时分析
    • 下一篇
    阿里云负载均衡收费标准：ALB、NLB和CLB价格，包括LCU费用、实例费和公网带宽价格