备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】使用Spark与Kafka构建Second Look业务用例实时平台

2017-02-20 1484
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Ivy Lu在Spark Summit East 2017上的演讲，主要介绍了如何使用Spark与Kafka创建一个重新审视用例的实时平台Second Look，Second Look是由Capital One构建的用于检测并通知持卡人一些潜在的错误和意想不到的费用的实时业务平台。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Ivy Lu在Spark Summit East 2017上的演讲，主要介绍了如何使用Spark与Kafka创建一个重新审视用例的实时平台Second Look，Second Look是由Capital One构建的用于检测并通知持卡人一些潜在的错误和意想不到的费用的实时业务平台。本讲义分享了Second Look设计思路以及相关技术细节。


952769798ce7573bf221f7b71381830acb985c11

d25a144ed4332b44bc54fa7d0d8fee878b1b9228

1da7c84aa0e32163da66f6b0a0b759829b545b4f

bd4dbb88e3be5da44659bcf8c852c2a091475f18

f283cef99c4d0b1f91329ecf420eae317947236f

0e0146f268216e6221ba51821447a8b9bfb237d4

65ebccb5bc95fa6ae5cac33b80fbe698f2a23019

725a27f869c6677907d76bfe38a98d384f27b71f

1f615ab6428bc913178effb2f577ddf8de3795f0

90000d8816d20f2378ae6d603353dbf8a0fbce83

922ac8a5e4dcba2ec91cf940d429a98654cba1b8


8fe8d57cef615ccb584a4230d84ec4d1c3d1bfac

3f883ec8d3e01c6188b509e7c5044f65616fdbe2

3dea6a2dd4fbd84d7fb1b5a1328e22fcd0e577d6

文章标签：
云消息队列 Kafka 版
大数据
分布式计算
Spark
消息中间件
Kafka
测试技术
MaxCompute
关键词：
云消息队列 Kafka 版构建
apache spark kafka
云消息队列 Kafka 版spark
apache spark平台
云消息队列 Kafka 版平台
小猫吃鱼569
目录
相关文章
阿甘兄
|
6月前
|
消息中间件 分布式计算 Kafka
195 Spark Streaming整合Kafka完成网站点击流实时统计
195 Spark Streaming整合Kafka完成网站点击流实时统计
阿甘兄
41 0
热烈的马
|
5月前
|
消息中间件 分布式计算 大数据
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装（图文解释 超详细）
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装（图文解释 超详细）
热烈的马
77 0
桃李春风一杯酒
|
26天前
|
消息中间件 存储 Java
深度探索：使用Apache Kafka构建高效Java消息队列处理系统
【4月更文挑战第17天】本文介绍了在Java环境下使用Apache Kafka进行消息队列处理的方法。Kafka是一个分布式流处理平台，采用发布/订阅模型，支持高效的消息生产和消费。文章详细讲解了Kafka的核心概念，包括主题、生产者和消费者，以及消息的存储和消费流程。此外，还展示了Java代码示例，说明如何创建生产者和消费者。最后，讨论了在高并发场景下的优化策略，如分区、消息压缩和批处理。通过理解和应用这些策略，可以构建高性能的消息系统。
桃李春风一杯酒
27 1
开源技术专栏
|
7月前
|
消息中间件 监控 Java
一款开源的 Kafka 管理平台
Apache Kafka UI 是一个免费的开源 Web UI，用于监控和管理 Apache Kafka 集群，可方便地查看 Kafka Brokers、Topics、消息、Consumer 等情况，支持多集群管理、性能监控、访问控制等功能
开源技术专栏
261 1
晓之以理的喵~~
|
4月前
|
消息中间件 分布式计算 Kafka
Spark与Kafka的集成与流数据处理
Spark与Kafka的集成与流数据处理
晓之以理的喵~~
229 0
晓之以理的喵~~
|
4月前
|
消息中间件 分布式计算 Kafka
使用Kafka与Spark Streaming进行流数据集成
使用Kafka与Spark Streaming进行流数据集成
晓之以理的喵~~
174 0
晓之以理的喵~~
|
5月前
|
消息中间件 监控 负载均衡
Kafka 最佳实践：构建可靠、高性能的分布式消息系统
Apache Kafka 是一个强大的分布式消息系统，被广泛应用于实时数据流处理和事件驱动架构。为了充分发挥 Kafka 的优势，需要遵循一些最佳实践，确保系统在高负载下稳定运行，数据可靠传递。本文将深入探讨 Kafka 的一些最佳实践，并提供丰富的示例代码，帮助大家更好地应用这一强大的消息系统。
晓之以理的喵~~
471 0
晓之以理的喵~~
|
5月前
|
消息中间件 监控 安全
Kafka安全性探究：构建可信赖的分布式消息系统
在本文中，将研究Kafka的安全性，探讨如何确保数据在传输和存储过程中的完整性、机密性以及授权访问。通过详实的示例代码，全面讨论Kafka安全性的各个方面，从加密通信到访问控制，帮助大家构建一个可信赖的分布式消息系统。
晓之以理的喵~~
61 0
晓之以理的喵~~
|
5月前
|
消息中间件 关系型数据库 MySQL
Kafka Connect ：构建强大分布式数据集成方案
Kafka Connect 是 Apache Kafka 生态系统中的关键组件，专为构建可靠、高效的分布式数据集成解决方案而设计。本文将深入探讨 Kafka Connect 的核心架构、使用方法以及如何通过丰富的示例代码解决实际的数据集成挑战。
晓之以理的喵~~
210 0
热烈的马
|
5月前
|
存储 Java 关系型数据库
【Kafka+Flume+Mysql+Spark】实现新闻话题实时统计分析系统（附源码）
【Kafka+Flume+Mysql+Spark】实现新闻话题实时统计分析系统（附源码）
热烈的马
54 1
【Kafka+Flume+Mysql+Spark】实现新闻话题实时统计分析系统（附源码）

热门文章

最新文章

  • 1
    图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
  • 2
    BR-MLP基于spark+Hadoop分布式数据挖掘解决方案功能剖析
  • 3
    Spark 源码分析 -- BlockStore
  • 4
    地铁译：Spark for python developers --- 搭建Spark虚拟环境3
  • 5
    7月24日晚Spark社区直播：【Apache Spark 基于 Apache Arrow 的列式存储优化】
  • 6
    Spark RDD类源码阅读
  • 7
    Spark中分布式使用HanLP（1.7.0)分词示例
  • 8
    Spark 分析网站排名热度
  • 9
    MapReduce Shuffle原理 与 Spark Shuffle原理
  • 10
    AnalyticDB MySQL — Spark 助力在OSS上构建低成本数据湖
  • 1
    SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）
    56
  • 2
    Kafka【付诸实践 03】Offset Explorer Kafka 的终极 UI 工具安装+简单上手+关键特性测试（一篇学会使用 Offset Explorer）
    248
  • 3
    Kafka【付诸实践 02】消费者和消费者群组+创建消费者实例+提交偏移量（自动、手动）+监听分区再平衡+独立的消费者+消费者其他属性说明（实例源码粘贴可用）【一篇学会使用Kafka消费者】
    91
  • 4
    Kafka【付诸实践 01】生产者发送消息的过程描述及设计+创建生产者并发送消息（同步、异步）+自定义分区器+自定义序列化器+生产者其他属性说明（实例源码粘贴可用）【一篇学会使用Kafka生产者】
    217
  • 5
    Kafka【基础知识 02】集群+副本机制+数据请求+物理存储+数据存储设计（图片来源于网络）
    49
  • 6
    Kafka【基础知识 01】消息队列介绍+Kafka架构及核心概念（图片来源于网络）
    112
  • 7
    Kafka【问题记录 01】kill -9 导致 Kakfa 重启失败问题处理（doesn‘t match stored clusterId xxx in meta.properties）
    28
  • 8
    Flink CDC产品常见问题之用upsert的方式写入kafka失败如何解决
    68
  • 9
    Flink CDC产品常见问题之Flink CDC里从kafka消费的时候顺序混乱如何解决
    60
  • 10
    DataWorks常见问题之kafka数据导入datahub失败如何解决
    69

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 分布式消息系统 Kafka 快速入门
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Java Spring Boot开发实战系列课程【第16讲】：Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析
  • MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute
  • 消息队列kafka介绍

    • 相关实验场景

    更多
  • 基于DTS构建一站式实时数据服务
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 基于Flink+Tair搭建实时监控大屏
  • 5分钟上手Flink MySQL连接器
  • 使用Flink实时发现最热Github项目
  • EMR数据湖开发治理之用户画像分析
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）