【Spark Summit East 2017】使用Spark与Kafka构建Second Look业务用例实时平台

简介: 本讲义出自Ivy Lu在Spark Summit East 2017上的演讲,主要介绍了如何使用Spark与Kafka创建一个重新审视用例的实时平台Second Look,Second Look是由Capital One构建的用于检测并通知持卡人一些潜在的错误和意想不到的费用的实时业务平台。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps


本讲义出自Ivy Lu在Spark Summit East 2017上的演讲,主要介绍了如何使用Spark与Kafka创建一个重新审视用例的实时平台Second Look,Second Look是由Capital One构建的用于检测并通知持卡人一些潜在的错误和意想不到的费用的实时业务平台。本讲义分享了Second Look设计思路以及相关技术细节。


952769798ce7573bf221f7b71381830acb985c11

d25a144ed4332b44bc54fa7d0d8fee878b1b9228

1da7c84aa0e32163da66f6b0a0b759829b545b4f

bd4dbb88e3be5da44659bcf8c852c2a091475f18

f283cef99c4d0b1f91329ecf420eae317947236f

0e0146f268216e6221ba51821447a8b9bfb237d4

65ebccb5bc95fa6ae5cac33b80fbe698f2a23019

725a27f869c6677907d76bfe38a98d384f27b71f

1f615ab6428bc913178effb2f577ddf8de3795f0

90000d8816d20f2378ae6d603353dbf8a0fbce83

922ac8a5e4dcba2ec91cf940d429a98654cba1b8


8fe8d57cef615ccb584a4230d84ec4d1c3d1bfac

3f883ec8d3e01c6188b509e7c5044f65616fdbe2

3dea6a2dd4fbd84d7fb1b5a1328e22fcd0e577d6

相关文章
|
分布式计算 Kubernetes Java
spark on k8s 镜像构建
spark on k8s 镜像构建
746 0
|
5月前
|
弹性计算 分布式计算 Serverless
全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
【7月更文挑战第6天】全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
23721 42
|
7月前
|
SQL 分布式计算 Apache
流数据湖平台Apache Paimon(六)集成Spark之DML插入数据
流数据湖平台Apache Paimon(六)集成Spark之DML插入数据
225 0
|
7月前
|
SQL 分布式计算 Apache
流数据湖平台Apache Paimon(五)集成 Spark 引擎
流数据湖平台Apache Paimon(五)集成 Spark 引擎
213 0
|
分布式计算 Java Scala
从源代码编译构建Apach Spark3.2.4
使用官方预编译版本的Spark已经足够满足日常需求。当在特定的场景和需求下,重新编译Spark提供了更大的灵活性和控制权,适用于需要特定功能、定制化配置或对Spark进行扩展的场景。
338 1
从源代码编译构建Apach Spark3.2.4
|
存储 分布式计算 关系型数据库
AnalyticDB MySQL — Spark 助力在OSS上构建低成本数据湖
阿里云对象存储OSS(Object Storage Service)是阿里云提供的海量、安全、低成本、高可靠的云存储服务。通过和OSS团队的深入合作,AnalyticDB MySQL 的Spark能力 更好发挥了云原生数据湖方案的优势,本文为你详细解读!
|
存储 分布式计算 OLAP
深度干货|谈谈阿里云AnalyticDB Spark如何构建低成本数据湖分析
本文将分享AnalyticDB MySQL Spark助力构建低成本数据湖分析的最佳实践。
|
存储 分布式计算 关系型数据库
AnalyticDB MySQL Spark 助力在OSS上构建低成本数据湖
借助AnalyticDB MySQL Spark 可以轻松处理OSS上PB级数据,助力企业构建低成本数据湖
|
分布式计算 大数据 Java
Apache Spark + 海豚调度:PB 级数据调度挑战,教你如何构建高效离线工作流
Apache Spark Meetup | 1 月线上直播报名通道已开启,赶快报名预约吧!
551 0
Apache Spark + 海豚调度:PB 级数据调度挑战,教你如何构建高效离线工作流
|
分布式计算 Hadoop Java
spark编译:构建基于hadoop的spark安装包及遇到问题总结
spark编译:构建基于hadoop的spark安装包及遇到问题总结
376 0
spark编译:构建基于hadoop的spark安装包及遇到问题总结