【Spark Summit East 2017】使用Spark与Kafka构建Second Look业务用例实时平台-阿里云开发者社区

开发者社区> 小猫吃鱼569> 正文

【Spark Summit East 2017】使用Spark与Kafka构建Second Look业务用例实时平台

简介: 本讲义出自Ivy Lu在Spark Summit East 2017上的演讲,主要介绍了如何使用Spark与Kafka创建一个重新审视用例的实时平台Second Look,Second Look是由Capital One构建的用于检测并通知持卡人一些潜在的错误和意想不到的费用的实时业务平台。
+关注继续查看

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps


本讲义出自Ivy Lu在Spark Summit East 2017上的演讲,主要介绍了如何使用Spark与Kafka创建一个重新审视用例的实时平台Second Look,Second Look是由Capital One构建的用于检测并通知持卡人一些潜在的错误和意想不到的费用的实时业务平台。本讲义分享了Second Look设计思路以及相关技术细节。


952769798ce7573bf221f7b71381830acb985c11

d25a144ed4332b44bc54fa7d0d8fee878b1b9228

1da7c84aa0e32163da66f6b0a0b759829b545b4f

bd4dbb88e3be5da44659bcf8c852c2a091475f18

f283cef99c4d0b1f91329ecf420eae317947236f

0e0146f268216e6221ba51821447a8b9bfb237d4

65ebccb5bc95fa6ae5cac33b80fbe698f2a23019

725a27f869c6677907d76bfe38a98d384f27b71f

1f615ab6428bc913178effb2f577ddf8de3795f0

90000d8816d20f2378ae6d603353dbf8a0fbce83

922ac8a5e4dcba2ec91cf940d429a98654cba1b8


8fe8d57cef615ccb584a4230d84ec4d1c3d1bfac

3f883ec8d3e01c6188b509e7c5044f65616fdbe2

3dea6a2dd4fbd84d7fb1b5a1328e22fcd0e577d6

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
黑客50万美元售卖Zoom零日漏洞 “安全基建”应成构建办公安全的指导性原则
近日,办公软件Zoom存在重大安全漏洞的的消息引发各界关注:数以万计的私人Zoom视频被上传至公开网页,任何人都可在线围观。有人还在暗网上销售了超过50万个Zoom账户。
790 0
【译】Databricks使用Spark Streaming和Delta Lake对流式数据进行数据质量监控介绍
本文主要对Databricks如何使用Spark Streaming和Delta Lake对流式数据进行数据质量监控的方法和架构进行了介绍,本文探讨了一种数据管理架构,该架构可以在数据到达时,通过主动监控和分析来检测流式数据中损坏或不良的数据,并且不会造成瓶颈。
1194 0
后疫情时代,AnalyticDB如何助力企业实现业务增长和创新
7月23日,阿里云全新升级新一代云原生数据仓库AnalyticDB,达摩院数据库首席科学家、阿里云智能数据库事业部总负责人李飞飞重磅发布了“万仓计划”,助力每个企业拥有属于自己的云原生数据仓库。今天小编为您深度解读云原生数据仓库AnalyticDB的全新升级特性。
322 0
大数据分布式架构单点故障详解(Hdfs+Yarn+HBase+Spark+Storm)构建HA高可用架构
本文梳理了常见的hadoop生态圈中的组件:Hdfs+Yarn+HBase+Spark+Storm的单点故障问题,出现原因以及单点故障的原理和解决方案(构建HA(High Available)高可用架构)。阅读本文之前,最好了解清楚各组件的架构原理。
19649 0
start.aliyun.com 正式上线!极速构建 bootstrap 应用
背景 相信很多人都使用过start.spring.io来初始化自己的spring boot工程,这个工具为开发者提供了丰富的可选组件,并且可以选择多种打包方式,大大方便了开发人员的使用。最近,阿里的nacos、sentinel也进入start.spring.io的选项中,进一步的方便开发者使用阿里云的产品。
799 0
使用Spark SQL进行流式机器学习计算(上)
今天来和大家简单说一下如何使用Spark SQL进行流式数据的机器学习处理
1720 0
使用 Kafka + Spark Streaming + Cassandra 构建数据实时处理引擎
Apache Kafka 是一个可扩展,高性能,低延迟的平台,允许我们像消息系统一样读取和写入数据。我们可以很容易地在 Java 中使用 Kafka。 Spark Streaming 是 Apache Spark 的一部分,是一个可扩展、高吞吐、容错的实时流处理引擎。
2829 0
大中台模式下如何构建复杂业务核心状态机组件
大中台战略下,中台将公司业务的公共能力下沉,并采用更加合理、可复用的架构和技术来实现这些基础能力。在电商行业内,将面临货物的采购、商品上架、交易发生、订单状态变化、客服介入等大量状态维护。
494 0
210
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载