AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】使用Spark与Kafka构建Second Look业务用例实时平台

2017-02-20 1703
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Ivy Lu在Spark Summit East 2017上的演讲，主要介绍了如何使用Spark与Kafka创建一个重新审视用例的实时平台Second Look，Second Look是由Capital One构建的用于检测并通知持卡人一些潜在的错误和意想不到的费用的实时业务平台。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Ivy Lu在Spark Summit East 2017上的演讲，主要介绍了如何使用Spark与Kafka创建一个重新审视用例的实时平台Second Look，Second Look是由Capital One构建的用于检测并通知持卡人一些潜在的错误和意想不到的费用的实时业务平台。本讲义分享了Second Look设计思路以及相关技术细节。


952769798ce7573bf221f7b71381830acb985c11

d25a144ed4332b44bc54fa7d0d8fee878b1b9228

1da7c84aa0e32163da66f6b0a0b759829b545b4f

bd4dbb88e3be5da44659bcf8c852c2a091475f18

f283cef99c4d0b1f91329ecf420eae317947236f

0e0146f268216e6221ba51821447a8b9bfb237d4

65ebccb5bc95fa6ae5cac33b80fbe698f2a23019

725a27f869c6677907d76bfe38a98d384f27b71f

1f615ab6428bc913178effb2f577ddf8de3795f0

90000d8816d20f2378ae6d603353dbf8a0fbce83

922ac8a5e4dcba2ec91cf940d429a98654cba1b8


8fe8d57cef615ccb584a4230d84ec4d1c3d1bfac

3f883ec8d3e01c6188b509e7c5044f65616fdbe2

3dea6a2dd4fbd84d7fb1b5a1328e22fcd0e577d6

文章标签：
云消息队列 Kafka 版
大数据
分布式计算
Spark
消息中间件
Kafka
测试技术
MaxCompute
小猫吃鱼569
目录
相关文章
消息中间件 存储 传感器
648 0
阿里云大数据
|
分布式计算 运维 搜索推荐
立马耀：通过阿里云 Serverless Spark 和 Milvus 构建高效向量检索系统，驱动个性化推荐业务
蝉妈妈旗下蝉选通过迁移到阿里云 Serverless Spark 及 Milvus，解决传统架构性能瓶颈与运维复杂性问题。新方案实现离线任务耗时减少40%、失败率降80%，Milvus 向量检索成本降低75%，支持更大规模数据处理，查询响应提速。
阿里云大数据
851 57
阿里云大数据
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台，实现了数据与 AI 技术的有效融合，解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台，最终实现不同场景下整体性能提升50%以上，同时综合成本下降30%。
阿里云大数据
1326 58
wljslmz
|
消息中间件 Java Kafka
Spring Boot 与 Apache Kafka 集成详解：构建高效消息驱动应用
Spring Boot 与 Apache Kafka 集成详解：构建高效消息驱动应用
wljslmz
1029 1
郑小健
|
消息中间件 数据挖掘 Kafka
Apache Kafka流处理实战：构建实时数据分析应用
【10月更文挑战第24天】在当今这个数据爆炸的时代，能够快速准确地处理实时数据变得尤为重要。无论是金融交易监控、网络行为分析还是物联网设备的数据收集，实时数据处理技术都是不可或缺的一部分。Apache Kafka作为一款高性能的消息队列系统，不仅支持传统的消息传递模式，还提供了强大的流处理能力，能够帮助开发者构建高效、可扩展的实时数据分析应用。
郑小健
1246 5
郑小健
|
消息中间件 存储 监控
构建高可用性Apache Kafka集群：从理论到实践
【10月更文挑战第24天】随着大数据时代的到来，数据传输与处理的需求日益增长。Apache Kafka作为一个高性能的消息队列服务，因其出色的吞吐量、可扩展性和容错能力而受到广泛欢迎。然而，在构建大规模生产环境下的Kafka集群时，保证其高可用性是至关重要的。本文将从个人实践经验出发，详细介绍如何构建一个高可用性的Kafka集群，包括集群规划、节点配置以及故障恢复机制等方面。
郑小健
675 4
瓴羊Dataphin
|
消息中间件 Kafka 搜索推荐
Dataphin功能Tips系列（23）-如何通过kafka构建实时标签
如何通过kafka构建实时标签
瓴羊Dataphin
442 11
Dataphin功能Tips系列（23）-如何通过kafka构建实时标签
zuozewei
|
消息中间件 监控 Kafka
Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
【8月更文挑战第13天】Filebeat+Kafka+Logstash+Elasticsearch+Kibana 构建日志分析系统
zuozewei
1749 3
游客lkw7toijkbadm
|
消息中间件 Kafka 数据处理
Kafka与Flink：构建高性能实时数据处理系统的实践指南
Apache Kafka 和 Apache Flink 的结合为构建高性能的实时数据处理系统提供了坚实的基础。通过合理的架构设计和参数配置，可以实现低延迟、高吞吐量的数据流处理。无论是在电商、金融、物流还是其他行业，这种组合都能为企业带来巨大的价值。
游客lkw7toijkbadm
2844 1

热门文章

最新文章

  • 1
    骑士卡：基于Kafka搭建消息中心，上亿消息推送轻松完成
  • 2
    zookeeper和kafka的SASL认证以及生产实践
  • 3
    一文带你秒懂 Kafka工作原理！
  • 4
    Apache Flink 漫谈系列(15) - DataStream Connectors之Kafka
  • 5
    什么是Apache Kafka？如何将其与Spring Boot集成？
  • 6
    【Kafka】Kafka 中消费者与消费者组的关系与负载均衡实现
  • 7
    服务搭建篇(六) 搭建基于Kafka + Zookeeper的集群
  • 8
    Python面试：消息队列（RabbitMQ、Kafka）基础知识与应用
  • 9
    SpringBoot + KafKa实现生产者和消费者功能
  • 10
    使用jmx exporter采集kafka指标
  • 1
    Linux环境下 java程序提交spark任务到Yarn报错
    352
  • 2
    Kubeflow-Spark-Operator-架构学习指南
    656
  • 3
    阿里云 EMR Serverless Spark：面向 Data+AI 的高性能 Lakehouse 产品
    876
  • 4
    springboot项目集成dolphinscheduler调度器 可拖拽spark任务管理
    666
  • 5
    Spark SQL架构及高级用法
    986
  • 6
    大数据≠大样本：基于Spark的特征降维实战（提升10倍训练效率）
    799
  • 7
    一体系数据平台的进化：基于阿里云 EMR Serverless Spark 的持续演进
    563
  • 8
    Fusion 引擎赋能：流利说如何用阿里云 Serverless Spark 实现数仓计算加速
    1129
  • 9
    3 秒音频也能克隆？拆解 Spark-TTS 架构的极致小样本学习
    1191
  • 10
    从InfluxDB到StarRocks：Grab实现Spark监控平台10倍性能提升
    669

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 分布式消息系统 Kafka 快速入门
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Java Spring Boot开发实战系列课程【第16讲】：Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析
  • MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute
  • 消息队列kafka介绍

    • 相关实验场景

    更多
  • 基于Flink+Kafka实现订单评论实时分析
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！