AI 助理
文档备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】使用开源大数据软件构建实时防欺诈引擎

2017-02-19 2267
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Kees Jan de Vries在Spark Summit East 2017上的演讲，骗子总试图使用盗取来的信用卡购买商品，预定机票和酒店等，这伤害了持卡人的信任和供应商在世界各地的业务，本讲义介绍了使用开源大数据软件：Spark, Spark ML, H2O, Hive, Esper等构建的实时防欺诈引擎，并介绍了面对的挑战。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Kees Jan de Vries在Spark Summit East 2017上的演讲，骗子总试图使用盗取来的信用卡购买商品，预定机票和酒店等，这伤害了持卡人的信任和供应商在世界各地的业务，本讲义介绍了使用开源大数据软件：Spark, Spark ML, H2O, Hive, Esper等构建的实时防欺诈引擎，并介绍了面对的挑战。


477800562f0bc86b35e3636f262da982ec2e02dc

2c54e1e73437c43e1e2f7a12b5bf56a0d6e98e04

392f64f778c0727fd7b572ec9b0775d31209b033

de98b84ef7cd3a36b0359af7a495d561436de6b5

53d85e8ea939a552034c3d017d34c57795eb594b

5d2d4d72fdf9f4fe12938433191c0eba52637d10

c1e631c3746bbabe0b6fb67853b2d347dca6616f

e1bfd21d851a8fce73bcd7cdb2a1ff8da6bcb1d4

82b697d6b49b015146a28698b4be4c9719e99bf0

4b6c804103f7adce768d1d5f3c74441f4c16b525

10ff08e0ad4168b38666bf07012bcdbfba7d06c0

a742efd5c7de774c2b5b1dfd6fa9dcb54ba32a9e

5d5e15a0534533dadfc9ea6c2a5e66f41da50bc0

daead6d0f5aec050eb33c2e644d141a12efde1aa

f94f77a79244cd01cd91484c4b9ad76c1913d616

a61dc958fd4066a3fcbd547ad108b30fc765903a

c6ec119a088c754637ce73ebf4cf61563d25353c

b359d9bb63a31f827af460f1b693fc61feab6dad

b459134f7b15bb9d5c2dc740096ee12def1e7bd2

ff01a7ad224e4610aa29fa76a84297b726528193

30d83dd7ff2dbdda476c261a55970821f0eaece1

9a25fa699b326279de435c56894f3e12a83b63c6

200be4594fc27de9d9c7279e5989322f7fbcdbd0

f660c7746d5809ed75c664184208bc4f02d25306

eb9a3eee8708ea493578e423724ea586986d60a0

447b102d845ce55cf9f3f1fbcd3114620eea4c9b

facb0a3b2d372030a2259d2d1b2edf4237723c93

17ab958e7745cee028f636f71320b5385d47d89e

0cfe4ffb53d04cd93624fcc0b714955c743153a3

7709c93745f209849761a0a40159d547868de64c

515d3eae2241adb2b8f58955d624eb47743dc85c

40791c27891001e8ea68dd902b4b703f934d2d14

64dd0587a6aa36063797602d6930b6d835af313d

953c38bb0c54e1442549db70dc5cdaedac9f766e

521966bb269ed1386b6bdbcbee864c55fa6d3472

eae3191ef06c649f5490927516d05535ec1b8194

d602ee7464879fa3e4c5995d9fc6c644c6b287a6

6d10135cdcaa15edc7f71b3ad63506cf4e6a36c8

842f687b52eb275ce8eafe5815a69e9610632ee7

文章标签：
云原生大数据计算服务 MaxCompute
大数据
分布式计算
Spark
SQL
HIVE
MaxCompute
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程：基于MaxCompute的热门话题分析
小猫吃鱼569
目录
相关文章
熊建锟的AI手记
|
人工智能 分布式计算 大数据
大数据≠大样本：基于Spark的特征降维实战（提升10倍训练效率）
本文探讨了大数据场景下降维的核心问题与解决方案，重点分析了“维度灾难”对模型性能的影响及特征冗余的陷阱。通过数学证明与实际案例，揭示高维空间中样本稀疏性问题，并提出基于Spark的分布式降维技术选型与优化策略。文章详细展示了PCA在亿级用户画像中的应用，包括数据准备、核心实现与效果评估，同时深入探讨了协方差矩阵计算与特征值分解的并行优化方法。此外，还介绍了动态维度调整、非线性特征处理及降维与其他AI技术的协同效应，为生产环境提供了最佳实践指南。最终总结出降维的本质与工程实践原则，展望未来发展方向。
熊建锟的AI手记
830 0
郑小健
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成：Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代，能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统，ClickHouse 在大数据分析领域展现出了卓越的能力。然而，为了充分利用ClickHouse的优势，将其与现有的大数据处理框架（如Apache Spark和Apache Flink）进行集成变得尤为重要。本文将从我个人的角度出发，探讨如何通过这些技术的结合，实现对大规模数据的实时处理和分析。
郑小健
1366 2
ClickHouse与大数据生态集成：Spark & Flink 实战
Echo_Wish
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
Echo_Wish
917 79
土木林森
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代，数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件，通过HDFS存储数据和Spark进行高效计算，实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践，包括数据存储、处理、安全和可视化等方面，展示了它们在实际应用中的协同效应。
土木林森
854 2
土木林森
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用，通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理，确保高可靠性和容错性；Spark则凭借其高性能和丰富的API，进行深度分析和机器学习，实现高效的批处理和实时处理。
土木林森
796 1
武子康
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
武子康
557 0
武子康
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
武子康
453 0
武子康
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
武子康
579 0
土木林森
|
SQL 机器学习/深度学习 分布式计算
Spark快速上手：揭秘大数据处理的高效秘密，让你轻松应对海量数据
【10月更文挑战第25天】本文全面介绍了大数据处理框架 Spark，涵盖其基本概念、安装配置、编程模型及实际应用。Spark 是一个高效的分布式计算平台，支持批处理、实时流处理、SQL 查询和机器学习等任务。通过详细的技术综述和示例代码，帮助读者快速掌握 Spark 的核心技能。
土木林森
866 6
郑小健
|
分布式计算 大数据 OLAP
AnalyticDB与大数据生态集成：Spark & Flink
【10月更文挑战第25天】在大数据时代，实时数据处理和分析变得越来越重要。AnalyticDB（ADB）是阿里云推出的一款完全托管的实时数据仓库服务，支持PB级数据的实时分析。为了充分发挥AnalyticDB的潜力，将其与大数据处理工具如Apache Spark和Apache Flink集成是非常必要的。本文将从我个人的角度出发，分享如何将AnalyticDB与Spark和Flink集成，构建端到端的大数据处理流水线，实现数据的实时分析和处理。
郑小健
679 1

热门文章

最新文章

  • 1
    Spark SQL玩起来
  • 2
    Spark SQL性能优化
  • 3
    阿里巴巴瑾谦/沐远：云HBaseSQL及分析——Phoenix&Spark
  • 4
    【译】使用Spark SQL 运行大规模基因组工作流
  • 5
    钉钉群直播【Spark Relational Cache 原理和实践】
  • 6
    EMR Spark Relational Cache的执行计划重写
  • 7
    云栖社区2019年1月技术活动：PG， Java，Spark等30+场预告【持续更新】
  • 8
    Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
  • 9
    Spark作业的调度与执行流程
  • 10
    Spark-再次分析Apache访问日志
  • 1
    当“爆款书”遇上大数据：出版业的老路，正在被算法改写
    1333
  • 2
    基于python大数据的台风灾害分析及预测系统
    919
  • 3
    基于Python大数据的热门游戏推荐系统
    845
  • 4
    基于python大数据的青少年网络使用情况分析及预测系统
    980
  • 5
    2026版基于python大数据的电影分析可视化系统
    871
  • 6
    基于Python大数据的的电商用户行为分析系统
    1871
  • 7
    基于python大数据技术的医疗数据分析与研究
    611
  • 8
    别再靠“拍脑袋”修系统了——聊聊大数据如何让运维更聪明
    1156
  • 9
    基于python大数据深度学习的酒店评论文本情感分析系统
    1153
  • 10
    基于python大数据的的海洋气象数据可视化平台
    554

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！