AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】在AdTech使用Spark对于产品管道进行研发

2017-02-20 2076
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Maximo Gurmendez , Saket Mengle与Sunanda Parthasarathy 在Spark Summit East 2017上的演讲，主要介绍了DataXu，其核心能力是应用数据分析来获取更好的市场，其核心是每天处理2 Petabytes数据并且每秒响应来自五大洲的210万个请求的广告拍卖的实时竞价平台，演讲中将分享使用Apache Spark 框架和Databricks的DataXu成功用例，演讲将分享整个从研发到ETL处理以及建模等工作的整个过程。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Maximo Gurmendez , Saket Mengle与Sunanda Parthasarathy 在Spark Summit East 2017上的演讲，主要介绍了DataXu，其核心能力是应用数据分析来获取更好的市场，其核心是每天处理2 Petabytes数据并且每秒响应来自五大洲的210万个请求的广告拍卖的实时竞价平台，演讲中将分享使用Apache Spark 框架和Databricks的DataXu成功用例，演讲将分享整个从研发到ETL处理以及建模等工作的整个过程。


9fd0b4c2c2d1d2ffb60a7b1a7bc155281a0ed4fe

9019d6c7c12342313fd663981e010e96ab3586a3

374d1345e84c9db0fea404637f7390b4dd001aab

b6536d184be3e09e852359fc4beb96ae3b55bb1a

f8a38cc90a5237cb3e3e9bb1866465d7a8f5b19b

b244ca4ff05c1373bb537a1b98db210dccf67777

8089794338f7b0987ebb4899899e93d800ec05b5

407aed168bbdff656ac4163106866f9074ecb0e6

e3301bb15456647c8fa167ac1214d15c81729a9e

16ffc2abca7d24d44e8c3a1d8feedf2b3e292d68

994b3763a93127b3686ba06baf38642deb284d13

c501056aeec367afbb3d4cfbbb2dc89f4993abf0

文章标签：
Apache
大数据
分布式计算
Spark
关键词：
apache spark产品
apache spark管道
apache spark研发
apache spark summit
apache spark east
小猫吃鱼569
目录
相关文章
番茄酱脑袋
|
4月前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之如何开发ODPS Spark任务
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
番茄酱脑袋
87 2
技术君
|
5月前
|
存储 分布式计算 Serverless
带你读《阿里云产品五月刊》——五、阿里云 EMR Serverless Spark 版开启免费公测
阿里云 EMR Serverless Spark 版开启免费公测
技术君
98 0
嘟嘟嘟嘟嘟嘟
|
5月前
|
SQL 弹性计算 资源调度
云服务器 ECS产品使用问题之bin/spark-sql --master yarn如何进行集群模式运行
云服务器ECS（Elastic Compute Service）是各大云服务商阿里云提供的一种基础云计算服务，它允许用户租用云端计算资源来部署和运行各种应用程序。以下是一个关于如何使用ECS产品的综合指南。
嘟嘟嘟嘟嘟嘟
76 7
扬流
|
6月前
|
分布式计算 运维 数据挖掘
【评测有奖】参加 EMR Serverless Spark 产品评测，赢机械键盘、充电宝等礼品！
即日起至2024年7月18日，参加 EMR Serverless Spark 产品评测，赢机械键盘、充电宝等礼品！
扬流
183 7
【评测有奖】参加 EMR Serverless Spark 产品评测，赢机械键盘、充电宝等礼品！
嘟嘟嘟嘟嘟嘟
|
4月前
|
分布式计算 DataWorks Java
DataWorks产品使用合集之如何引用在spark jar中引用密文的空间参数
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
嘟嘟嘟嘟嘟嘟
48 0
嘟嘟嘟嘟嘟嘟
|
5月前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之怎么编写和执行Spark SQL
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
嘟嘟嘟嘟嘟嘟
119 1
三分钟热度的鱼
|
5月前
|
分布式计算 数据处理 流计算
实时计算 Flink版产品使用问题之使用Spark ThriftServer查询同步到Hudi的数据时，如何实时查看数据变化
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
三分钟热度的鱼
55 1
冲冲冲c
|
6月前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之ODPS Spark找不到自己的stdout，该如何解决
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
冲冲冲c
62 2
冲冲冲c
|
6月前
|
弹性计算 分布式计算 DataWorks
DataWorks产品使用合集之spark任务如何跨空间取表数据
DataWorks作为一站式的数据开发与治理平台，提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案，帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述，涵盖数据处理的各个环节。
冲冲冲c
45 1
三分钟热度的鱼
|
6月前
|
SQL 分布式计算 HIVE
实时计算 Flink版产品使用问题之同步到Hudi的数据是否可以被Hive或Spark直接读取
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
三分钟热度的鱼
280 3

热门文章

最新文章

  • 1
    Spark Master启动源码分析
  • 2
    Spark-spark streaming
  • 3
    Spark本地环境搭建（local模式）
  • 4
    Spark PruneDependency 依赖关系 RangePartitioner
  • 5
    spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
  • 6
    Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？
  • 7
    10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
  • 8
    利用闪存优化在Cosco基础上的Spark Shuffle
  • 9
    Spark Shell入门教程（上）
  • 10
    领英如何应对Apache Spark的Scalability挑战
  • 1
    spark用于分析数据并将数据保存到数据库中是
    76
  • 2
    数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
    98
  • 3
    如何解决Spark在深度学习中的资源消耗问题？
    94
  • 4
    Spark在深度学习中的优缺点是什么？
    269
  • 5
    使用Spark进行机器学习
    85
  • 6
    Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
    145
  • 7
    【Spark】Spark基础教程知识点
    93
  • 8
    DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
    180
  • 9
    MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
    152
  • 10
    MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
    85

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    DataWorks