AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】商品集群上的时间演化图处理

2017-02-19 1789
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Anand Iyer在Spark Summit East 2017上的演讲，主要介绍了构建于通用数据流框架上的时间演化图处理系统Tegra，并介绍了间隔拍摄（Timelapse）来呈现两个计算模型：用于对于进化图的多个快照进行计算的时序分析模型，以及能够有效更新结果的广义增量计算模型。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Anand Iyer在Spark Summit East 2017上的演讲，主要介绍了构建于通用数据流框架上的时间演化图处理系统Tegra，并介绍了间隔拍摄（Timelapse）来呈现两个计算模型：用于对于进化图的多个快照进行计算的时序分析模型，以及能够有效更新结果的广义增量计算模型。


4778049c6b934eaf2091c73fa2e1238596b7a727

66efa817617d374eb509eb23466b8649fe3c8123

6dd4ce72e0bc3853e4b1f617dee0f0f7aeaa6aca

44178f27c1d70bf4c13ecb9996b6ef31d76d3b5f

f3fbdc9f9b69b8f67859ff8c4e7b1699ea3fef20

a5c28461df13fc11633276d23017540bd4d591717547601539aa904f8bf5e8bc9a0481b85470a462

36e47a14f84b1df484ed95a2bd67e5917f8ee596

53b84befeb95f8901d0007e24c0e42048f64c0e2

a11ad4e926d9faed141c9df39618e7cad0af1dc8

10f6dccf92e041c0291ce9b50c71daa839e2e4f5

ef3187fc4d34ff9d8ccfa346f24de9cd151f5472

54e1a81dce80959edd9cb834fb1f0655097961d9

d26a5b545b1f874ab140474adeabc9b97e086bdc

a78cea5bd7247aece53fdddac1757f12aba5a97e

455b28208caf6497e207b3ae49666640ae9138ac

5d84b44a001dc5f830afb0da9e8e90622e8068a5

86208b4cece56231d7767c54e5021a96240c0396

f443bd7a49c0a2c4367c35e45ac0fcf03f6f0c1c

a18422904c001f0543522ede89e1c448b9196893

d368a5673600674d34f0de7e4b5886a34a4d25d3

b485313fe2aff92a8310000390ae682d9a1c28f4

a4d7b4dffaaf22b48e5ed903186444e815ee28d1

ee6dbd3786815319b61c66763e62ed2ea19a562f

a3a0544b5be26bdac31025c406ec017f7ca1ee19

061e765a89d0c3be39d777731b7e9489cce34348

7a43b65209fdb6278678446b9c634811816f17f6

8b46fe8d35d83af8be79f4fc2a282d0077bfe187

319b62209e0e0138f7a7c79f902d25718121cc63

83695a4915aef21c8184e757e2ff0362c6b0b323

2eb17e2f01f0fd83556aa4c2f1b24ddd78e1a01e

70cb5945c252c9363bc4686c6c738f8ed56fbd74

33c09ba99fc03268b4baf9d474fb5f93856f3be2

960ca8f6b263d61ade01b1d8158d546174eaae12

64db7303b83a88deb1fff88b84f9fba9d7608ca8

62f1974f42eef4de2d29d77445b9a992e68c10a0

文章标签：
大数据
分布式计算
Spark
MaxCompute
关键词：
apache spark集群
apache spark summit集群
apache spark商品
apache spark图
apache spark时间
小猫吃鱼569
目录
相关文章
武子康
|
25天前
|
SQL 分布式计算 大数据
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（一）
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（一）
武子康
30 0
武子康
|
25天前
|
SQL 分布式计算 大数据
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（二）
大数据-100 Spark 集群 Spark Streaming DStream转换 黑名单过滤的三种实现方式（二）
武子康
27 0
武子康
|
25天前
|
消息中间件 分布式计算 Kafka
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
大数据-99 Spark 集群 Spark Streaming DStream 文件数据流、Socket、RDD队列流
武子康
27 0
武子康
|
25天前
|
消息中间件 分布式计算 Kafka
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
武子康
35 0
武子康
|
25天前
|
SQL 分布式计算 大数据
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
武子康
34 0
武子康
|
25天前
|
SQL 分布式计算 算法
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
武子康
62 0
武子康
|
25天前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
武子康
26 0
郑小健
|
3天前
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成：Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代，能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统，ClickHouse 在大数据分析领域展现出了卓越的能力。然而，为了充分利用ClickHouse的优势，将其与现有的大数据处理框架（如Apache Spark和Apache Flink）进行集成变得尤为重要。本文将从我个人的角度出发，探讨如何通过这些技术的结合，实现对大规模数据的实时处理和分析。
郑小健
19 2
ClickHouse与大数据生态集成：Spark & Flink 实战
武子康
|
25天前
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
武子康
54 0
武子康
|
25天前
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
武子康
34 0

热门文章

最新文章

  • 1
    [Spark][Python]Mapping Single Rows to Multiple Pairs
  • 2
    [Spark][Python]Spark Python 索引页
  • 3
    Spark Job的提交与task本地化分析（源码阅读八）
  • 4
    spark 3.1.x支持（兼容）hive 1.2.x以及hadoop cdh版本的尝试
  • 5
    Spark-spark streaming
  • 6
    Spark-构建基于Spark的推荐引擎
  • 7
    Spark PruneDependency 依赖关系 RangePartitioner
  • 8
    Spark Master启动源码分析
  • 9
    十二、Spark的安装与部署详情（Local模式，Standalone模式，Spank on YARN模式）
  • 10
    Spark编程语言选择：Scala、Java和Python
  • 1
    DAG（有向无环图）在Spark中的应用
    404
  • 2
    scala-spark中的groupby、like等的用法
    209
  • 3
    spark执行sql的原理是什么
    114
  • 4
    容器服务Kubernetes版产品使用合集之怎么实现把 spark 跑在k8s
    84
  • 5
    spark用于分析数据并将数据保存到数据库中是
    65
  • 6
    数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
    84
  • 7
    如何解决Spark在深度学习中的资源消耗问题？
    83
  • 8
    Spark在深度学习中的优缺点是什么？
    218
  • 9
    使用Spark进行机器学习
    63
  • 10
    Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
    116

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 通过FastMR自动拉起大数据集群并运行TPCDS任务
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月