【Spark Summit East 2017】通过Simplicity进行扩展:如何使3亿用户的聊天应用的数据工程量减少70%

简介: 本讲义出自Joel Cumming在Spark Summit East 2017上的演讲,主要分享了使得3亿用户的聊天应用的数据工程量减少70%的8件事情,Joel Cumming与他的团队将数据栈从系统和进程的复杂结合体带入到可扩展、简单并且健壮的基于Spark和Databricks平台上,该平台将会使任何一家公司丢可以超级简单地使用数据。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps


本讲义出自Joel Cumming在Spark Summit East 2017上的演讲,主要分享了使得3亿用户的聊天应用的数据工程量减少70%的8件事情,Joel Cumming与他的团队将数据栈从系统和进程的复杂结合体带入到可扩展、简单并且健壮的基于Spark和Databricks平台上,该平台将会使任何一家公司丢可以超级简单地使用数据。


064c2c8837a93c4e8020368193200360b4b65352

24f7c3b11a321d4f9a636e6af51cde6102061c3a

90ac63cf3b7f29e85db75cc9136f76793c6f52ff

46f66b5bd97677768969a8f40bf5b3379927729a

74d3c5e46e1d29165830544080dadc3ce62aa291

8a5cebbe060b638fc88f86e55362e68e7455b507

3ddf2e17762b709c347a602ab78e8c8e21d70ba7

c181b4f53e991d1256c7afe262050f61d6d9a8a3

0311dd1a2482a585780619c6be78b20526e62045

2a2032183e982ef6adbacb964ec7157419e6a093

5818414e5049e939635694421c8e9987272ee174

01c2af70646fb1777f0b06a3900425a758851b49

a73bcabdf0d51eca550578de415c41cf628dc8c0

2515bbd55e686bdad48c3108d79f390f7c0e35c6

bccfb2809216ec8b8dc7da127725eecceeeef376cbeea987f35912d4843be0d4c69cac5e2dc0c446efa2fed1a18541409e5dfa9aea6421bbc151ef97

cbeea987f35912d4843be0d4c69cac5e2dc0c446

2a2dfc27b168758dfaa6a0e7bae216439c5af279

069f7241474cf6bf289f5b0b30936bf55f72068f

1f986f526698fbb38f6bab0db4d37739586b38f8

7208213b2ddb2c32556df6050a209dbc9b7d8dc6

824f62430bbd03a60e314b8eed9bdc1a9e1d5e24

c040a342ad3967eacc9772af71b0591b95bb8aee

5fa59682aa5672dcf158f004f1b1b6453972f2c9

4da7ce12447bbfd88cf74fb54ac8716d44d934ab

004c204666d021d1a2176579e72146e4b84c0e64

53afd089511b604d80cc5cae255f27bb996b4949

9cfa22f955aef4a79f867b0868ecbaa82466b90d

相关文章
|
分布式计算 数据处理 Apache
Spark和Flink的区别是什么?如何选择?都应用在哪些行业?
【10月更文挑战第10天】Spark和Flink的区别是什么?如何选择?都应用在哪些行业?
1736 1
|
9月前
|
SQL 分布式计算 Serverless
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
鹰角网络为应对游戏业务高频活动带来的数据潮汐、资源弹性及稳定性需求,采用阿里云 EMR Serverless Spark 替代原有架构。迁移后实现研发效率提升,支持业务快速发展、计算效率提升,增强SLA保障,稳定性提升,降低运维成本,并支撑全球化数据架构部署。
1067 56
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
170 3
|
11月前
|
机器学习/深度学习 分布式计算 大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈,微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark,微财突破了单机训练使用的数据规模瓶颈,大幅提升了训练效率,解决了存算分离架构下 Shuffle 稳定性和性能困扰,为智能风控等业务提供了强有力的技术支撑。
551 15
|
11月前
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
289 0
|
分布式计算 大数据 数据处理
Apache Spark的应用与优势:解锁大数据处理的无限潜能
【8月更文挑战第23天】Apache Spark以其卓越的性能、易用性、通用性、弹性与可扩展性以及丰富的生态系统,在大数据处理领域展现出了强大的竞争力和广泛的应用前景。随着大数据技术的不断发展和普及,Spark必将成为企业实现数字化转型和业务创新的重要工具。未来,我们有理由相信,Spark将继续引领大数据处理技术的发展潮流,为企业创造更大的价值。
|
存储 分布式计算 Java
|
分布式计算 监控 大数据
如何处理 Spark 中的倾斜数据?
【8月更文挑战第13天】
816 4
|
存储 缓存 分布式计算
|
SQL 存储 分布式计算