【Spark Summit East 2017】使用Spark横向扩展关系型数据库

本文涉及的产品
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: 本讲义出自Cody Koeninger在Spark Summit East 2017上的演讲,扩展了并不一定意味着放弃事务和高效的连接!对于关系型数据库进行横向扩展可以帮助Spark覆盖存储流媒体或批处理计算的功能的实现。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps


本讲义出自Cody Koeninger在Spark Summit East 2017上的演讲,扩展了并不一定意味着放弃事务和高效的连接!对于关系型数据库进行横向扩展可以帮助Spark覆盖存储流媒体或批处理计算的功能的实现。


289e1624b15a31958a53ae8231919d0139fdff34

18038e4b978bc48581caefa398edbca1753aba2c

25240e1085b6155963b8dc15891488da524d2019

910c2a5850c472df41ddffa59a663c8770b5d4b3

5382cdb0dba8e044d16dfd10c620d91ec38ae200

10a6a9fb630469221be113f31d99e3cf81406d4c

dfd2b325083bc9021bb3467cd66d917b322247d8

36ccb90505a44e310a9693a628a075ec45ac1bd5

af66242e6d2ddea6863cd619bbf6d6ed5f921433

28b992c567444d2ca4b8201c80b0766cd272cb82

cbd49deb14ce818cea4730364a690534a4007497

6b005f8bd7d9498a99c11e4b230aed02d78dd499

ae8a4b4a53540dd411a971b4048286150411ad52


756ef88c25b9d00f7d9d0bf0d3fd7a0435808165

b78e39b150a88c893b0051a6a88659aaffeb5175

893f797edb96edc6740fbeab1cbbe1e92de63f5a

2e964721417b759ca3583c10b37544d3905d4c0e

5fe033b4eff3a38c064475c7ab82ba6313de8fe0

966b12123b38cc25d1601e5ef5a1727c96e609e6

dec354a5f3757008cdc7a31ac30480ccc1d8387e

d1ea0965d3ded4a2ab767c3a087b068337767eb2

24f4e1bbdf8be1df4979ccde8af46af12a7aaa19

e78dfca59b996ffeaaf9ec818046c80d169782cf

8d10fd3b17c48b6d1309f8d05b2e984932eb8ad8

673eb69a5b4912d31e22e713c18676f3cbadb69c

1027e5b930ee303303cc1b1f8637d947132f94a7

cf768ee3d303b69bfb051220fa4203457ac0f7ea

5923d4d8ed371f1a5153d74cb80bb8b714fe7db7

c263780d0ea0338bcabd36d6d4727b4477fa81c0

467189c698aff27c1bc7c8f88cd5b723571f4977

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
5月前
|
Cloud Native 关系型数据库 分布式数据库
掌阅科技采用云原生数据库PolarDB,大幅降低使用成本,提升业务稳定性和扩展性
掌阅科技将数据库迁移到PolarDB后,数据压缩到之前的30%,整体成本节省50%。
169 0
|
5月前
|
SQL 分布式计算 数据库
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战(附源码)
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战(附源码)
203 0
|
3天前
|
应用服务中间件 PHP Apache
PbootCMS提示错误信息“未检测到您服务器环境的sqlite3数据库扩展...”
PbootCMS提示错误信息“未检测到您服务器环境的sqlite3数据库扩展...”
|
2天前
|
机器学习/深度学习 存储 自然语言处理
LangChain-22 Text Embedding 续接21节 文本切分后 对文本进行embedding向量化处理 后续可保存到向量数据库后进行检索 从而扩展大模型的能力
LangChain-22 Text Embedding 续接21节 文本切分后 对文本进行embedding向量化处理 后续可保存到向量数据库后进行检索 从而扩展大模型的能力
7 0
|
2月前
|
SQL 关系型数据库 MySQL
PHP与数据库交互的艺术:深入探讨PDO扩展
【8月更文挑战第28天】在数字信息时代的海洋里,PHP作为一艘灵活的帆船,承载着无数网站和应用的梦想。而PDO扩展,则是这艘帆船上不可或缺的导航仪,指引着数据安全与效率的航向。本文将带你领略PHP与数据库交互的艺术,深入浅出地探索PDO的世界,从连接数据库到执行复杂的查询,每一步都清晰可见。我们将一起航行在这段奇妙的旅程上,解锁数据的奥秘,体验编程的乐趣。
21 1
|
2月前
|
存储 负载均衡 中间件
构建可扩展的分布式数据库:技术策略与实践
【8月更文挑战第3天】构建可扩展的分布式数据库是一个复杂而具有挑战性的任务。通过采用数据分片、复制与一致性模型、分布式事务管理和负载均衡与自动扩展等关键技术策略,并合理设计节点、架构模式和网络拓扑等关键组件,可以构建出高可用性、高性能和可扩展的分布式数据库系统。然而,在实际应用中还需要注意解决数据一致性、故障恢复与容错性以及分布式事务的复杂性等挑战。随着技术的不断发展和创新,相信分布式数据库系统将在未来发挥更加重要的作用。
|
3月前
|
关系型数据库 分布式数据库 数据库
PolarDB,阿里云的开源分布式数据库,与微服务相结合,提供灵活扩展和高效管理解决方案。
【7月更文挑战第3天】PolarDB,阿里云的开源分布式数据库,与微服务相结合,提供灵活扩展和高效管理解决方案。通过数据分片和水平扩展支持微服务弹性,保证高可用性,且兼容MySQL协议,简化集成。示例展示了如何使用Spring Boot配置PolarDB,实现服务动态扩展。PolarDB缓解了微服务数据库挑战,加速了开发部署,为云原生应用奠定基础。
240 3
|
5月前
|
负载均衡 关系型数据库 数据管理
关系型数据库的横向扩展
【5月更文挑战第2天】关系型数据库的横向扩展
134 6
关系型数据库的横向扩展
|
5月前
|
存储 负载均衡 关系型数据库
关系型数据库垂直扩展限制
【5月更文挑战第2天】关系型数据库垂直扩展限制
54 4
关系型数据库垂直扩展限制
|
5月前
|
分布式计算 Java 关系型数据库