AI 助理
备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

11月28日Spark社区直播【Tablestore结合Spark的云上流批一体大数据架构 】

2019-11-26 4541
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
EMR Serverless Spark 免费试用，1000 CU*H 有效期3个月
EMR Serverless StarRocks，5000CU*H 48000GB*H
简介： 传统Lambda架构组件多运维复杂，如何使用一套存储和一套计算来实现流批架构充分享受技术红利？以Delta Lake为代表的新型数据湖方案越来越流行，传统的Lambda架构如何向数据湖架构进行扩展？以及结构化数据结合Delta Lake的最佳解决方案是什么。本次分享将会结合理论讲解和实际场景为您一一解答。

议题：

Tablestore结合Spark的云上流批一体大数据架构

直播间直达（回看）链接：

https://developer.aliyun.com/live/1716

简介：

传统Lambda架构组件多运维复杂，如何使用一套存储和一套计算来实现流批架构充分享受技术红利？以Delta Lake为代表的新型数据湖方案越来越流行，传统的Lambda架构如何向数据湖架构进行扩展？以及结构化数据结合Delta Lake的最佳解决方案是什么。本次分享将会结合理论讲解和实际场景为您一一解答。

讲师：

王卓然 花名琸然 阿里云存储服务技术专家

时间：

2019年11月28日 19：00-20：00
请钉钉扫码至群内观看直播，与嘉宾互动有机会获得社区礼物一份。

11.png

文章标签：
开源大数据平台 E-MapReduce
云原生大数据计算服务 MaxCompute
表格存储
分布式计算
Spark
NoSQL
大数据
关键词：
apache spark架构
spark架构
云原生大数据计算服务 MaxCompute架构
apache spark大数据
spark云原生大数据计算服务 MaxCompute
开源大数据EMR
目录
相关文章
游客7wkr3y7oxyt7a
|
5月前
|
存储 SQL 监控
数据中台架构解析：湖仓一体的实战设计
在数据量激增的数字化时代，企业面临数据分散、使用效率低等问题。数据中台作为统一管理与应用数据的核心平台，结合湖仓一体架构，打通数据壁垒，实现高效流转与分析。本文详解湖仓一体的设计与落地实践，助力企业构建统一、灵活的数据底座，驱动业务决策与创新。
游客7wkr3y7oxyt7a
846 3
青云交（Java大数据AI云原生Python）
|
7月前
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计：揭秘MySQL集群架构负载均衡核心算法：从理论到Java代码实战，让你的数据库性能飙升！
本文聚焦 MySQL 集群架构中的负载均衡算法，阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法，分析各自优缺点及适用场景。并提供 Java 语言代码实现示例，助力直观理解。文章结构清晰，语言通俗易懂，对理解和应用负载均衡算法具有实用价值和参考价值。
青云交（Java大数据AI云原生Python）
418 14
大数据大厂之MySQL数据库课程设计：揭秘MySQL集群架构负载均衡核心算法：从理论到Java代码实战，让你的数据库性能飙升！
游客2cgvtedhdpwze
|
6月前
|
存储 SQL 分布式计算
19章构建企业级大数据平台：从架构设计到数据治理的完整链路
开源社区： 贡献者路径：从提交Issue到成为Committer 会议演讲：通过DataWorks Summit提升影响力 标准制定： 白皮书撰写：通过DAMA数据治理框架认证 专利布局：通过架构设计专利构建技术壁垒
游客2cgvtedhdpwze
213 0
大熊计算机
|
6月前
|
人工智能 分布式计算 大数据
大数据≠大样本：基于Spark的特征降维实战（提升10倍训练效率）
本文探讨了大数据场景下降维的核心问题与解决方案，重点分析了“维度灾难”对模型性能的影响及特征冗余的陷阱。通过数学证明与实际案例，揭示高维空间中样本稀疏性问题，并提出基于Spark的分布式降维技术选型与优化策略。文章详细展示了PCA在亿级用户画像中的应用，包括数据准备、核心实现与效果评估，同时深入探讨了协方差矩阵计算与特征值分解的并行优化方法。此外，还介绍了动态维度调整、非线性特征处理及降维与其他AI技术的协同效应，为生产环境提供了最佳实践指南。最终总结出降维的本质与工程实践原则，展望未来发展方向。
大熊计算机
313 0
八进智
|
2月前
|
分布式计算 Kubernetes 调度
Kubeflow-Spark-Operator-架构学习指南
本指南系统解析 Spark Operator 架构，涵盖 Kubebuilder 开发、控制器设计与云原生集成。通过四阶段学习路径，助你从部署到贡献，掌握 Kubernetes Operator 核心原理与实战技能。
八进智
157 0
赵渝强老师
|
3月前
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案，适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成，支持多种计算任务的统一调度与管理。
赵渝强老师
287 1
游客7wkr3y7oxyt7a
|
4月前
|
SQL 存储 监控
流处理 or 批处理？大数据架构还需要流批一体吗?
简介：流处理与批处理曾是实时监控与深度分析的两大支柱，但二者在数据、代码与资源上的割裂，导致维护成本高、效率低。随着业务对数据实时性与深度分析的双重需求提升，传统架构难以为继，流批一体应运而生。它旨在通过逻辑、存储与资源的统一，实现一套系统、一套代码同时支持实时与离线处理，提升效率与一致性，成为未来大数据架构的发展方向。
游客7wkr3y7oxyt7a
284 0
Echo_Wish
|
5月前
|
消息中间件 分布式计算 大数据
“一上来就搞大数据架构？等等，你真想清楚了吗？”
“一上来就搞大数据架构？等等，你真想清楚了吗？”
Echo_Wish
100 1
游客wkqymr43luqiu
|
5月前
|
SQL JSON 分布式计算
Spark SQL架构及高级用法
Spark SQL基于Catalyst优化器与Tungsten引擎，提供高效的数据处理能力。其架构涵盖SQL解析、逻辑计划优化、物理计划生成及分布式执行，支持复杂数据类型、窗口函数与多样化聚合操作，结合自适应查询与代码生成技术，实现高性能大数据分析。
游客wkqymr43luqiu
387 2
青云交（Java大数据AI云原生Python）
|
6月前
|
数据采集 搜索推荐 算法
Java 大视界 -- Java 大数据在智能教育学习社区用户互动分析与社区活跃度提升中的应用（274）
本文系统阐述 Java 大数据技术在智能教育学习社区中的深度应用，涵盖数据采集架构、核心分析算法、活跃度提升策略及前沿技术探索，为教育数字化转型提供完整技术解决方案。
青云交（Java大数据AI云原生Python）
269 10
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    分布式快照算法: Chandy-Lamport
  • 2
    现代流式计算的基石：Google DataFlow
  • 3
    如何使用Kafka Connect实现同步RDS binlog数据
  • 4
    JindoFS: 云上大数据的高性能数据湖存储方案
  • 5
    Spark in action on Kubernetes - Playground搭建与架构浅析
  • 6
    梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
  • 7
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 8
    如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue
  • 9
    漫谈分布式计算框架
  • 10
    JindoFS概述：云原生的大数据计算存储分离方案
  • 1
    0 基础建站？PageAdmin CMS 10 分钟搞定，源码免费拿！
    138
  • 2
    如何建设网站，网站制作的6个步骤
    255
  • 3
    EMR AI助手开启公测：用AI重塑大数据运维，更简单、更智能
    136
  • 4
    EMR StarRocks Stella 内核正式发布，登顶 TPC 榜单全球第一
    125
  • 5
    QuickSSO 与 ECreator 实操应用案例手册
    81
  • 6
    StarRocks+Paimon 落地阿里日志采集：万亿级实时数据秒级查询
    501
  • 7
    立马耀：通过阿里云 Serverless Spark 和 Milvus 构建高效向量检索系统，驱动个性化推荐业务
    414
  • 8
    鹰角网络：EMR Serverless Spark 在《明日方舟》游戏业务的应用
    785
  • 9
    千万级数据秒级响应！碧桂园基于 EMR Serverless StarRocks 升级存算分离架构实践
    708
  • 10
    百观科技基于阿里云 EMR 的数据湖实践分享
    531

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 阿里云表格存储使用教程
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    阿里云负载均衡收费标准：ALB、NLB和CLB价格，包括LCU费用、实例费和公网带宽价格