AI 助理
备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

12月11日Spark社区直播【实时数仓建设以及典型场景应用】

2019-12-10 1242
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
EMR Serverless StarRocks，5000CU*H 48000GB*H
简介： 本次分享会介绍实时数仓的思路以及一些实践，包括SparkStreaming SQL引擎，以及对Delta/Kudu/Druid/阿里云多种存储组件的深度整合；同时会在这个基础上介绍一些典型案例应用

议题：

实时数仓建设以及典型场景应用

直播间直达（回看）链接：

https://developer.aliyun.com/live/1758

简介：

本次分享会介绍实时数仓的思路以及一些实践，包括SparkStreaming SQL引擎，以及对Delta/Kudu/Druid/阿里云多种存储组件的深度整合；同时会在这个基础上介绍一些典型案例应用

讲师：

宋军，花名嵩林 阿里云EMR高级技术专家。从事Spark内核优化，对SparkCore/SprakSQL有深入了解，Spark Contributor

时间：

2019年12月11日 19：00
请钉钉扫码至群内观看直播，与嘉宾互动有机会获得社区礼物一份。

image.png

文章标签：
实时数仓 Hologres
分布式计算
SQL
druid
Spark
存储
关键词：
apache spark场景
apache spark应用
实时数仓 Hologres场景
实时数仓 Hologres应用
apache spark社区
相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
阿里云E-MapReduce团队
目录
相关文章
yuanzhengme
|
4月前
|
分布式计算 数据处理 Apache
Spark和Flink的区别是什么？如何选择？都应用在哪些行业？
【10月更文挑战第10天】Spark和Flink的区别是什么？如何选择？都应用在哪些行业？
yuanzhengme
465 1
不吃核桃
|
6月前
|
存储 运维 搜索推荐
实时数仓Hologres发展问题之Hologres在无人车送货场景中的应用如何解决
实时数仓Hologres发展问题之Hologres在无人车送货场景中的应用如何解决
不吃核桃
70 2
阿里云大数据
|
6天前
|
机器学习/深度学习 分布式计算 大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈，微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark，微财突破了单机训练使用的数据规模瓶颈，大幅提升了训练效率，解决了存算分离架构下 Shuffle 稳定性和性能困扰，为智能风控等业务提供了强有力的技术支撑。
阿里云大数据
64 15
技术小达人
|
1月前
|
存储 SQL 运维
Hologres OLAP场景核心能力介绍-2024实时数仓Hologres线上公开课02
本次分享由Hologres产品经理赵红梅（梅酱）介绍Hologres在OLAP场景中的核心能力。内容涵盖OLAP场景的痛点、Hologres的核心优势及其解决方法，包括实时数仓分析、湖仓一体加速、丰富的索引和查询性能优化等。此外，还介绍了Hologres在兼容PG生态、支持多种BI工具以及高级企业级功能如计算组隔离和serverless computing等方面的优势。最后通过小红书和乐元素两个典型客户案例，展示了Hologres在实际应用中的显著效益，如运维成本降低、查询性能提升及成本节省等。
技术小达人
54 7
申某某
|
2月前
|
存储 供应链 数据库
Hologres 索引：概念与实用场景
本文介绍了 Hologres 索引的概念、类型及在实际场景中的应用。Hologres 是阿里云的一款强大数据库产品，其索引功能显著提升了数据查询性能。文章详细探讨了 B 树索引、哈希索引和位图索引的特点及应用场景，并介绍了索引的创建和维护方法。此外，还列举了 Hologres 中的重要参数设置及其使用限制，最后通过电商、金融、物流和社交媒体等领域的具体案例，展示了索引在不同场景下的实用价值。
申某某
109 10
穿过生命散发芬芳
|
3月前
|
运维 数据挖掘 网络安全
场景实践 | 基于Flink+Hologres搭建GitHub实时数据分析
基于Flink和Hologres构建的实时数仓方案在数据开发运维体验、成本与收益等方面均表现出色。同时，该产品还具有与其他产品联动组合的可能性，能够为企业提供更全面、更智能的数据处理和分析解决方案。
穿过生命散发芬芳
156 5
郑小健
|
4月前
|
SQL 分布式计算 数据挖掘
加速数据分析：阿里云Hologres在实时数仓中的应用实践
【10月更文挑战第9天】随着大数据技术的发展，企业对于数据处理和分析的需求日益增长。特别是在面对海量数据时，如何快速、准确地进行数据查询和分析成为了关键问题。阿里云Hologres作为一个高性能的实时交互式分析服务，为解决这些问题提供了强大的支持。本文将深入探讨Hologres的特点及其在实时数仓中的应用，并通过具体的代码示例来展示其实际应用。
郑小健
328 0
郑小健
|
5月前
|
存储 监控 算法
Hologres 在 BI 场景中的应用
【9月更文第1天】随着企业对实时数据分析的需求不断增加，传统的批处理方式已经无法满足现代业务决策的速度要求。Hologres，作为一款专为在线分析处理（OLAP）设计的实时数仓解决方案，提供了高性能的查询能力，能够支持大规模数据集的实时分析需求。本文将探讨 Hologres 在商业智能（BI）场景中的应用，包括如何集成 BI 工具以提供实时数据洞察，并加速决策过程。
郑小健
100 3
郑小健
|
5月前
|
消息中间件 SQL 大数据
Hologres 在大数据实时处理中的应用
【9月更文第1天】随着大数据技术的发展，实时数据处理成为企业获取竞争优势的关键。传统的批处理框架虽然在处理大量历史数据时表现出色，但在应对实时数据流时却显得力不从心。阿里云的 Hologres 是一款全托管、实时的交互式分析服务，它不仅支持 SQL 查询，还能够与 Kafka、MaxCompute 等多种数据源无缝对接，非常适合于实时数据处理和分析。
郑小健
196 2
番茄酱脑袋
|
6月前
|
存储 分布式计算 数据挖掘
实时数仓 Hologres 问题之适用于业务场景的实时数仓如何搭建
实时数仓 Hologres 问题之适用于业务场景的实时数仓如何搭建
番茄酱脑袋
75 1
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    漫谈分布式计算框架
  • 2
    【译】用SQL统一所有：一种有效的、语法惯用的流和表管理方法
  • 3
    HAS-插件式Kerberos认证框架
  • 4
    开源大数据周刊-第61期
  • 5
    YARN中的CPU资源隔离-CGroups
  • 6
    E-MapReduce中Spark 2.x读写MaxCompute数据
  • 7
    Presto实现原理（转）
  • 8
    hive在E-MapReduce集群的实践（一）hive异常排查入门
  • 9
    使用Spark Streaming SQL基于时间窗口进行数据统计
  • 10
    [译]利用贝叶斯推理做硬件故障率的准实时预测
  • 1
    阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
    64
  • 2
    打造无缝社交体验：多平台适配，开启线上线下陪玩系统小程序社交新时代
    53
  • 3
    阿里云 EMR 发布托管弹性伸缩功能，支持自动调整集群大小，最高降本60%
    122
  • 4
    关于商品详情 API 接口 JSON 格式返回数据解析的示例
    108
  • 5
    EMR管控平台全面升级：智能化助力客户实现在离线混部和降本增效
    61
  • 6
    年轻人如何运用圈子系统进行扩列，社交圈子论坛app扩列的好处，兴趣行业圈子提升社交技能
    130
  • 7
    拍立淘API是基于图像识别技术的服务接口，支持淘宝、1688和义乌购平台。
    114
  • 8
    有奖实践，基于EMR StarRocks实现游戏玩家画像和行为分析
    103
  • 9
    基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
    629
  • 10
    【赵渝强老师】部署Hadoop的本地模式
    93

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • DataWorks智能交互式数据开发与分析之旅
  • 基于EMR StarRocks实现游戏玩家画像和行为分析
  • 基于Hologres轻量实时的高性能OLAP分析
  • 基于DTS构建一站式实时数据服务
  • 基于Hologres+PAI+计算巢，5分钟搭建企业级AI问答知识库
  • 倚天大数据电商数据分析快速实践
    • 下一篇
    PAI Model Gallery 支持云上一键部署 DeepSeek-V3、DeepSeek-R1 系列模型