AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 文章 正文

2023 云栖大会 | 「动手实践」基于阿里云构建博学谷平台实时湖仓

2023-10-25 562
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
实时计算 Flink 版，5000CU*H 3个月
推荐场景：
实时发现最热Github项目
简介： 2023 云栖大会来啦，众多主题活动与你同聚，门票免费领取中，数量有限，先到先得！

传智教育技术专家将在云栖大会「动手实践」环节带领开发者基于阿里云构建博学谷平台实时湖仓。本实践介绍如何基于阿里云 Flink、EMR-StarRocks、ECS 、RDS Mysql 以及 DataV 等组件快速部署实时湖仓 demo，为实时需求场景提供简单易用的解决方案。

  • 时间：2023-11-02 11:00～12:00
  • 地址：杭州·云栖小镇 D4-2A

点击领取门票

点击领取门票

更多内容

img

活动推荐

阿里云基于 Apache Flink 构建的企业级产品-实时计算 Flink 版现开启活动：
0 元试用 实时计算 Flink 版（5000CU*小时，3 个月内）
了解活动详情：https://free.aliyun.com/?pipCode=sc

image.png

文章标签：
云原生数据仓库AnalyticDB MySQL版
实时计算 Flink版
云栖大会
流计算
关系型数据库
数据可视化
弹性计算
关键词：
构建云原生数据仓库AnalyticDB MySQL版
云栖大会构建
云原生数据仓库AnalyticDB MySQL版构建
阿里云云原生数据仓库AnalyticDB MySQL版
云栖大会阿里云
相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL，玩转SQL开发等功能！本教程介绍如何在AnalyticDB MySQL中，一键加载内置数据集，并基于自动生成的查询脚本，运行复杂查询语句，秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库，高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准，可以对海量数据进行即时的多维分析透视和业务探索，快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
灵杰开发者
目录
相关文章
技术内容小助手
|
5天前
|
存储 关系型数据库 BI
实时计算UniFlow：Flink+Paimon构建流批一体实时湖仓
实时计算架构中，传统湖仓架构在数据流量管控和应用场景支持上表现良好，但在实际运营中常忽略细节，导致新问题。为解决这些问题，提出了流批一体的实时计算湖仓架构——UniFlow。该架构通过统一的流批计算引擎、存储格式（如Paimon）和Flink CDC工具，简化开发流程，降低成本，并确保数据一致性和实时性。UniFlow还引入了Flink Materialized Table，实现了声明式ETL，优化了调度和执行模式，使用户能灵活调整新鲜度与成本。最终，UniFlow不仅提高了开发和运维效率，还提供了更实时的数据支持，满足业务决策需求。
技术内容小助手
25 5
技术内容小助手
|
5天前
|
SQL 存储 分布式计算
Hologres+Paimon构建一体化实时湖仓
Hologres 3.0全新升级，面向未来的一体化实时湖仓。它支持多种Table Format，提供湖仓存储、多模式计算、分析服务和Data+AI一体的能力。Hologres与Paimon结合，实现统一元数据管理、极速查询性能、增量消费及ETL功能。Dynamic Table支持流式、增量和全量三种刷新模式，满足不同业务需求，实现一份数据、一份SQL、一份计算的多模式刷新。该架构适用于高时效性要求的场景，也可用于成本敏感的数据共享场景。
技术内容小助手
24 1
穿过生命散发芬芳
|
24天前
|
DataWorks 数据挖掘 大数据
方案实践测评 | DataWorks集成Hologres构建一站式高性能的OLAP数据分析
DataWorks在任务开发便捷性、任务运行速度、产品使用门槛等方面都表现出色。在数据处理场景方面仍有改进和扩展的空间，通过引入更多的智能技术、扩展数据源支持、优化任务调度和可视化功能以及提升团队协作效率，DataWorks将能够为企业提供更全面、更高效的数据处理解决方案。
穿过生命散发芬芳
70 11
灵杰开发者
|
2月前
|
消息中间件 人工智能 监控
Paimon x StarRocks 助力喜马拉雅直播实时湖仓构建
本文由喜马拉雅直播业务与仓库建设负责人王琛撰写，介绍了喜马拉雅直播业务的数据仓库架构迭代升级。文章重点分享了基于 Flink + Paimon + StarRocks 实现实时湖仓的架构及其成效，通过分钟级别的收入监控、实时榜单生成、流量监测和盈亏预警，大幅提升了运营效率与决策质量，并为未来的业务扩展和 AI 项目打下坚实基础。
灵杰开发者
230 5
Paimon x StarRocks 助力喜马拉雅直播实时湖仓构建
弹性计算-百晓生
|
2月前
|
存储 人工智能 弹性计算
阿里云弹性计算_加速计算专场精华概览 | 2024云栖大会回顾
2024年9月19-21日，2024云栖大会在杭州云栖小镇举行，阿里云智能集团资深技术专家、异构计算产品技术负责人王超等多位产品、技术专家，共同带来了题为《AI Infra的前沿技术与应用实践》的专场session。本次专场重点介绍了阿里云AI Infra 产品架构与技术能力，及用户如何使用阿里云灵骏产品进行AI大模型开发、训练和应用。围绕当下大模型训练和推理的技术难点，专家们分享了如何在阿里云上实现稳定、高效、经济的大模型训练，并通过多个客户案例展示了云上大模型训练的显著优势。
弹性计算-百晓生
104611 10
数据库小能手
|
2月前
|
人工智能 运维 NoSQL
云栖大会｜多模+一体化，构建更高效的AI应用
在2024年云栖大会「NoSQL数据库」专场，多位知名企业和阿里云瑶池数据库团队的技术专家，共同分享了阿里云Lindorm、Tair、MongoDB和MyBase的最新进展与实践。Tair推出Serverless KV服务，解决性能瓶颈和运维难题；Lindorm助力AI和具身智能时代的多模数据处理；MongoDB云原生化提升开发效率；MyBase One打破云边界，提供云边端一体化服务。这些技术进展和最佳实践，展示了阿里云在NoSQL数据库领域的创新能力和广泛应用前景。
数据库小能手
156 8
郑小健
|
2月前
|
SQL 存储 数据挖掘
快速入门：利用AnalyticDB构建实时数据分析平台
【10月更文挑战第22天】在大数据时代，实时数据分析成为了企业和开发者们关注的焦点。传统的数据仓库和分析工具往往无法满足实时性要求，而AnalyticDB（ADB）作为阿里巴巴推出的一款实时数据仓库服务，凭借其强大的实时处理能力和易用性，成为了众多企业的首选。作为一名数据分析师，我将在本文中分享如何快速入门AnalyticDB，帮助初学者在短时间内掌握使用AnalyticDB进行简单数据分析的能力。
郑小健
59 2
阿里云基础设施.
|
3月前
|
存储 弹性计算 安全
阿里云弹性计算_通用计算专场精华概览 | 2024云栖大会回顾
本次专场内容包括阿里云弹性计算全新发布的产品家族、阿里云第9代 ECS 企业级实例、CIPU 2.0技术解读、E-HPC+超算融合、倚天云原生算力解析等内容，并发布了国内首个云超算国家标准。
阿里云基础设施.
135 5
郑小健
|
2月前
|
缓存 监控 大数据
构建高可用AnalyticDB集群：最佳实践
【10月更文挑战第25天】在大数据时代，数据仓库和分析平台的高可用性变得尤为重要。作为阿里巴巴推出的一款完全托管的PB级实时数据仓库服务，AnalyticDB（ADB）凭借其高性能、易扩展和高可用的特点，成为众多企业的首选。本文将从我个人的角度出发，分享如何构建和维护高可用性的AnalyticDB集群，确保系统在各种情况下都能稳定运行。
郑小健
42 0
阿里云-分析师关系团队
|
3月前
|
人工智能 分布式计算 数据管理
阿里云位居 IDC MarketScape 中国实时湖仓评估领导者类别
国际数据公司（ IDC ）首次发布了《IDC MarketScape: 中国实时湖仓市场 2024 年厂商评估》，阿里云在首次报告发布即位居领导者类别。
阿里云-分析师关系团队
66 0
大数据与机器学习

实时计算 Flink

热门文章

最新文章

  • 1
    权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算
  • 2
    OPPO数据中台之基石：基于Flink SQL构建实数据仓库
  • 3
    分布式Snapshot和Flink Checkpointing简介
  • 4
    实时计算 Flink SQL 核心功能解密
  • 5
    Flink SQL 功能解密系列 —— 维表 JOIN 与异步优化
  • 6
    阿里云实时计算产品案例&解决方案汇总
  • 7
    流计算精品翻译: The Dataflow Model
  • 8
    回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾（附PPT下载）
  • 9
    Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
  • 10
    基于实时计算（Flink）打造一个简单的实时推荐系统
  • 1
    探索阿里云 Flink 物化表：原理、优势与应用场景全解析
    37
  • 2
    从数据存储到分析：构建高效开源数据湖仓解决方案
    36
  • 3
    Paimon 1.0: Unified Lake Format for Data + AI
    284
  • 4
    探索Flink动态CEP：杭州银行的实战案例
    302
  • 5
    Flink 2.0 存算分离状态存储 — ForSt DB 
    230
  • 6
    Flink 三种时间窗口、窗口处理函数使用及案例
    120
  • 7
    Apache Flink 2.0：Streaming into the Future
    478
  • 8
    Flink SQL Deduplication 去重以及如何获取最新状态操作
    95
  • 9
    流存储Fluss：迈向湖流一体架构
    345
  • 10
    The Past, Present and Future of Apache Flink
    312

    • 相关课程

    更多
  • AnalyticDB PostgreSQL 企业智能数据中台：一站式管理数据服务资产
  • 云原生数据仓库AnalyticDB PostgreSQL 产品入门
  • 大数据知识图谱系列—如何选择合适的OLAP引擎进行数据湖分析
  • 大数据知识图谱—一文读懂云原生一体化数仓
  • 阿里云实时数仓实战 - 用户行为数仓搭建
  • 阿里云云原生数据仓库AnalyticDB MySQL版 使用教程

    • 相关电子书

    更多
  • 阿里云云原生一体化数仓
  • 基于云原生数据仓库AnalyticDB PG的最佳实践
  • 新氧云原生全栈数仓最佳实践

    • 相关实验场景

    更多
  • 【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
  • SAE 极速部署专属 AI 证件照神器
  • 【AI破次元壁合照】少年白马醉春风，函数计算一键部署AI绘画平台
  • 借助OSS搭建在线教育视频课程分享网站
  • 基于Hologres轻量实时的高性能OLAP分析
  • 基于Hologres+PAI+计算巢，5分钟搭建企业级AI问答知识库
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月