开发者社区> 学堂小助手> 正文

如何使用实时计算 e2e 搭建实时数仓(上)+(下)|学习笔记

简介: 快速学习 如何使用实时计算 e2e 搭建实时数仓(上)+(下)
+关注继续查看

开发者学堂课程【《实时计算 Flink 版中级课程》:如何使用实时计算 e2e 搭建实时数仓(上)+(下)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/806/detail/13883


如何使用实时计算 e2e 搭建实时数仓(上)+(下)

一、Ververica Platform In Action

A Practical Demo of Build Streaming Data Pipelines

with Apache Flink SQL on Top of Ververica Platform

1. Pain Points of Building Streaming Pipelines

Dev & Trouble-shooting Efficiency

·Juggling with message queues, engines & data storages

·Lack of REPL(read-eval-print loop) env to perform test against a single snippet of code . Each pipeline depends on the readiness of upstream pipelines Performance Tuning & Rescaling Flink applications

·Unpredictable data spikes

Flexibility of Scaling Cluster

·High cost of maintenance & hard to scale

2.Why Ververica Platform

Highly Integrated with Apache Flink

· Keep pace with Flink's new features,E.q. support utilizing Hive Metastore as an external catalog in WP (since v2.3.0), deploying session clusters (since v2.3.1)

· Out-of-box support for Apache Flink's

connectors with enhanced functionalities

·Optimized Flink runtime brings significant performance boosts

3.Why Ververica Platform

·Easy-use Features

·Preview SOL script results at any time

·Sample+ mock data to debug easily

· DDL templates, SQL auto-suggestions & script visualization to speed up dev efficiency

·"Autopilot"job performance to optimal against

the specified resource usage

​4.Why Ververica Platform

Scaling Cluster As Needed

· Server-less architecture on top of Alibaba Cloud

· Pay-as-you-go & Save-when-you-reserve

 

如何使用实时计算 e2e 搭建实时数仓(下)

二、.Demo Introduction

·Overview of Pipelines Construction

· Source/Dim/Sink Preparation

1.Hive Sink Preparation

2. RDS Dim & Sink Preparatio

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
《构建实时机器学习系统》一1.7 案例:Netflix在机器学习竞赛中学到的经验
本节书摘来自华章出版社《构建实时机器学习系统》一 书中的第1章,第1.7节,作者:彭河森 汪涵,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1624 0
《如何使用实时计算对 Flink 任务进行调优》|学习笔记
快速学习 《如何使用实时计算对 Flink 任务进行调优》
91 0
《构建实时机器学习系统》一第2章 实时监督式机器学习 2.1 什么是监督式机器学习
本节书摘来自华章出版社《构建实时机器学习系统》一 书中的第2章,第2.1节,作者:彭河森 汪涵,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1547 0
《构建实时机器学习系统》一1.6 实时应用对机器学习的要求
本节书摘来自华章出版社《构建实时机器学习系统》一 书中的第1章,第1.6节,作者:彭河森 汪涵,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1008 0
如何使用实时计算提交和管理 Flink 任务|学习笔记
快速学习 如何使用实时计算提交和管理 Flink 任务
41 0
如何搭建并使用便携式 4G/LTE 伪基站研究移动安全
此文章PDF文档下载地址:点击下载 0x00 前言 在移动互联网深入普及和物联网开始规模应用的今天,网络安全公司怎能不研究移动安全,要研究移动安全,怎能没有4G/LTE伪基站研究测试环境? 本文介绍如何利用开源项目和SDR,合法的搭建并使用便携式4G/LTE伪基站,用于实验室的安全研究,或者用于用户授权的物理渗透测试。
4284 0
使用DTS从RDS PG实时同步数据到AnalyticDB for PostgreSQL
DTS支持从RDS PG将数据实时同步到AnalyticDB for PG,用户可以很方便的搭建起RDS PG到AnalyticDB for PG的数据同步,轻松实现数据的流转和复杂查询的优化。 使用DTS的前提条件 要求同步的数据表,必须建有主键(通过主键来保证源端和目标端表记录一致性)。
2502 0
1783
文章
0
问答
来源圈子
更多
技术图谱:由专家组参与技术图谱的绘制与编写,知识与实践的结合让开发者们掌握学习路线与逻辑,快速提升技能 电子书:电子书由阿里内外专家打造,供开发者们下载学习,更与课程相结合,使用户更易理解掌握课程内容 训练营:学习训练营 深入浅出,专家授课,带领开发者们快速上云 精品课程:汇集知识碎片,解决技术难题,体系化学习场景,深入浅出,易于理解 技能自测:提供免费测试,摸底自查 体验实验室:学完即练,云资源免费使用
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载