实时计算系列-----第一话:前言

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
简介: 本文主要分享实时计算与数仓的实践经验,涵盖架构设计、流程思路及问题处理,强调根据业务需求灵活选择技术方案,避免过度依赖固定技术栈,注重资源、时间与业务的平衡,提升实际应用效率。

好久没更新了后面计划更新一波关于实时计算/数仓的相关内容也算是记录一下自己的学习和填坑的过程主要是应用部分包括架构设计流程思路问题处理的东西关于底层原理或者组件的一些知识点可能不涉及或者较少涉及

关于实时计算的一些可能大部分大数据从业者想到的解决方案就是kafka+flink这套处理框架不可否认这套流程不管是成熟度适用性都非常的高但是在实际工作中还是存在很多其他的解决思路

首先明确一点在企业中实时的应用场景并不像离线计算那么广泛毕竟大数据只是手段最终的目的不外乎为决策提供分析结果为观测提供数据看板为其他一些场景提供即系查询结果风控类评估和决策流等

第一点在分析类的应用中除一些日志类场景中应用较多可能对时效性要求较高外其余业务分析类对时效性要求并不像想象中的那么高日志类分析可以用标准实时计算流程处理其他分析场景可以考虑微批处理形式处理根据业务需求决定调度系统执行作业的调度周期可覆盖绝大多数业务需求

第二点为观测数据提供数据看板尤其是驾驶舱或者实时大屏类的需求可能对于实时性要求较高但是但是需要注意的是大屏的更新频率往往不需要指标类数字一直在跳动实时计算也需要通过滚动或滑动窗口来控制计算频率比如步长设置为1小时计算频率5分钟诸如此类也可以通过微批达到类似效果

第三点即席查询类需求大部分和第二点内容重叠少部分场景提供离线数据或者准实时数据即可

第四点的实时要求可能会比较高比如用户数据流进入决策决策引擎或者评分系统后需要实时对用户进行评分打标

我想跟大家分享一个心得就是不要局限于自己的思路不要执着于技术栈解决问题的办法永远是在妥协中寻找一个动态平衡的

比如说资源方面的妥协可能存在硬件设施云服务器采购成本的考量,;比如说技术实时间成本和业务需求紧急程度的妥协比如说人员学习使用成本和当下人员任务分配的妥协等等

当然从长远发展来看肯定是越标准化越好但是公司可能考虑开始做企业级数据仓库/中台一开始可能只是想解决某一个问题点比如说解决数据安全的问题查询业务从库的性能问题等等。    

Flink该学还得学但是不要局限思维一切从实际出发

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
20天前
|
消息中间件 存储 Java
RabbitMQ 和 Spring Cloud Stream 实现异步通信
本文介绍了在微服务架构中,如何利用 RabbitMQ 作为消息代理,并结合 Spring Cloud Stream 实现高效的异步通信。内容涵盖异步通信的优势、RabbitMQ 的核心概念与特性、Spring Cloud Stream 的功能及其与 RabbitMQ 的集成方式。通过这种组合,开发者可以构建出具备高可用性、可扩展性和弹性的分布式系统,满足现代应用对快速响应和可靠消息传递的需求。
RabbitMQ 和 Spring Cloud Stream 实现异步通信
|
2月前
|
存储 人工智能 前端开发
从需求到研发全自动:如何基于Multi-Agent架构打造AI前端工程师
本文深入阐述了蚂蚁消金前端团队打造的Multi-Agent智能体平台——“天工万象”的技术实践与核心思考。
584 20
从需求到研发全自动:如何基于Multi-Agent架构打造AI前端工程师
|
数据可视化 安全 物联网
通义千问14B开源!内附魔搭最佳实践
9月25日,阿里云开源通义千问140亿参数模型Qwen-14B及其对话模型Qwen-14B-Chat,免费可商用。Qwen-14B在多个权威评测中超越同等规模模型,部分指标甚至接近Llama2-70B。阿里云此前开源的70亿参数模型Qwen-7B等,一个多月下载量破100万,成为开源社区的口碑之作。
|
Android开发
Android Stadio Build 窗口字符串乱码问题
在使用Android Studio过程中,如果遇到Build窗口字符串乱码问题,可以通过编辑`studio.vmoptions`文件添加`-Dfile.encoding=UTF-8`配置并重启Android Studio来解决。
584 2
Android Stadio Build 窗口字符串乱码问题
|
8月前
|
Python
获取中国某省份的ip地址,随机IP
该代码使用Python爬取福建省的IP段数据,通过requests和lxml库获取网页内容并解析,提取省、市、区及IP段信息,保存到Pandas DataFrame中。接着根据IP段随机生成IP地址,并将结果写入Excel文件。
|
12月前
Doris动态分区表
Doris动态分区表 Doris动态分区表传参
|
12月前
|
调度
Doris给动态分区添加历史分区问题汇总
Doris动态分区表添加历史分区
|
12月前
|
SQL 运维
Doris同一个SQL任务,前一天执行成功,第二天执行失败
Doris 动态分区 插入数据 同样的代码隔天运行一个成功一个失败
|
SQL HIVE 索引
Hive【Hive(五)函数-高级聚合函数、炸裂函数】
Hive【Hive(五)函数-高级聚合函数、炸裂函数】
|
消息中间件 Java API
消息队列 MQ产品使用合集之遇到"No topic route info in name server for the topic"错误,该如何处理
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。