实时计算系列-----第一话:前言

简介: 本文主要分享实时计算与数仓的实践经验,涵盖架构设计、流程思路及问题处理,强调根据业务需求灵活选择技术方案,避免过度依赖固定技术栈,注重资源、时间与业务的平衡,提升实际应用效率。

好久没更新了,后面计划更新一波关于实时计算/数仓的相关内容,也算是记录一下自己的学习和填坑的过程,主要是应用部分包括架构设计、流程、思路、问题处理的东西,关于底层原理或者组件的一些知识点可能不涉及或者较少涉及。

关于实时计算的一些,可能大部分大数据从业者想到的解决方案就是kafka+flink这套处理框架,不可否认这套流程不管是成熟度、适用性都非常的高,但是在实际工作中,还是存在很多其他的解决思路。

首先明确一点,在企业中,实时的应用场景并不像离线计算那么广泛,毕竟大数据只是手段,最终的目的不外乎为决策提供分析结果、为观测提供数据看板、为其他一些场景提供即系查询结果、风控类评估和决策流等。

第一点,在分析类的应用中,除一些日志类场景中应用较多,可能对时效性要求较高外,其余业务分析类对时效性要求并不像想象中的那么高。日志类分析可以用标准实时计算流程处理,其他分析场景可以考虑微批处理形式处理,根据业务需求,决定调度系统执行作业的调度周期,可覆盖绝大多数业务需求。

第二点,为观测数据提供数据看板,尤其是驾驶舱或者实时大屏类的需求,可能对于实时性要求较高。但是,但是,需要注意的是,大屏的更新频率往往不需要指标类数字一直在跳动,实时计算也需要通过滚动或滑动窗口来控制计算频率,比如步长设置为1小时,计算频率5分钟诸如此类,也可以通过微批达到类似效果。

第三点,即席查询类需求,大部分和第二点内容重叠,少部分场景提供离线数据或者准实时数据即可。

第四点的实时要求可能会比较高,比如用户数据流进入决策决策引擎或者评分系统后,需要实时对用户进行评分打标。

我想跟大家分享一个心得,就是不要局限于自己的思路,不要执着于技术栈,解决问题的办法永远是在“妥协”中寻找一个动态平衡的。

比如说,资源方面的妥协,可能存在硬件设施(云服务器)采购成本的考量,;比如说技术实时间成本和业务需求紧急程度的妥协;比如说人员学习使用成本和当下人员任务分配的妥协等等。

当然,从长远发展来看,肯定是越标准化越好。但是公司可能考虑开始做企业级数据仓库/中台,一开始可能只是想解决某一个问题点,比如说解决数据安全的问题,查询业务从库的性能问题等等。    

Flink该学还得学,但是不要局限思维,一切从实际出发。

相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓,并通过Hologres对接BI分析工具(以DataV为例),实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题?实时计算 Flink 极客训练营产品、技术专家齐上阵,从开源 Flink功能介绍到实时计算 Flink 优势详解,现场实操,5天即可上手! 欢迎开通实时计算 Flink 版: https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍: Flink Forward 是由 Apache 官方授权,Apache Flink Community China 支持的会议,通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与,一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况,Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
相关文章
|
11月前
|
数据采集 存储 关系型数据库
python爬虫获取各币种最新汇率并写入mysql表
本Python脚本通过requests和BeautifulSoup爬取实时汇率数据,利用pandas进行数据清洗与处理,并通过SQLAlchemy将结果存入MySQL数据库,实现数据自动化采集与存储。
Doris动态分区表
Doris动态分区表 Doris动态分区表传参
|
SQL 运维
Doris同一个SQL任务,前一天执行成功,第二天执行失败
Doris 动态分区 插入数据 同样的代码隔天运行一个成功一个失败
|
SQL Oracle 关系型数据库
Hive数据表删除数据操作
Hive数据表删除数据操作
Hive数据表删除数据操作
|
7天前
|
云安全 人工智能 运维
当攻击全面Agent化,你的安全防御能否跟上AI Speed?
多起客户侧AK泄露事件应急的真实观察
1309 6
|
5天前
|
人工智能 API 开发工具
DeepSeek Harness 神插件:白嫖 13 家大厂模型
`dsh-our-free-model` 是 DeepSeek Harness 神级插件:零配置、零API Key、零账号,聚合13家大厂免费模型(含DeepSeek V4.1 Flash、Kimi K3等),支持本地网关、用量看板与自动降级,真正实现“白嫖即用”。
|
10天前
|
存储 人工智能 安全
千问办公官网入口网页版登录:qwenwork.cn 注册送2000积分、登录送100积分
阿里云千问办公(QwenWork)是AI智能工作平台,支持一句话生成PPT、表格、网页、视频及数据分析。个人免费版送2000积分+每日登录赠100分,含1GB存储、5个发布页;企业版198元/席/月起。阿里千问办公QwenWork官网:https://t.aliyun.com/U/0VCTGt 阿里AI工作平台,一句话完成数据分析、PPT 生成、视频剪辑、网页搭建等复杂任务
|
1月前
|
人工智能 JSON API
全网刷屏的 Jev 模型正式开放!一手实战测评 + 保姆级教程
全网爆火的 Jev 模型是什么?有什么用?怎么使用?怎么接入 AI 编程工具?效果真的好么?傻子可懂的 Jev 保姆级实战教程 + 项目实战测评来啦
9963 33
|
5天前
|
人工智能 开发者
Qoder CN 大使计划正式开启|无限创造,等你一起
全年免费积分、优先内测、活动支持与更多共创机会,邀请用 Qoder 把想法变成现实的你。
523 6