流计算

首页 标签 流计算
# 流计算 #
关注
31364内容
OOM排查之路:一次曲折的线上故障复盘
本文记录了一次Paimon数据湖与RocksDB集成服务线上频繁OOM的排查历程。通过分析线程激增、堆外内存泄漏,最终定位到RocksDB JNI内存未释放问题,并结合MAT、NMT、async-profiler等工具深入剖析,总结出一套系统化的内存问题排查思路与解决方案。
OOM排查之路:一次曲折的线上故障复盘
本文记录了一次线上服务因Paimon数据湖与RocksDB集成引发的三次内存溢出(OOM)故障排查全过程。通过MAT、NMT、async-profiler等工具,结合监控分析与专家协作,最终定位到RocksDB通过JNI申请的堆外内存未释放是根源。团队通过架构优化,改由Flink统一写入Paimon,彻底解决问题。文章系统梳理了排查思路与工具使用,为类似技术栈提供宝贵经验。
阿里云8核64G云服务器怎么样、多少钱?阿里云8核64G云服务器配置及性能测评
在云服务器选型中,8核64G配置属于典型的高性能规格,凭借1:8的CPU与内存黄金配比,能轻松应对高负载业务场景,是中大型企业运行核心业务的主流选择。不管是搭建大型电商平台、运行内存密集型数据库,还是处理实时大数据分析、支撑游戏服务器集群,8核64G配置都能提供充足的算力和内存支撑。对于有这类需求的用户来说,最关心的就是两个核心问题:不同场景下的价格到底多少?实际配置和性能能否匹配业务需求?下面结合最新的行业信息,用通俗易懂的语言把这些关键信息讲透彻。
实时数据有哪些特点?企业该如何管理好实时数据?
企业正从“事后看”转向“实时看”数据,实时数据要求秒级甚至毫秒级响应,具备持续流入、价值衰减快、流量突增等特点。管理好它需构建四大能力:流式处理架构、全链路监控、分层服务与业务闭环。建议从痛点场景试点,逐步打造可复用的实时数据体系。
|
2月前
|
Flink + Fluss 实战: Delta Join 原理解析与操作指南
Flink Delta Join 通过复用源表数据替代本地状态,解决双流 Join 状态膨胀问题。结合 Fluss 流存储,实现高效双向 Lookup,显著降低资源消耗与 Checkpoint 时间,提升作业稳定性与恢复速度,已在阿里大规模落地。
在 OpenAI 打造流处理平台:超大规模实时计算的实践与思考
本文介绍OpenAI构建流处理平台的实践与挑战。面对Kafka高可用、Python生态兼容、云环境限制等问题,团队基于PyFlink打造跨区域流处理架构,集成Kafka HA组、自研代理与控制平面,支撑实时Embedding生成、特征计算等场景,并推动开源协作与平台自动化演进。
非精准 Top K 检索如何实现?
非精准Top K检索通过离线计算静态质量得分(如PageRank)并预先排序,实现在线快速截断。倒排索引的posting list按质量分降序排列,多关键词查询时通过归并排序高效获取Top K结果,大幅降低在线计算开销,适用于对相关性要求不高的场景。
OOM排查之路:一次曲折的线上故障复盘
本文记录了一次线上服务因Paimon数据湖与RocksDB集成引发的三次内存溢出(OOM)故障排查全过程。通过MAT、NMT、async-profiler等工具,结合监控分析与专家协作,最终定位到RocksDB通过JNI申请堆外内存未释放的根源问题,并推动架构优化:由应用直写改为Flink统一入湖。分享排查思路与工具使用,为同类技术栈提供借鉴。
免费试用