分布式计算

首页 标签 分布式计算
# 分布式计算 #
关注
37778内容
云栖实录|驰骋在数据洪流上:Flink+Hologres驱动零跑科技实时计算的应用与实践
零跑科技基于Flink构建一体化实时计算平台,应对智能网联汽车海量数据挑战。从车机信号实时分析到故障诊断,实现分钟级向秒级跃迁,提升性能3-5倍,降低存储成本。通过Flink+Hologres+MaxCompute技术栈,打造高效、稳定、可扩展的实时数仓,支撑100万台量产车背后的数据驱动决策,并迈向流批一体与AI融合的未来架构。
|
10天前
|
《3D端游开放世界载具物理交互优化实践日志》
本文记录现代都市题材3D端游载具物理交互优化过程,此前载具存在行驶卡顿、悬挂延迟、浮空穿模及寻路耗时过长问题,物理引擎CPU占用率超20%,寻路耗时达1.2秒。优化从三方面展开:碰撞体按场景分高、中、低精度适配,结合时速动态过滤冗余计算;悬挂系统依地形标签切换参数,通过渐变逻辑保障流畅;寻路系统分区设网格密度,优化A*算法并加路径缓存。还补充碰撞校验补偿机制,最终物理引擎CPU占用率降至10%内,寻路耗时≤0.3秒,穿模率<0.5%,多载具同屏交互也能稳定运行。
基于Python大数据的的电商用户行为分析系统
本系统基于Django、Scrapy与Hadoop技术,构建电商用户行为分析平台。通过爬取与处理海量用户数据,实现行为追踪、偏好分析与个性化推荐,助力企业提升营销精准度与用户体验,推动电商智能化发展。
《聊聊分布式》ZooKeeper与ZAB协议:分布式协调的核心引擎
ZooKeeper是一个开源的分布式协调服务,基于ZAB协议实现数据一致性,提供分布式锁、配置管理、领导者选举等核心功能,具有高可用、强一致和简单易用的特点,广泛应用于Kafka、Hadoop等大型分布式系统中。
《数据之美》:图结构的精妙世界与算法实践
图是表示多对多关系的非线性数据结构,由顶点和边组成,可建模社交网络、路径导航等复杂系统。核心算法包括BFS/DFS遍历、Dijkstra最短路径、Floyd-Warshall全源最短路径,以及Prim和Kruskal最小生成树算法,广泛应用于推荐系统、社交分析与路径规划。
七、Sqoop Job:简化与自动化数据迁移任务及免密执行
平时用 Sqoop 导入导出时,命令一长就容易出错,特别是增量任务还得记 last-value,很麻烦。其实 Sqoop 有 Job 功能,能把命令“存档”,以后直接 --exec 执行,配合调度工具特别省心。本文手把手讲 Job 创建、管理、免密执行技巧(密码文件、Credential Provider),还带实战例子,搞完你就能写出稳稳当当的自动化 Sqoop 作业了!
六、Sqoop 导出
除了从数据库往 Hadoop 导,Sqoop 也能把 Hadoop 里的数据反向“倒”回数据库,做成 Export。很多场景用得上,比如 ETL 后结果回写,业务系统更新,或者补数据。这篇文章细讲了 Export 的用法,INSERT / UPDATE 模式啥区别,update-key、allowinsert 怎么配,暂存表咋用,配了完整例子,学完导出不用再踩坑!
|
22天前
|
零售数据湖的进化之路:滔搏从Lambda架构到阿里云Flink+Paimon统一架构的实战实践
在数字化浪潮席卷全球的今天,传统零售企业面临着前所未有的技术挑战和转型压力。本文整理自 Flink Forward Asia 2025 城市巡回上海站,滔搏技术负责人分享了滔搏从传统 Lambda 架构向阿里云实时计算 Flink 版+Paimon 统一架构转型的完整实战历程。这不仅是一次技术架构的重大升级,更是中国零售企业拥抱实时数据湖仓一体化的典型案例。
免费试用