Spark

首页 标签 Spark
# Spark #
关注
9121内容
|
2小时前
|
什么是批处理?批处理系统是怎么运转的?
本文深入浅出地解析批处理:它并非“老古董”,而是支撑报表生成、推荐系统、银行结算等关键业务的底层引擎。文章厘清其“积攒+批量执行”的本质,详解调度、计算、存储、容错四大核心组件,并以FineDataLink为例,展示如何通过可视化编排、内嵌Spark、多源接入与API发布,让批处理更高效、易用。
大数据与机器学习的定义
大数据指海量、高速、多样的信息集合,传统工具难以处理;机器学习是AI分支,能从数据中自动学习规律并决策。二者相辅相成:大数据为机器学习提供训练基础,机器学习则挖掘数据价值,推动金融、医疗、零售、工业等领域的智能化升级。核心技术包括Hadoop、Spark、TensorFlow等,未来趋势聚焦边缘计算、可解释AI与实时分析。
完美应对千亿级明细数据计算:Aloudata CAN 双引擎架构详解
Aloudata CAN 双引擎架构的推出和生产级验证,标志着 NoETL 指标平台这一自动化数据开发与治理的新品类已经具备了处理企业级核心、极端负载的成熟能力。面对千亿级数据,企业无需再为“算不动”而焦虑,也无需在“灵活性”与“稳定性”之间做艰难取舍。
别被“结构化”骗了:聊聊 Spark Structured Streaming 的原理与那些年我踩过的坑
别被“结构化”骗了:聊聊 Spark Structured Streaming 的原理与那些年我踩过的坑
云上数据管道太烧钱?别急,我给你捋一捋这三刀该怎么省(存储 / 计算 / 网络)
云上数据管道太烧钱?别急,我给你捋一捋这三刀该怎么省(存储 / 计算 / 网络)
只靠国产算力与开源数据,端侧模型预训练行不行?我们做到了全流程开源
鹏城实验室与清华联合发布全流程开源大模型“开元-2B”,基于国产算力实现高效端侧训练。涵盖数据、代码、训练框架与技术报告,推动开放AI生态发展。
|
30天前
|
毅硕HPC | NVIDIA DGX Spark 万字硬核评测:将AI超级工厂带上桌面
作为全球首款基于NVIDIA Grace Blackwell架构的个人AI超级计算机,DGX Spark将工业级的AI性能带入您的私人工作空间,让您从原型设计到大规模部署,实现真正的无缝衔接。
别让大数据任务“互相等着死” ——聊聊任务依赖与 DAG 设计的江湖规矩
别让大数据任务“互相等着死” ——聊聊任务依赖与 DAG 设计的江湖规矩
免费试用