Spark

首页 标签 Spark
# Spark #
关注
9185内容
|
7小时前
| |
SparkCore 之 Spark RDD 五大特性及弹性分布式容错原理剖析
本文深度解析 Spark RDD 五大核心特性(分区、计算、依赖、分区器、首选位置),图解 Lineage 血统机制、窄/宽依赖计算模型与 Checkpoint 容错策略,含4张原创架构图、源码对照及实战示例,助力Java/大数据/AI工程师掌握分布式计算本质。(239字)
|
10小时前
| |
SparkCore 之 Spark Transformation 类算子详解
本文系统拆解Spark全部Transformation算子,按映射过滤、聚合排序、连接、分区调整、集合操作五大类详解,涵盖语法、窄/宽依赖、Shuffle机制、性能特征及实战场景,附原创架构图、25+算子速查表与Scala示例,助力大数据工程师高效开发。(239字)
|
12小时前
| |
EMR Serverless StarRocks 湖仓多模态检索:One SQL on One Data,实现全文 + 标量 + 向量三路混合检索
阿里云EMR Serverless StarRocks实现全文、标量、向量三路原生融合检索,支持在Paimon/Iceberg/Lance等开放湖格式上通过一条SQL完成关键词匹配、条件过滤与语义相似联合召回,并内置RRF重排、In-Filter深度优化及列级回写能力,显著提升召回率与执行效率;相比传统多系统架构,成本降低60%,数据全程不出湖,适用于自动驾驶Corner Case挖掘、RAG增强、电商搜索等多模态场景。
|
12小时前
|
SparkCore 之 Spark Action 类算子详解
本文系统拆解Spark全部Action算子,按输出、存储、聚合、统计四类详解语法、原理、数据流向与OOM陷阱;含原创架构图、Scala示例及排错指南,助Java/大数据/AI工程师安全高效使用。(239字)
|
12小时前
| |
阿里云 EMR Serverless Spark AI Function 多模态能力介绍与智驾场景图片理解实践
本文介绍了阿里云EMR Serverless Spark AI Function在多模态处理上的能力升级与智驾场景落地实践,涵盖图片理解(aiquery)和向量化(aiembeddingmultimodal)两大核心函数的多种调用模式,支持URI路径、二进制流及readfiles直读等灵活输入方式,并可对接百炼或PAI-EAS实现快速验证与企业级安全推理;通过智驾环岛识别与特种车辆检测案例,验证了其在高分辨率图像秒级结构化分析、长尾场景泛化及自动化数据清洗方面的实际效能。
|
12小时前
| |
阿里云 EMR Serverless Spark 发布 Agent Skill:让自然语言驱动 Spark 任务与资源管理
阿里云EMR Serverless Spark正式发布Agent Skill,支持通过自然语言完成工作空间创建、Spark作业提交与监控、弹性资源扩缩容及交互式SQL查询等核心运维操作,覆盖从基础设施配置到任务调度的全链路管理;该Skill已实现与RAM授权、DLF元数据、OSS存储及Kyuubi服务的深度集成,并规划接入智能告警、成本优化与故障诊断能力,推动数据运维从被动响应迈向主动协同。
|
13小时前
| |
Daft AI Function:用 DataFrame 表达式搞定大模型调用与多模态向量化
本文介绍了在阿里云EMR Serverless Spark上通过Daft引擎的AI Function(aiquery、aiembedding、aiembeddingmultimodal)将大模型调用与多模态向量化无缝集成到DataFrame处理链路中的实践方案,解决了传统方式中链路割裂、多模态难统一、并发对齐复杂及模型服务配置繁琐等核心痛点,实现像操作普通列一样完成AI推理与向量化。
|
13小时前
|
EMR Serverless Spark:CPU + GPU 异构计算使用指南
本文详细介绍了如何在阿里云EMR Serverless Spark中开通并使用GPU异构计算资源,涵盖适用场景(如大模型推理、深度学习训练、GPU加速ETL等)、按量付费与包年包月两种GPU资源购买方式(含地域支持与白名单流程),以及通过PySpark和Ray两个可运行Demo验证GPU环境可用性的完整实操步骤。
|
13小时前
|
一套 Spark SQL,打通多种 Catalog:EMR Serverless Spark 统一数据处理实践
阿里云EMR Serverless Spark通过多Catalog能力,支持在单个Spark Session中统一访问DLF、Hive Metastore、MaxCompute、Hologres、StarRocks、Paimon、Iceberg等异构数据源,使跨系统数据读取、关联与写入可收敛至一条标准Spark SQL,无需中间表搬运或多任务编排,显著简化数据链路、降低开发运维复杂度,并保持原有SQL语法和执行体验不变。
|
13小时前
|
在 EMR Serverless Spark 的 Ray 作业中使用增强自适应弹性扩容机制
本文介绍了 EMR Serverless Spark 中 Ray 作业的增强自适应弹性扩容机制,该机制通过允许任务在资源预算外进入调度队列,使自动扩缩容能及时响应真实计算压力,从而提升文本清洗、图片预处理等可并行批处理作业的吞吐与执行效率;它无需修改业务逻辑或编写扩容脚本,支持按 CPU/GPU 类型独立控制,且默认受冷却时间、步长和资源门槛保护,兼顾收益与成本可控性。
免费试用