Spark

首页 标签 Spark
# Spark #
关注
9201内容
|
5天前
|
SparkCore 之 Spark Action 类算子详解
本文系统拆解Spark全部Action算子,按输出、存储、聚合、统计四类详解语法、原理、数据流向与OOM陷阱;含原创架构图、Scala示例及排错指南,助Java/大数据/AI工程师安全高效使用。(239字)
阿里云 EMR Serverless Spark AI Function 多模态能力介绍与智驾场景图片理解实践
本文介绍了阿里云EMR Serverless Spark AI Function在多模态处理上的能力升级与智驾场景落地实践,涵盖图片理解(aiquery)和向量化(aiembeddingmultimodal)两大核心函数的多种调用模式,支持URI路径、二进制流及readfiles直读等灵活输入方式,并可对接百炼或PAI-EAS实现快速验证与企业级安全推理;通过智驾环岛识别与特种车辆检测案例,验证了其在高分辨率图像秒级结构化分析、长尾场景泛化及自动化数据清洗方面的实际效能。
阿里云 EMR Serverless Spark 发布 Agent Skill:让自然语言驱动 Spark 任务与资源管理
阿里云EMR Serverless Spark正式发布Agent Skill,支持通过自然语言完成工作空间创建、Spark作业提交与监控、弹性资源扩缩容及交互式SQL查询等核心运维操作,覆盖从基础设施配置到任务调度的全链路管理;该Skill已实现与RAM授权、DLF元数据、OSS存储及Kyuubi服务的深度集成,并规划接入智能告警、成本优化与故障诊断能力,推动数据运维从被动响应迈向主动协同。
Daft AI Function:用 DataFrame 表达式搞定大模型调用与多模态向量化
本文介绍了在阿里云EMR Serverless Spark上通过Daft引擎的AI Function(aiquery、aiembedding、aiembeddingmultimodal)将大模型调用与多模态向量化无缝集成到DataFrame处理链路中的实践方案,解决了传统方式中链路割裂、多模态难统一、并发对齐复杂及模型服务配置繁琐等核心痛点,实现像操作普通列一样完成AI推理与向量化。
|
5天前
|
EMR Serverless Spark:CPU + GPU 异构计算使用指南
本文详细介绍了如何在阿里云EMR Serverless Spark中开通并使用GPU异构计算资源,涵盖适用场景(如大模型推理、深度学习训练、GPU加速ETL等)、按量付费与包年包月两种GPU资源购买方式(含地域支持与白名单流程),以及通过PySpark和Ray两个可运行Demo验证GPU环境可用性的完整实操步骤。
|
5天前
|
一套 Spark SQL,打通多种 Catalog:EMR Serverless Spark 统一数据处理实践
阿里云EMR Serverless Spark通过多Catalog能力,支持在单个Spark Session中统一访问DLF、Hive Metastore、MaxCompute、Hologres、StarRocks、Paimon、Iceberg等异构数据源,使跨系统数据读取、关联与写入可收敛至一条标准Spark SQL,无需中间表搬运或多任务编排,显著简化数据链路、降低开发运维复杂度,并保持原有SQL语法和执行体验不变。
EMR Serverless Spark 数据湖上新能力:一条 SQL 实现标量向量混合检索(附智驾实战代码)
EMR Serverless Spark 基于 DLF Global Index 实现标量与向量联合索引,通过原生 vectorsearch 函数与标准 SQL WHERE 子句协同执行,支持一条 SQL 完成“语义相似+结构化条件”的混合检索;该能力覆盖智能驾驶长尾场景挖掘、多模态搜索、RAG增强及离线向量批处理等典型场景,具备零门槛SQL接入、索引全自动托管、存算分离按需计费及3倍性能提升等核心优势。
EMR Serverless Spark 推出 Spark 4.0,加速湖仓架构下的数据处理升级
Spark 4.0 通过引入 VARIANT 半结构化数据类型、原生 SQL UDF 和增强的 PySpark 生态,显著提升了湖仓一体架构下的查询性能、SQL 表达能力与 Python 工程效率;阿里云 EMR Serverless Spark 已全面支持该版本,企业可开箱即用这些能力,无需运维集群或处理兼容性问题,加速数据处理升级。
Spark 选 join 策略靠的是估算值,估错了它只会悄悄降级。
Spark Join算法选择完全由统计信息驱动,但估算偏差常致计划“选错路”:小表估大则弃广播,大表估小则误用ShuffleHash,非等值或collation字段直接降级笛卡尔积。AQE可动态修正,但未shuffle的扫描仍依赖静态估算。调优需结合EXPLAIN、UI指标与WARN日志,而非盲目改配置。
Databricks 实测 Spark 比 Flink 快 92%,流计算要变天了。
Databricks 3月2日发布测评:Spark Real-Time Mode(RTM)在实时特征计算(编码、enrichment、聚合)中,较Flink最高快92%(p99延迟9ms vs 95ms)。RTM打破微批限制,实现毫秒级低延迟、全状态支持与流式Shuffle,挑战“必须双引擎”行业共识。
免费试用