开源大数据平台 E-MapReduce

首页 标签 开源大数据平台 E-MapReduce
# 开源大数据平台 E-MapReduce #
关注
1915内容
从原始Ego视频到训练就绪:用 EMR Serverless Ray 提效具身数据生产管线
本文介绍如何利用EMR Serverless Ray框架优化具身智能数据生产管线,覆盖从原始Ego视频接入、多阶段重建(标定、手部估计、身份关联等)到训练就绪数据交付的全流程;实测表明该方案显著提升重建精度(绝对定位误差降低60%)、综合准确率(提升近三倍)及处理效率(耗时缩短约40%),并支持跨阶段并行与自适应模型调度,满足量产级数据集持续演进的工程需求。
StarRocks 全模态能力导读:连接内容理解、混合检索与业务分析
StarRocks 全模态能力旨在打通内容理解、混合检索与业务分析的断点,支持结构化、半结构化和非结构化数据在同一条 SQL 链路中完成特征化、多条件检索(含结构化过滤、全文匹配与向量相似度)及后续 Join、聚合与指标计算,通过多模态处理、内表、Paimon 和 Lance 四类技术路径适配不同数据位置、规模与查询需求,消除多系统间的数据复制与结果搬运。
StarRocks 全面支持 Paimon 2.0:构建多模态统一分析与检索
StarRocks 全面支持 Paimon 2.0,将多模态原始数据、派生特征、向量索引与业务指标统一纳管于同一湖表,并通过一套 SQL 执行架构原生融合列式扫描、标量/向量/全文检索、稀疏回捞及关联分析,支撑智能驾驶、具身智能、广告与游戏等场景下的混合查询与训练数据准备。
借助 EMR Serverless StarRocks 实现电商平台图搜图、文搜图场景
本文介绍如何基于 EMR Serverless StarRocks 构建统一的多模态电商搜索系统,通过内置 AI Function 实现图搜图与文搜图场景的一体化处理:利用 Object Table 直接挂载 OSS 图片,结合 HNSW/IVFPQ 向量索引与结构化字段联合查询,将图片/文本向量化、ANN 检索、业务过滤(价格、库存、类目等)全部收敛至单条 SQL,消除多系统割裂与数据延迟问题,显著提升搜索实时性、准确性和工程效率。
EMR Serverless StarRocks 湖仓多模态检索:One SQL on One Data,实现全文 + 标量 + 向量三路混合检索
阿里云EMR Serverless StarRocks实现全文、标量、向量三路原生融合检索,支持在Paimon/Iceberg/Lance等开放湖格式上通过一条SQL完成关键词匹配、条件过滤与语义相似联合召回,并内置RRF重排、In-Filter深度优化及列级回写能力,显著提升召回率与执行效率;相比传统多系统架构,成本降低60%,数据全程不出湖,适用于自动驾驶Corner Case挖掘、RAG增强、电商搜索等多模态场景。
阿里云 EMR Serverless StarRocks Skills 正式发布
阿里云EMR Serverless StarRocks Skills正式发布,面向Agent提供SQL开发、慢查询诊断、建表设计、数据导入、实例运维与弹性扩缩容六大能力,通过starrocks-assistant和starrocks-manage两大Skill封装StarRocks最佳实践与实时集群状态,实现从“生成建议”到“自动执行”的跃迁,已兼容Qoder、Claude Code、DataWorks Data Agent等主流AI客户端,标志着EMR从业界领先大数据基座全面迈入Agentic时代。
最佳实践:用 StarRocks AI Function 实现金融行业文本分类
本文介绍了如何利用 StarRocks AI Function 在数据库内原生实现金融文本的端到端智能分析,涵盖情感分析、工单分类、合同要素抽取、PII 脱敏等核心场景,通过异步非阻塞架构、SQL 谓词下推、LRU 缓存与三层限流等技术创新,在保障数据不出库的前提下,显著提升处理并发性、降低延迟与 Token 成本,并满足金融级安全合规要求。
StarRocks 支持向量检索、混合检索和多模态检索吗?全模态能力与选型导读
StarRocks 已构建覆盖结构化、半结构化与非结构化数据的全模态能力,支持向量检索、混合检索(结构化条件+全文+语义相似度)及多模态联合分析,通过内表、Paimon湖表、Lance接入和多模态处理四条路径,统一实现对象理解、特征化、多维检索与业务关联分析,适用于基础模型训练、智能驾驶、具身智能、短剧生产与游戏IP管理等复杂AI场景。
EMR Daft × Qoder:一句话生成并运行智驾数据处理 Pipeline
本文介绍了阿里云EMR Daft与Qoder协同实现智驾数据处理Pipeline的一站式解决方案,通过自然语言描述需求即可自动生成并运行分布式多模态作业,覆盖OSS视频读取、场景切分、关键帧提取、多维度标签生成、Embedding计算及结果写入Paimon数据湖的完整链路,显著降低工程复杂度,提升数据资产构建效率。
阿里云 EMR Serverless Spark AI Function 多模态能力介绍与智驾场景图片理解实践
本文介绍了阿里云EMR Serverless Spark AI Function在多模态处理上的能力升级与智驾场景落地实践,涵盖图片理解(aiquery)和向量化(aiembeddingmultimodal)两大核心函数的多种调用模式,支持URI路径、二进制流及readfiles直读等灵活输入方式,并可对接百炼或PAI-EAS实现快速验证与企业级安全推理;通过智驾环岛识别与特种车辆检测案例,验证了其在高分辨率图像秒级结构化分析、长尾场景泛化及自动化数据清洗方面的实际效能。
免费试用