2024-05-15
517

K8s挂载PVC日志采集“轻量级”玩法

本文介绍一种使用K8s挂载PVC日志采集时的轻量级部署方式。

517
2024-08-27
119

面向AI场景的数据处理和数据检索

本文分享了AI场景下面临的数据处理与检索挑战及解决方案。AI内容生产涉及数据准备、模型训练、推理及应用四大环节,其中数据准备环节面临数据来源复杂、格式多样及数据量激增的挑战,模型训练环节需解决推理准确性问题,AI应用环节则需克服接口兼容性难题。 为应对这些挑战,阿里云存储OSS与智能媒体管理IMM提供百余种数据处理能力,并升级数据索引功能支持向量检索,助力构建多模态检索应用。此外,还介绍了Serverless数据处理方案,可日均处理百亿级别文件,通过OSS数据索引能力,客户能快速构建RAG检索增强,同时实现多模态检索的搭建,显著提升AI应用的效能和用户体验。

119
2024-05-15
94938

AIGC训练场景下的存储特征研究

在今天这样以AIGC为代表的AI时代下,了解训练场景对于存储的具体诉求同样是至关重要的。本文将尝试解读WEKA的一个相关报告,来看看AIGC对于存储有哪些具体的性能要求。

2024-05-15
117078

日志服务 HarmonyOS NEXT 日志采集最佳实践

鸿蒙操作系统(HarmonyOS)上的日志服务(SLS)SDK 提供了针对 IoT、移动端到服务端的全场景日志采集、处理和分析能力,旨在满足万物互联时代下应用的多元化设备接入、高效协同和安全可靠运行的需求。

117,078
2024-08-19
306

表格存储(Tablestore)支持 Serverless 低成本向量检索服务

在当今 GPT 技术盛行的时代,大模型推动了向量检索技术的迅猛发展。向量检索相较于传统的基于关键词的检索方法,能够更精准地捕捉数据之间的语义关系,极大提升了信息检索的效果。特别是在自然语言处理、计算机视觉等领域,向量能够将不同模态的数据在同一空间中进行表达和检索,推动了智能推荐、内容检索、RAG 和知识库等应用的广泛普及。阿里云表格存储(Tablestore)的多元索引提供了向量检索能力。表格存储是一款 Serverless 的分布式结构化数据存储服务,诞生于 2009 年阿里云成立时,主要特点是分布式、Serverless 开箱即用、按量付费、水平扩展和查询功能丰富和性能优秀等。

2024-05-15
132551

谈谈 RocketMQ 5.0 分级存储背后一些有挑战的技术优化

谈谈 RocketMQ 5.0 分级存储背后一些有挑战的技术优化

132,551
2024-06-26
25666

AutoMQ:基于 Regional ESSD 构建十倍降本的云原生 Kafka

本文介绍了AutoMQ基于Regional ESSD构建的十倍降本云原生,降低成本并提供无限容量,通过将存储层分离,使用ESSD作为WAL,OSS作为主存储,实现了成本降低和性能优化。此外,它利用弹性伸缩和抢占式实例,减少了70%的计算成本,并通过秒级分区迁移实现了高效弹性。而且,AutoMQ与Apache Kafka相比,能实现10倍成本优化和百倍弹性效率提升,且完全兼容Kafka API。

2023-06-15
13358

大数据SQL数据倾斜与数据膨胀的优化与经验总结

目前市面上大数据查询分析引擎层出不穷,但在业务使用过程中,大多含有性能瓶颈的SQL,主要集中在数据倾斜与数据膨胀问题中。本文结合业界对大数据SQL的使用与优化,尝试给出相对系统性的解决方案。

13,358
2024-08-13
229

跟着 iLogtail 学习高质量软件建设

复杂的运行环境、巨大的部署量和高速发展业务迭代对 Agent 的软件工程质量带来了巨大挑战。基于阿里云可观测团队多年的开发和运维经验,本文将分享如何构建和执行可靠性工程策略。

229
1
2
3
4
...
7
到第
1
2
3
4
5
6
7
2/7