MongoDB Atlas与YoMio.AI近乎完美适配:推理更快速、查询更灵活、场景更丰富

在线体验各类最新模型,更有模型 免费Token 额度领取!
立即体验
简介: 随着MongoDB的新发布和革新,YoMio.AI的“闪电式发展”值得期待。

人工智能(AI) 世界正在以闪电般的速度发展,各种应用层出不穷,其中包括目前最为炫酷的新AI聊天机器人之一:角色AI。角色AI可以进行有趣的对话,帮助学习一门新语言,或者创建用户自己的聊天机器人。

YoMio.AI是一家专注角色AI的天使轮初创公司,聚焦AI娱乐,致力于从各方面让AI成为人类的陪伴。YoMio.AI目前主要开发了AI原生娱乐产品Rubii,并围绕Rubii构建了一整套产品矩阵,将Rubii中的功能解构,创造一套独立的服务,其中包括:全球最快的语音生成推理引擎之一;从Rubii上一键将角色放到其他社交平台,例如QQ;提供公开竞技场测评大语言模型的角色扮演能力(Roleplay LLM Arena);快速定制富知识机器人等。

初创公司,尤其是AI初创公司正在以最大限度的想象力在改变着我们每天的生活。他们每天在为我们创造工具,而在这个过程中,AI初创公司也迫切需要好用的工具。YoMio.AI创始人Junity指出,就开发而言,初创公司首先最需要的是统一有效的云架构解决方案,将全部应用迁移到一家云;其次,初创公司需求变化快,需要随时更改表单,非关系型数据库更为适配;此外,多语言全文搜索也是一项必要功能。

为了应对以上挑战与需求,MongoDB Atlas 成为了YoMio.AI近乎完美的适配解决方案。

利用二进制存储缓存张量,实现MongoDB版Prompt Cache,打造全球最快TTS推理引擎之一。

利用MongoDB储存二进制文件的能力,YoMio.AI实现了行业首个GPT-SoVITS极速推理,成功将原版3秒左右一条音频优化到15秒推理出160条音频(注:GPT-SoVITS是一款先进的TTS框架,在Github上超过30000星标,以跨语言、3秒语音无需训练即可克隆而著称)。据Junity介绍,通过MongoDB Atlas,YoMio.AI无需像PostgreSQL装插件来实现中文全文搜索,也无需像Elasticsearch专门配置搜索节点,配置Atlas Index后,仅需简单的代码即可搜索。

Search Index 实现多语言全文搜索

MongoDB 的全文索引可以帮助用户快速地查找包含特定关键字或短语在内的数据。这对很多应用程序来说非常重要,因为可以使用全文索引来快速查找相关数据。在MongoDB支持之下,YoMio.AI不但实现了中日英韩粤多语言搜索,而且能够实现跨语言搜索,甚至是在同一句话中进行混读。

Atlas Vector Search搭配Infinity推理引擎 实现极低延迟且超高性能检索重排

MongoDB Atlas 提供非常丰富的开箱即用功能,向量检索构建了最低延迟且同时满足检索+重排的系统,并且搭建本地Infinity镜像实现embedding+reranker即插即用,单次检索全流程延迟低于50ms。

除此之外,通过Atlas全球集群(Global Cluster),YoMio.AI上述系统在全球任何范围内都是低延迟高可用,而实现这一切仅用了两个月。

YoMio.AI创始人
Junity

YoMio.AI业务分为ToC和ToB两类。ToC为主推的AI角色Rubii,利用丰富的数据和精进的算法,Rubii正在变得更富场景感和体验感;ToB主推富有定制知识的聊天机器人,YoMio.AI内部检索引擎会将客户的文档分块,转换成向量,并且用知识图谱解析,每一次和机器人对话时,机器人都会获得最符合该对话场景下的文档分片。

无论是ToC端还是ToB端,YoMio.AI都在与时代赛跑,始终要拿出最快、最优质的产品。作为YoMio.AI的数据库技术合作伙伴,MongoDB在AI前沿探索方面也开足马力,正在积极探索AI在应用程序现代化改造中的应用,尤其在代码分析、智能模式映射和代码转换等领域。通过引入AI,MongoDB将进一步简化应用现代化的过程,缩短迁移时间,使企业能够更快地适应市场需求。

随着MongoDB的新发布和革新,YoMio.AI的“闪电式发展”值得期待。

MongoDB Atlas

MongoDB Atlas 是 MongoDB 公司提供的 MongoDB 云服务,由 MongoDB 数据库的开发团队构建和运维,可以在亚马逊云科技、Microsoft Azure、Google Cloud Platform 云平台上轻松部署、运营和扩展。MongoDB Atlas 内建了 MongoDB 安全和运维最佳实践,可自动完成基础设施的部署、数据库的构建、高可用部署、数据的全球分发、备份等即费时又需要大量经验运维工作。让您通过简单的界面和 API 就可以完成这些工作,由此您可以将更多宝贵的时间花在构建您的应用上。

相关文章
|
10月前
|
存储 机器学习/深度学习 算法
​​LLM推理效率的范式转移:FlashAttention与PagedAttention正在重塑AI部署的未来​
本文深度解析FlashAttention与PagedAttention两大LLM推理优化技术:前者通过分块计算提升注意力效率,后者借助分页管理降低KV Cache内存开销。二者分别从计算与内存维度突破性能瓶颈,显著提升大模型推理速度与吞吐量,是当前高效LLM系统的核心基石。建议收藏细读。
1862 125
|
12月前
|
消息中间件 人工智能 资源调度
云上AI推理平台全掌握 (5):大模型异步推理服务
针对大模型推理服务中“高计算量、长时延”场景下同步推理的弊端,阿里云人工智能平台 PAI 推出了一套基于独立的队列服务异步推理框架,解决了异步推理的负载均衡、实例异常时任务重分配等问题,确保请求不丢失、实例不过载。
|
12月前
|
人工智能 缓存 资源调度
云上AI推理平台全掌握 (4):大模型分发加速
为应对大模型服务突发流量场景,阿里云人工智能平台 PAI 推理服务 PAI-EAS 提供本地目录内存缓存(Memory Cache)的大模型分发加速功能,有效解决大量请求接入情况下的推理延迟。PAI-EAS 大模型分发加速功能,零代码即可轻松完成配置。
|
9月前
|
存储 人工智能 安全
《Confidential MaaS 技术指南》发布,从 0 到 1 构建可验证 AI 推理环境
Confidential MaaS 将从前沿探索逐步成为 AI 服务的安全标准配置。
|
12月前
|
机器学习/深度学习 人工智能 开发者
如何让AI从简单的记忆型模型进化为具备深度推理能力的‘学霸’?—— 解析提升AI推理能力的四大核心技术
本文由AI专家三桥君探讨AI推理能力的四大核心技术:推理时间扩展、纯强化学习、标注数据+强化学习、知识蒸馏。通过对比记忆型与推理型AI的差异,分析显式与隐式推理的特点,揭示AI从"记忆答案"到"深度思考"的进化路径。三桥君指出,这些技术使AI在数学证明、编程等复杂任务中表现显著提升,但也面临算力成本与输出速度的平衡挑战。三桥君认为AI推理能力的发展将为科研、教育等领域带来革新,推动AI成为人类的"思考伙伴"。
784 0
|
12月前
|
人工智能 负载均衡 安全
云上AI推理平台全掌握 (3):服务接入与全球调度
阿里云人工智能平台 PAI 平台推出的全球化的服务接入矩阵,为 LLM 服务量身打造了专业且灵活的服务接入方案,正重新定义 AI 服务的高可用接入标准——从单地域 VPC 安全隔离到跨洲际毫秒级调度,让客户的推理服务在任何网络环境下都能实现「接入即最优」。
|
机器学习/深度学习 人工智能 文字识别
UGPhysics:本科物理推理评估基准发布,助力AI+Physics交叉研究
近年来,人工智能快速发展,大语言模型(LLM)在数学、代码等领域展现出强大的推理和生成能力,正在被广泛应用于各种场景。
479 0
|
10月前
|
存储 人工智能 NoSQL
用Context Offloading解决AI Agent上下文污染,提升推理准确性
上下文工程是将AI所需信息(如指令、数据、工具等)动态整合到模型输入中,以提升其表现。本文探讨了“上下文污染”问题,并提出“上下文卸载”策略,通过LangGraph实现,有效缓解长文本处理中的信息干扰与模型幻觉,提升AI代理的决策准确性与稳定性。
1214 2
用Context Offloading解决AI Agent上下文污染,提升推理准确性

推荐镜像

更多