AWS工程师辞职创建Tensor Search引擎,即插即用HuggingFace版CLIP模型

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: AWS工程师辞职创建Tensor Search引擎,即插即用HuggingFace版CLIP模型

Marqo 是一个多功能且强大的、以用户为中心的搜索引擎,可以集成到任何网站或应用程序中。


不久之前,来自亚马逊的 Tom tomhamer 辞去了软件工程师一职,和其他研究者一起创建并开源了 Tensor Search 引擎 Marqo,其可与用户应用程序、网站和工作流无缝集成。



项目地址:https://github.com/marqo-ai/marqo

Marqo 网站:https://www.marqo.ai/


从 Tom tomhamer 的工作经历看,他已经全职加入了 marqo.ai,并担任联合创始人之一。



至于为什么要做这个项目,tomhamer 表示当我们查看文本句子或短段落时,使用向量语义搜索是不错的选择。不仅如此,向量在进行图像搜索时也做得非常好。遗憾的是,视频、长文本和其他更复杂的数据类型,想要继续使用向量表示就有点困难了。


因此他们设想为语义搜索建立一个搜索引擎,类似于 Solr 或 Elasticsearch,无论你扔给这个搜索引擎什么内容,它都能处理它,并可搜索。


Tensor search 涉及将文档、图像和其他数据转换为 Tensor 的向量集合。将数据表示为张量,这样一来我们能够将查询与文档进行匹配,从而像人类一样理解查询和文档的内容。Tensor search 可以为各种用例提供动力,例如:


终端用户的搜索和推荐;

多模态搜索(图像 - 图像、文本 - 图像、图像 - 文本);

聊天机器人和问答系统;

文本和图像分类。



因此,他们构建了 Marqo,它可以使用向量,也可以在必要时扩展到张量,还允许用户灵活地指定特定的分块策略来构建张量。


由于横向可扩展性,Marqo 提供了非常快的查询时间,即使是对数百万个文档。Marqo 使用类似 CLIP 这样的深度学习算法从图像中提取语义,这意味着它可以轻松地处理图像到图像、图像到文本和文本到图像的搜索模式。


不过 Marqo 仍然是一个正在进行的研究,目前支持:


DSL 语言查询(包括关键字,范围和布尔查询);

由 NMSLIB 提供的高效近似 knn 搜索;

Onnx 支持,多 GPU 支持;

支持排序。


为了支持图像和文本搜索,Marqo 允许用户即插即用 HuggingFace 版 CLIP 模型。不过 Marqo 还不支持 arm64 架构的 docker-in-docker 后端配置。这意味着如果你有一个 M 系列 Mac,你还需要进行进一步操作。


了解更多内容,请查看原项目。


参考链接:

https://www.linkedin.com/in/tom-hamer-04a6369b/

https://www.reddit.com/r/MachineLearning/comments/xk31n8/p_my_cofounder_and_i_quit_our_engineering_jobs_at/

相关文章
|
9月前
|
编解码 自然语言处理 算法
字节推出视频生成模型AnimateDiff-Lightning
【2月更文挑战第30天】字节跳动推出AnimateDiff-Lightning模型,革新视频内容生成领域,以高效细节捕捉和轻量级网络实现连贯逼真视频序列。该模型通过差异生成方法学习物体运动,提高生成效率,解决传统模型流畅度和细节问题。实验显示,它在复杂场景和动态物体生成上表现出色,但对特定类型视频和高分辨率内容仍有优化空间。研究团队将持续改进并探索更多应用场景。
219 2
字节推出视频生成模型AnimateDiff-Lightning
|
6天前
|
机器学习/深度学习 编解码 自然语言处理
王炸组合,阶跃星辰SOTA模型Step-Video和Step-Audio模型开源
2025 年 2 月 18 号,阶跃星辰宣布开源了两款 Step 系列多模态模型——Step-Video-T2V 视频生成模型和 Step-Audio 语音交互模型。
|
机器学习/深度学习 数据挖掘 PyTorch
视觉神经网络模型优秀开源工作:PyTorch Image Models(timm)库(上)
视觉神经网络模型优秀开源工作:PyTorch Image Models(timm)库(上)
|
6月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
全面解析TensorFlow Lite:从模型转换到Android应用集成,教你如何在移动设备上轻松部署轻量级机器学习模型,实现高效本地推理
【8月更文挑战第31天】本文通过技术综述介绍了如何使用TensorFlow Lite将机器学习模型部署至移动设备。从创建、训练模型开始,详细演示了模型向TensorFlow Lite格式的转换过程,并指导如何在Android应用中集成该模型以实现预测功能,突显了TensorFlow Lite在资源受限环境中的优势及灵活性。
660 0
|
8月前
|
存储 SQL 大数据
GLM(Generalized Linear Model)大模型-大数据自助查询平台
GLM(Generalized Linear Model)大模型-大数据自助查询平台
183 2
|
9月前
|
人工智能 安全 测试技术
微软开源4.2B参数多模态SLM模型Phi-3-vision,魔搭社区推理、微调实战教程来啦!
在 Microsoft Build 2024 上,微软持续开源了 Phi-3 系列的新模型们。包括 Phi-3-vision,这是一种将语言和视觉功能结合在一起的多模态模型。
|
9月前
|
人工智能 自然语言处理 开发者
ICLR 2024 Spotlight:大语言模型权重、激活的全方位低bit可微量化,已集成进商用APP
【2月更文挑战第29天】研究人员在ICLR 2024展示了OmniQuant技术,这是一种针对大型语言模型(如GPT-4和LLaMA)的全面低比特量化方法,旨在降低内存占用和提高计算效率。OmniQuant包含可学习的权重裁剪(LWC)和可学习的等价变换(LET),在保持模型性能的同时减少了计算资源需求。该技术已在商用APP中实施,并在LLaMA-2模型上验证了其高效性。OmniQuant的开源代码已发布在GitHub,促进了技术交流和进步,有望推动资源受限环境中的AI应用。
154 1
ICLR 2024 Spotlight:大语言模型权重、激活的全方位低bit可微量化,已集成进商用APP
|
9月前
|
存储 自然语言处理 负载均衡
元象开源首个MoE大模型:4.2B激活参数,效果堪比13B模型,魔搭社区最佳实践来了
近日,元象发布其首个Moe大模型 XVERSE-MoE-A4.2B, 采用混合专家模型架构 (Mixture of Experts),激活参数4.2B,效果即可媲美13B模型。该模型全开源,无条件免费商用,支持中小企业、研究者和开发者可在元象高性能“全家桶”中按需选用,推动低成本部署。
|
9月前
|
机器学习/深度学习 人工智能 自然语言处理
再超Transformer!Google提出两个新模型(Griffin、Hawk),强于Mamba,更省资源
【2月更文挑战第15天】再超Transformer!Google提出两个新模型(Griffin、Hawk),强于Mamba,更省资源
299 1
再超Transformer!Google提出两个新模型(Griffin、Hawk),强于Mamba,更省资源
|
存储 机器学习/深度学习 缓存
阿里云PAIx达摩院GraphScope开源基于PyTorch的GPU加速分布式GNN框架
阿里云机器学习平台 PAI 团队和达摩院 GraphScope 团队联合推出了面向 PyTorch 的 GPU 加速分布式 GNN 框架 GraphLearn-for-PyTorch(GLT) 。
阿里云PAIx达摩院GraphScope开源基于PyTorch的GPU加速分布式GNN框架

热门文章

最新文章