从数据洞察到智能决策:合合信息&infiniflow RAG技术的实战案例分享

本文涉及的产品
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
简介: 【9月更文挑战第3天】从数据洞察到智能决策:合合信息&infiniflow RAG技术的实战案例分享

从数据洞察到智能决策:合合信息&infiniflow RAG技术的实战案例分享

标题取自 LLamaIndex,这个内容最早提出于今年 2 月份 LlamaIndex 官方博客。从 22 年 chatGpt 爆火,23 年大模型尝鲜,到 24 年真正用 AI 落地业务场景,业界普遍都发现了从 MVP 到 PMF 不是那么容易的,具体的原因有非常多,在 RAG 场景下,最主要的表现是企业的数据 “垃圾进,垃圾出”,如何利用好企业数据是提升 RAG 效果的关键

看一下各个公司都是怎么做的

1. 合合信息

官方网站:https://www.textin.com/

一周快速出 Demo,半年产品不好用

RAG 范式从直观上理解起来落地是比较容易的,通过自然语言的语意匹配度找到相关的内容,再让模型进行回答,可是在实际落地过程中发现效果比预期差很多,总结起来会有以下一些问题

1.1 LLM RAG 产品如何快速达到可用、好用,开始增长?

如何解决 RAG 落地过程中遇到问题,提升 RAG 的整体效果,达到线上生产可用的目标,首先落地的关键点在于

再回归本质,影响 RAG 落地效果的最本质问题在于

1.2 提升 RAG 效果核心的优化方向:高质量文档解析 + 高质量检索

  • RAG 优化目标一: 快速、稳定、精准解析文档

原始的文档是各种各样的格式,各种各样的模态,如何快速、精确解析出高质量的内容对提升最终检索效果非常重要

  • RAG 优化目标二: 高精度、高效率向量检索

从海量的内容中提取出最相关的内容,对提升 LLM 输出效果准确率、相关性非常重要

  • TextIn 通用文本解析技术 + Acge 向量化模型

合合信息自研了 TextIn 通用文本解析技术,对丰富的文档格式和内容能快速,精准解析为 MD 格式,另外自研的 acge_text_embedding 向量化模型在检索准确率,精度等方面表现也非常突出

  • TextIn 技术的一些介绍和效果展示 (示例,详见附录 PPT)








  • acge_text_embedding 向量化模型的效果展示

  • 线上产品效果展示

  • 总结

2.infiniflow(英飞流)

官网:https://infiniflow.org/
infiniflow 自研了 AI-Native Database Infinity,在 RAG 检索方面表现非常突出

  • 下一代 RAG 引擎



同样对于 RAG 效果的提升,英飞流的核心研究方向也是高质量的内容解析 + 高质量的检索

  • 内容解析

  • 效果展示

  • 表格识别模型

  • 文档识别模型

  • 多模态识别

这里演讲人描述了和月之暗面创始人关于多模态识别的讨论,在大模型厂商看来,目前英飞流做的内容识别的工作都是雕花,因为大模型的上下文会越来越长,但演讲人还是更坚定于解决当前内容识别效果提升的问题,这里没有对错,只是看什么方案更适合

  • 混合检索

英飞流提供的 AI Native 数据库是个亮点,由于当前向量化检索的一些限制 (数据量、延迟、精度等),各种数据库在混合检索方面支持的效果参差不齐,英飞流致力于提供高性能、高精度、支持海量数据、支持混合检索的 AI

  • Native 数据库

Infinity 支持稠密向量、稀疏向量、张量、全文检索、结构化检索等丰富检索方式,了解 cross-encoder 的同学应该知道,cross-encoder 在检索效果方面比双编码器要好很多,但随着数据量提升,延迟不断升高,通常是不能接受的。随着 colbert 延迟交互的提出,目前业界针对检索效果和检索性能方面有了更让人惊喜的方案,但 colbert 也有一些工程问题,比如上下文限制,无法端到端使用等,Infinity 数据库支持 Tensor 数据类型,原生支持了 colbert 端到端方案,保障效果的前提下并解决海量数据检索延迟的问题,还是非常惊喜的


性能方面的表现非常突出

Intinity 在检索效率和效果上做到了兼顾

  • 延迟交互是 RAG 的未来

2.1高级 RAG

另外一个分享的主体是在复杂查询下如何提升检索效果

  • Agentic RAG

这里通常的思路都是进行问题预处理,人机协同反馈调优,没什么大的差异

  • 知识图谱

知识图谱是一个很优秀的技术,对检索结果效果优化是非常好的补充

小结

3.LlamaIndex

博客:https://www.llamaindex.ai/blog
llamaIndex 提到的优化方向和上边提到方向是一致的,这说明在企业落地 RAG 项目中,重点应该关注的是内容的解析效果和内容检索的效果

关于 llamaIndex 的分享内容这里不详细罗列,感兴趣可以看下附录的 PPT,这里主要看下 llamaIndex 做了哪些工作

3.1 LlamaParse

LlamaIndex 提供了 LlamaParse 可以解析复杂的多格式、多模态的文档,并以 AI Friendly(MD) 的格式输出

这里可以简单说 AI Friendly,其实业界提出 MD 格式是对 AI Friendly 的格式,在我们日常和业务合作过程中,也发现了 MD 的效果是最好的

另外,chunk 一般建议最好一个 chunk 是一篇文档,保障最完整的语意,这给了我们一个组织文档的经验建议

3.2 LlamaExtract

LlamaExtract 在 llamaIndex 分享的 ppt 没有提及,但在官方博客中提了,主要是以结构化的方式提取出文档的信息,有点类似图谱,是对文档检索内容的一个非常好的补充,感兴趣可以看下官方博客

相关文章
|
6月前
|
数据采集 监控 搜索推荐
电商关键词研究:数据收集挑战与解决方案
关键词研究的重要性 深入的研究可以为卖家提供以下信息: 竞争对手数据; 内容营销的点子; 消费趋势; 客户的需求。
|
11天前
|
数据采集 人工智能 API
《AI大模型助力客户对话分析》解决方案测评报告
《AI大模型助力客户对话分析》解决方案测评报告
35 4
|
8天前
|
人工智能 Serverless
AI 大模型助力客户对话分析 ——实践操作
参与《AI大模型助力客户对话分析》项目,基于阿里云社区操作路书,从架构设计到部署测试,逐步学习并应用大模型进行AI质检。过程中虽有控制台跳转等小挑战,但整体体验流畅,展示了AI技术的便捷与魅力,以及阿里云平台的先进性和社区支持。最终实现的AI质检功能,能够有效提升企业客户服务质量与效率。
29 0
|
2天前
|
人工智能 弹性计算 文字识别
基于阿里云文档智能和RAG快速构建企业"第二大脑"
在数字化转型的背景下,企业面临海量文档管理的挑战。传统的文档管理方式效率低下,难以满足业务需求。阿里云推出的文档智能(Document Mind)与检索增强生成(RAG)技术,通过自动化解析和智能检索,极大地提升了文档管理的效率和信息利用的价值。本文介绍了如何利用阿里云的解决方案,快速构建企业专属的“第二大脑”,助力企业在竞争中占据优势。
|
3天前
|
数据采集 人工智能 自然语言处理
《文档智能 & RAG让AI大模型更懂业务》解决方案测评
《文档智能 & RAG让AI大模型更懂业务》解决方案测评
|
4天前
|
自然语言处理 数据可视化 前端开发
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
合合信息的智能文档处理“百宝箱”涵盖文档解析、向量化模型、测评工具等,解决了复杂文档解析、大模型问答幻觉、文档解析效果评估、知识库搭建、多语言文档翻译等问题。通过可视化解析工具 TextIn ParseX、向量化模型 acge-embedding 和文档解析测评工具 markdown_tester,百宝箱提升了文档处理的效率和精确度,适用于多种文档格式和语言环境,助力企业实现高效的信息管理和业务支持。
27 0
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
|
11天前
|
人工智能 数据挖掘 API
评测报告:AI大模型助力客户对话分析
《AI大模型助力客户对话分析》解决方案详细介绍了如何利用AI大模型进行语音识别、情感分析和关键词提取,帮助企业提升服务质量。方案内容清晰,但部分技术细节和环境配置说明有待完善。示例代码基本可用,但在特定配置和行业术语方面需进一步优化。总体而言,该方案在实际业务场景中表现出色,但仍需改进以提升用户体验。
29 1
|
12天前
|
人工智能 数据可视化 Serverless
《AI大模型助力客户对话分析》解决方案
《AI大模型助力客户对话分析》解决方案
|
14天前
|
人工智能 Serverless
《AI大模型助力客户对话分析》的解决方案
《AI大模型助力客户对话分析》的解决方案
16 1
|
14天前
|
人工智能 自然语言处理 算法
《文档智能 & RAG让AI大模型更懂业务》 评测报告
《文档智能 & RAG让AI大模型更懂业务》 评测报告
24 0