如何拥抱大模型时代?向量数据库公司 Zilliz 从挖掘海量数据规律谈起

简介: 极客公园创新大会 2024 在北京闭幕。百度李彦宏、美国国家工程院院士张宏江、Google DeepMind 卢一峰、百川智能王小川、小鹏汽车何小鹏、向量数据库公司 Zilliz 栾小凡、钉钉叶军等 16 位创新者先后登台。

近期,极客公园创新大会 2024 在北京闭幕。百度李彦宏、美国国家工程院院士张宏江、Google DeepMind 卢一峰、百川智能王小川、小鹏汽车何小鹏、向量数据库公司 Zilliz 栾小凡、钉钉叶军等 16 位创新者先后登台。

现场,嘉宾们分享了在大模型时代,AI 技术还将向哪些方向发展,产品和应用如何寻求转型,什么样的创业者和产品经理才能在新的 AI 时代成功,以及 AI 将对人类自身带来哪些深远影响。

其中,Zilliz 合伙人兼技术总监栾小凡表示,数据代表秩序,无论是搜索还是生成,本质都是利用大模型挖掘数据背后的规律。

栾小凡现场做了这样的一个比喻:数字宇宙是一片无边无际的数据和信息海洋,它的广阔仿佛无垠的星空。在这个充满混沌的环境里,工程师和科学家们一直在寻找导航、搜索、压缩和生成有意义内容的方法。这项任务的难度,就如同在浩瀚的宇宙中寻找一颗特定的星球。

毫无疑问,Zilliz 的工程师正是在人工智能系统中通过【概率】去创造混沌中的秩序,而概率是信息检索的基石。早期的信息检索系统主要依赖关键词匹配,但这种方法无法处理近义词和多义词,也难以处理不完整的查询,更不用说理解用户查询背后的真正意图了。近年来,随着概率模型和神经网络的引入,信息检索系统的质量和用户体验都得到了显著提升。人工智能增强搜索可以帮助人们在数字宇宙的混沌中找到秩序,从海量非结构化的数据中检索到价值信息。

提及产品转型,栾小凡以 Zilliz 团队为例,讲述了团队重做产品架构的故事。重做架构的原因有 5 点:首先,如何将产品与云基础设施结合?其次,很重要的点就是随着数据量的增大,原有的系统架构已经无法承载用户的数据,分布式系统就显得尤为重要。再者,如何与公共云结合。2021年,K8S 已经非常成熟的一个系统了,所以团队就一直在思考怎么能用 K8S 更好的去跑一个无状态的数据库。此外,对 AIGC 的使用场景中,Serverless 是非常重要的一个点。因为绝大多数的大模型都是 API 的 service,所以对于广大的开发者来讲,他们不希望自己去维护底层的基础设施。最后,情怀。抛开商业因素,Zilliz 希望做一款顶尖的数据库产品,希望可以做成一款分布式的向量数据库,结果也确实做出来了。

最后,栾小凡提到,如果将辽阔的非结构化数据视为浩瀚的星空,那么 Zilliz 就像一艘穿梭在星际的飞船,概率就是指引我们在这片星空中洞悉数据背后价值的罗盘。大模型之大,不仅在于模型参数增加带来的拟合能力变强,更在于训练数据增加使得模型对于数据的概率分布理解变得更加精准。



http://www.cnaifm.com/rgzn/jqr/2024-01-05/12032.html

http://www.cnaifm.com/news/2024-01-05/12030.html

http://www.cnaifm.com/zhinengjiaju/2024-01-05/12029.html

http://www.cnaifm.com/itsm/2024-01-05/12028.html

http://www.cnaifm.com/rgzn/wrj/2024-01-05/12027.html

http://www.cnaifm.com/ckj/2024-01-05/12024.html

http://www.cnaifm.com/rgzn/wrj/2024-01-05/12023.html

http://www.cnaifm.com/jpdg/2024-01-05/12021.html

相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
6月前
|
存储 人工智能 NoSQL
AI大模型应用实践 八:如何通过RAG数据库实现大模型的私有化定制与优化
RAG技术通过融合外部知识库与大模型,实现知识动态更新与私有化定制,解决大模型知识固化、幻觉及数据安全难题。本文详解RAG原理、数据库选型(向量库、图库、知识图谱、混合架构)及应用场景,助力企业高效构建安全、可解释的智能系统。
|
7月前
|
人工智能 缓存 监控
使用LangChain4j构建Java AI智能体:让大模型学会使用工具
AI智能体是大模型技术的重要演进方向,它使模型能够主动使用工具、与环境交互,以完成复杂任务。本文详细介绍如何在Java应用中,借助LangChain4j框架构建一个具备工具使用能力的AI智能体。我们将创建一个能够进行数学计算和实时信息查询的智能体,涵盖工具定义、智能体组装、记忆管理以及Spring Boot集成等关键步骤,并展示如何通过简单的对话界面与智能体交互。
2753 1
|
10月前
|
人工智能 数据库
智能体(AI Agent)开发实战之【LangChain】(四)结合大模型基于RAG实现本地知识库问答和纠错
本文介绍如何基于RAG实现知识库问答系统的输入内容纠错功能。通过加载本地知识库、构建向量数据库,结合大语言模型对输入文本进行检索比对与纠错优化,提升问答准确性。
|
10月前
|
人工智能 自然语言处理 数据挖掘
智能体(AI Agent)开发实战之【LangChain】(三)结合大模型基于RAG实现本地知识库问答优化
智能体(AI Agent)开发实战之【LangChain】(三)结合大模型基于RAG实现本地知识库问答优化
|
10月前
|
数据采集 存储 人工智能
智能体(AI Agent)开发实战之【LangChain】(二)结合大模型基于RAG实现本地知识库问答
智能体(AI Agent)开发实战之【LangChain】(二)结合大模型基于RAG实现本地知识库问答
|
10月前
|
人工智能 API 开发者
智能体(AI Agent)开发实战之【LangChain】(一)接入大模型输出结果
LangChain 是一个开源框架,专为构建与大语言模型(LLMs)相关的应用设计。通过集成多个 API、数据源和工具,助力开发者高效构建智能应用。本文介绍了 LangChain 的环境准备(如安装 LangChain、OpenAI 及国内 DeepSeek 等库)、代码实现(以国内开源大模型 Qwen 为例,展示接入及输出结果的全流程),以及核心参数配置说明。LangChain 的灵活性和强大功能使其成为开发对话式智能应用的理想选择。
|
11月前
|
人工智能 数据挖掘 API
基于neo4j数据库和dify大模型框架的rag模型搭建——后续补充
基于neo4j数据库和dify大模型框架的rag模型搭建——后续补充
1021 21
基于neo4j数据库和dify大模型框架的rag模型搭建——后续补充
|
11月前
|
Java 数据库 Docker
基于neo4j数据库和dify大模型框架的rag模型搭建
基于neo4j数据库和dify大模型框架的rag模型搭建
3189 35

热门文章

最新文章