如何拥抱大模型时代?向量数据库公司 Zilliz 从挖掘海量数据规律谈起

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
简介: 极客公园创新大会 2024 在北京闭幕。百度李彦宏、美国国家工程院院士张宏江、Google DeepMind 卢一峰、百川智能王小川、小鹏汽车何小鹏、向量数据库公司 Zilliz 栾小凡、钉钉叶军等 16 位创新者先后登台。

近期,极客公园创新大会 2024 在北京闭幕。百度李彦宏、美国国家工程院院士张宏江、Google DeepMind 卢一峰、百川智能王小川、小鹏汽车何小鹏、向量数据库公司 Zilliz 栾小凡、钉钉叶军等 16 位创新者先后登台。

现场,嘉宾们分享了在大模型时代,AI 技术还将向哪些方向发展,产品和应用如何寻求转型,什么样的创业者和产品经理才能在新的 AI 时代成功,以及 AI 将对人类自身带来哪些深远影响。

其中,Zilliz 合伙人兼技术总监栾小凡表示,数据代表秩序,无论是搜索还是生成,本质都是利用大模型挖掘数据背后的规律。

栾小凡现场做了这样的一个比喻:数字宇宙是一片无边无际的数据和信息海洋,它的广阔仿佛无垠的星空。在这个充满混沌的环境里,工程师和科学家们一直在寻找导航、搜索、压缩和生成有意义内容的方法。这项任务的难度,就如同在浩瀚的宇宙中寻找一颗特定的星球。

毫无疑问,Zilliz 的工程师正是在人工智能系统中通过【概率】去创造混沌中的秩序,而概率是信息检索的基石。早期的信息检索系统主要依赖关键词匹配,但这种方法无法处理近义词和多义词,也难以处理不完整的查询,更不用说理解用户查询背后的真正意图了。近年来,随着概率模型和神经网络的引入,信息检索系统的质量和用户体验都得到了显著提升。人工智能增强搜索可以帮助人们在数字宇宙的混沌中找到秩序,从海量非结构化的数据中检索到价值信息。

提及产品转型,栾小凡以 Zilliz 团队为例,讲述了团队重做产品架构的故事。重做架构的原因有 5 点:首先,如何将产品与云基础设施结合?其次,很重要的点就是随着数据量的增大,原有的系统架构已经无法承载用户的数据,分布式系统就显得尤为重要。再者,如何与公共云结合。2021年,K8S 已经非常成熟的一个系统了,所以团队就一直在思考怎么能用 K8S 更好的去跑一个无状态的数据库。此外,对 AIGC 的使用场景中,Serverless 是非常重要的一个点。因为绝大多数的大模型都是 API 的 service,所以对于广大的开发者来讲,他们不希望自己去维护底层的基础设施。最后,情怀。抛开商业因素,Zilliz 希望做一款顶尖的数据库产品,希望可以做成一款分布式的向量数据库,结果也确实做出来了。

最后,栾小凡提到,如果将辽阔的非结构化数据视为浩瀚的星空,那么 Zilliz 就像一艘穿梭在星际的飞船,概率就是指引我们在这片星空中洞悉数据背后价值的罗盘。大模型之大,不仅在于模型参数增加带来的拟合能力变强,更在于训练数据增加使得模型对于数据的概率分布理解变得更加精准。



http://www.cnaifm.com/rgzn/jqr/2024-01-05/12032.html

http://www.cnaifm.com/news/2024-01-05/12030.html

http://www.cnaifm.com/zhinengjiaju/2024-01-05/12029.html

http://www.cnaifm.com/itsm/2024-01-05/12028.html

http://www.cnaifm.com/rgzn/wrj/2024-01-05/12027.html

http://www.cnaifm.com/ckj/2024-01-05/12024.html

http://www.cnaifm.com/rgzn/wrj/2024-01-05/12023.html

http://www.cnaifm.com/jpdg/2024-01-05/12021.html

相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
前端开发 机器人 API
前端大模型入门(一):用 js+langchain 构建基于 LLM 的应用
本文介绍了大语言模型(LLM)的HTTP API流式调用机制及其在前端的实现方法。通过流式调用,服务器可以逐步发送生成的文本内容,前端则实时处理并展示这些数据块,从而提升用户体验和实时性。文章详细讲解了如何使用`fetch`发起流式请求、处理响应流数据、逐步更新界面、处理中断和错误,以及优化用户交互。流式调用特别适用于聊天机器人、搜索建议等应用场景,能够显著减少用户的等待时间,增强交互性。
3818 2
|
2月前
|
存储 人工智能 NoSQL
AI大模型应用实践 八:如何通过RAG数据库实现大模型的私有化定制与优化
RAG技术通过融合外部知识库与大模型,实现知识动态更新与私有化定制,解决大模型知识固化、幻觉及数据安全难题。本文详解RAG原理、数据库选型(向量库、图库、知识图谱、混合架构)及应用场景,助力企业高效构建安全、可解释的智能系统。
|
3月前
|
人工智能 缓存 监控
使用LangChain4j构建Java AI智能体:让大模型学会使用工具
AI智能体是大模型技术的重要演进方向,它使模型能够主动使用工具、与环境交互,以完成复杂任务。本文详细介绍如何在Java应用中,借助LangChain4j框架构建一个具备工具使用能力的AI智能体。我们将创建一个能够进行数学计算和实时信息查询的智能体,涵盖工具定义、智能体组装、记忆管理以及Spring Boot集成等关键步骤,并展示如何通过简单的对话界面与智能体交互。
981 1
|
3月前
|
人工智能 Java API
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
本文介绍AI大模型的核心概念、分类及开发者学习路径,重点讲解如何选择与接入大模型。项目基于Spring Boot,使用阿里云灵积模型(Qwen-Plus),对比SDK、HTTP、Spring AI和LangChain4j四种接入方式,助力开发者高效构建AI应用。
1499 122
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
|
10月前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课15 集成DeepSeek等大模型
本文介绍了如何在PolarDB数据库中接入私有化大模型服务,以实现多种应用场景。实验环境依赖于Docker容器中的loop设备模拟共享存储,具体搭建方法可参考相关系列文章。文中详细描述了部署ollama服务、编译并安装http和openai插件的过程,并通过示例展示了如何使用这些插件调用大模型API进行文本分析和情感分类等任务。此外,还探讨了如何设计表结构及触发器函数自动处理客户反馈数据,以及生成满足需求的SQL查询语句。最后对比了不同模型的回答效果,展示了deepseek-r1模型的优势。
518 3
|
7月前
|
人工智能 数据挖掘 API
基于neo4j数据库和dify大模型框架的rag模型搭建——后续补充
基于neo4j数据库和dify大模型框架的rag模型搭建——后续补充
788 21
基于neo4j数据库和dify大模型框架的rag模型搭建——后续补充
|
7月前
|
Java 数据库 Docker
基于neo4j数据库和dify大模型框架的rag模型搭建
基于neo4j数据库和dify大模型框架的rag模型搭建
1830 35
|
6月前
|
人工智能 数据库
智能体(AI Agent)开发实战之【LangChain】(四)结合大模型基于RAG实现本地知识库问答和纠错
本文介绍如何基于RAG实现知识库问答系统的输入内容纠错功能。通过加载本地知识库、构建向量数据库,结合大语言模型对输入文本进行检索比对与纠错优化,提升问答准确性。
|
6月前
|
数据采集 存储 人工智能
智能体(AI Agent)开发实战之【LangChain】(二)结合大模型基于RAG实现本地知识库问答
智能体(AI Agent)开发实战之【LangChain】(二)结合大模型基于RAG实现本地知识库问答

热门文章

最新文章