免费体验阿里云高性能向量检索服务：https://www.aliyun.com/product/ai/dashvector
人工智能回顾与展望
- 十年前，人们关注的是大数据和机器学习（ML）。深度学习成为一个新流行的概念。而“AI”一词，还被认为是描绘未来人类智能水平的幻想。当时，这项技术主要被大型技术公司用于广告优化、搜索引擎、社交媒体排名、购物推荐和网络滥用防范等关键领域。
- 五年前，关注于数据标注、客户流失预测、内容推荐、图像归类、情感分析和自然语言处理等标准机器学习任务。
- 大约在一年前，企业纷纷开始投向聊天机器人、基于知识库的 RAG 技术、自动化客户支持和医疗记录工作。向前看到2024年甚至更远的未来，似乎智能代理和辅助系统正成为主角，解决 LLMs 的幻觉问题以及提升其在面向用户的产品中的可信度和实用性将成为焦点问题，在这个快速创新的时代，几乎所有基于AI的解决方案几乎都依赖一些稳定的基础设施组件。
不变的东西
尽管人工智能产品架构五花八门，但似乎所有的架构都依赖几个核心的基础组件，包括模型训练与托管、预训练的基础模型、向量数据库、模型管道与数据处理、标注、评价框架和 AI 应用托管等。
这些组件并非新鲜事物。比如，谷歌在广告服务中进行向量搜索，Meta十多年前就开始构建用于信息流排名的分布式神经网络训练系统。与此同时，亚马逊为购物推荐生成多模态嵌入，而微软为 Bing 引入了基于向量的搜索和排名机制。这些只是众多案例中的一部分。
市场上的其他公司面临的挑战是，这些 AI 技术堆栈远在大型科技公司的统治之下，仅有它们具备开发这些技术的规模和支撑它们发展的人才。其他公司则需要在自行努力打造和放弃之间做出艰难选择，像 Uber、Netflix、Yahoo、Salesforce 和 Pinterest 这样的公司，鉴于它们自身业务规模，它们对 AI 人才和技术的投资非常重视并具有前瞻性。
现在，可以选择使用 AI 基础设施服务。实际上，这些工具现已成熟易用且价格合理。但这还只是故事的一部分。
未来的挑战
在我们介绍新兴技术栈之前，先来看看 AI 应用将面临的当前和未来挑战，需要指出的是，AI应用存在一些独特的挑战，这些挑战是所有软件服务都需要面对的。以下挑战仅涉及与众不同的新问题。
- 多模态
数据和模型很快将成为常态，当前以文本为基础的应用将引入图像和视频，原有服务将变得更加注重数据处理，并需在整个系统的各个接口上进行重新规划。
- 数据
数据正变得越来越庞大和复杂，庞大的文本和多模态数据需要模型处理后，能够即时供AI应用存取，这类应用希望能通过数据的内在意义获取知识，但传统数据库面对这种应用场景往往束手无策。
- 硬件
硬件设施正经历变革，新兴的硬件加速器生态系统将开始纾解现今的计算短缺，但同时也带来新挑战，如何优化使用日益增长和多变的加速器集合，如何保持工作的可移植性和性能优化。
- 应用程序开发
越来越多地以 AI 为中心，与先进工具和 AI 功能紧密结合，这意味着传统的网页开发正变得越来越多地需要存储和计算资源。
- 模型训练
模型训练在发生转变，随着基础模型的出现，我们不再单一地从头开始开发模型，现在更多地需要对模型进行再训练和细微调整，虽然这大大降低了计算需求，但也带来了模型定制和组合的新挑战，这将增加我们模型评估能力的负担。
- 云计算中心
云计算正变得至关重要，因为处理数据重力和模型重力之间的权衡，需要新的云原生服务。这些服务要能够动态优化计算、存储和网络使用。另外，随着云端可移植性和云间互通功能变得越来越重要，这些通常只有主要的云服务提供者才能为整个 AI 技术栈提供云原生服务。
不言而喻，对于大多数公司来说，内部构建这些功能既不切实际也大多不必要，为了把握住这些新机会，企业需要学会如何使用合适的基础建设，这些基础建设不仅要满足现有需求，还要能迎接未来挑战。也就是说，它们应当具备灵活性、快速迭代和普遍适用性。
人工智能技术堆栈
- 基础模型
我们期待模型能够转换文稿或执行任务，转换通常意味着生成向量嵌入或者完成任务时生成的特征，任务包括文本与图像生成、标注、总结、转录等，我们提供业界领先的大型语言模型，专为嵌入和生成任务优化，并且还开发了针对具体商业挑战的高度专业化模型，这些模型不仅被托管，而且还在不断进行训练与改进。
- 模型训练与部署
AI的工作本质就是计算密集型的，因此，成功的AI团队要考虑如何扩展，需要规模化是因为模型更大、数据量更大，同时有越来越多的模型需要构建和部署，仅仅是为了支持像RAG这样的基础应用程序的嵌入计算，就可能需要数百个GPU运行数日。规模化需求提出了软件工程上的一系列挑战，包括性能、成本和可靠性等。
- 向量数据库
知识是AI的中心，而语义检索则是确保模型能够实时获取相关信息的关键手段。为了做到这一点，向量数据库已经变得成熟并专业，能够在几毫秒之内搜索数十亿的嵌入，同时保持成本效率。
- AI应用托管
AI应用呈现出一些独特的新挑战，影响应用程序的渲染、交付和安全架构。首先，不同于传统网站的是，AI应用天然具有更高的动态性，这意味着传统的 CDN 缓存效率不够高，应用需要依赖服务器渲染和流传输才能满足用户对速度和定制化的需求，考虑到AI领域的快速演进，产品必须能够快速迭代，无论是新模型、提示、实验还是技术，而应用流量可能成倍增长，无服务器平台因此变得非常吸引人，在安全性方面，AI应用变成了机器人攻击的热门目标。
了解更多阿里云向量检索服务DashVector的使用方法，请点击：
https://help.aliyun.com/product/2510217.html?spm=a2c4g.2510217.0.0.54fe155eLs1wkT
