部署AI私人助理体验

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 随着人工智能技术的不断发展,越来越多的企业和个人开始尝试利用AI技术提升工作效率和便捷性。本次体验的目的是了解阿里函数计算FC、文件存储NAS和RDS PostgreSQL等产品的性能和适用场景,并将这些产品整合在一起,搭建一个基于LLM大语言模型的AI知识库问答应用。

一、引言

随着人工智能技术的不断发展,越来越多的企业和个人开始尝试利用AI技术提升工作效率和便捷性。本次体验的目的是了解阿里函数计算FC、文件存储NAS和RDS PostgreSQL等产品的性能和适用场景,并将这些产品整合在一起,搭建一个基于LLM大语言模型的AI知识库问答应用。

二、产品清单

2.1、函数计算FC

阿里函数计算FC是一种云原生的计算服务,提供了一种简单、高效的方式来部署和管理函数。在使用函数计算FC时,我们首先需要上传编写的函数代码,然后进行配置和部署。

2.2、文件存储NAS

文件存储NAS是一种基于网络的文件存储服务,可以提供稳定、高效的存储和访问功能。在本次体验中,我们使用文件存储NAS来存储和访问ChatGLM6B模型和其他相关的文件。通过配置NAS的访问权限,我们可以方便地将文件上传和下载,并且NAS还提供了数据备份和恢复等功能,确保数据的安全性。

2.3、RDS PostgreSQL

RDS PostgreSQL是一种云原生的关系型数据库服务,提供了稳定、高效、易于管理的数据库服务。在本次体验中,我们使用RDS PostgreSQL来存储和查询AI知识库的数据。通过使用SQL语言,我们可以方便地对数据进行增删改查,并且RDS PostgreSQL还提供了数据备份和恢复等功能,确保数据的安全性。

三、体验过程

在了解了各个产品的优点和缺点之后,我们将开始搭建基于LLM模型的AI知识库问答应用。

3.1、FC创建应用

通过函数计算FC创建AI大语言模型的应用。

在这个过程中,基本上个是保姆式操作,我们只需要按照实验的要求进行部署即可。

3.2、开通文件存储 NAS

服务状态开通文件存储 NAS,存储大语言模型和Embeding需要使用文件存储 NAS性能存储约4.5GB。

3.3、保存数据库连接信息

完成业务部署后,我们访问服务地址。第一次访问的时候,系统会弹出实验数据库相关的参数, 我们需要妥善保存好。

3.4、导入知识库

3.5、体验产品

3.6、资源释放

由于产品是按量收费,使用完后,如果不再使用,需要尽快完成资源的释放。

3.7、心得体会

在搭建基于ChatGLM6B大语言模型AI知识库问答应用的过程中,我使用到了阿里函数计算FC、文件存储NAS和RDS PostgreSQL等工具。

我觉得,阿里函数计算FC为我提供了强大的计算能力,让我能够轻松应对ChatGLM6B大语言模型的需求。通过使用函数计算FC,我能够快速从模板应用中拉取。其次,文件存储NAS为我提供了一个高效、稳定的存储解决方案。另外,RDS PostgreSQL它提供了一个易用、高性能的数据库服务。通过RDS,我能够轻松实现数据的存储、查询和分析,而无需关心底层数据库的管理和维护。

虽然在释放资源的时候,出现了一点点小插曲,但是系统给了足够的提示信息,我只需要按照提示一步步去排查即可完成。这点必须给赞!

四、产品思考

通过体验之后,我也一直在思考一个问题,如何把它融合到我们的医疗健康基层医疗实际业务中。

  1. 建立云端大模型知识库:大语言模型的落地所需要的硬件资源太过庞大,私有化部署的难度太大。建议采用云端建立知识库。
  2. 数据存储与备份:如果使用RDS PostgreSQL进行数据管理,它是否是最佳的选择? 通过官方了解到,RDS PostgreSQL是一种关系型数据库,它能够针对业务需求,提供数据的查询优化,数据处理效率也非常高。但是常用发展,是否可以使用MongoDB?这个我需要进一步研究。
  3. 结合IOT可穿戴设备结合管理应用:纯粹的对话模式在实际业务落地非常困难,需要结合物联网、可穿戴设备等技术,开发健康管理相关应用,这样才能帮助居民实现自我健康管理。
  4. 技术落地:这一点难度比较大,目前团队人员水平参差不齐,培训难度较大。

五、小结

通过本次体验,我了解了阿里函数计算FC、文件存储NAS和RDS PostgreSQL等产品的性能和适用场景,并且成功地将这些产品整合在一起,搭建了一个基于LLM模型的AI知识库问答应用。通过他们能够真正做到使得开发者可以专注于业务逻辑的实现而无需关心底层基础设施的配置和管理。

另外比较的就是这些产品的收费方式,它们都提供了灵活多样的付费方式,以便开发者可以快速体验。同时,阿里平台也针对新用户提供了不同形式的免费试用机会。

image.png

非常有意义的一次体验!!!感谢阿里提供的机会。

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
目录
相关文章
|
2月前
|
人工智能 并行计算 安全
从零到一,打造专属AI王国!大模型私有化部署全攻略,手把手教你搭建、优化与安全设置
【10月更文挑战第24天】本文详细介绍从零开始的大模型私有化部署流程,涵盖需求分析、环境搭建、模型准备、模型部署、性能优化和安全设置六个关键步骤,并提供相应的示例代码,确保企业能够高效、安全地将大型AI模型部署在本地或私有云上。
676 7
|
29天前
|
人工智能 Java API
教你自创工作流,赋予AI助理个性化推荐超能力
本文详细介绍了使用Spring AI Alibaba构建AI助理的全过程,涵盖从基本流程设计到实际操作实现的各个方面。文章首先回顾了前期工作,包括旅游攻略、天气查询和个人待办事项等功能模块的设计与实现。接着,深入探讨了工作流的实现细节,如事件封装优化、工作流节点创建及复杂工作流的高效管理。最后,通过实际项目启动与运行测试,展示了AI助理的实际效果,验证了系统的稳定性和可扩展性。本文不仅适合Java开发者学习AI技术,也为后续的优化和功能拓展提供了宝贵的经验。
438 7
教你自创工作流,赋予AI助理个性化推荐超能力
|
25天前
|
人工智能 Java Serverless
阿里云函数计算助力AI大模型快速部署
随着人工智能技术的快速发展,AI大模型已经成为企业数字化转型的重要工具。然而,对于许多业务人员、开发者以及企业来说,探索和利用AI大模型仍然面临诸多挑战。业务人员可能缺乏编程技能,难以快速上手AI模型;开发者可能受限于GPU资源,无法高效构建和部署AI应用;企业则希望简化技术门槛,以更低的成本和更高的效率利用AI大模型。
108 12
|
18天前
|
人工智能 数据库 自然语言处理
拥抱Data+AI|DMS+AnalyticDB助力钉钉AI助理,轻松玩转智能问数
「拥抱Data+AI」系列文章由阿里云瑶池数据库推出,基于真实客户案例,展示Data+AI行业解决方案。本文通过钉钉AI助理的实际应用,探讨如何利用阿里云Data+AI解决方案实现智能问数服务,使每个人都能拥有专属数据分析师,显著提升数据查询和分析效率。点击阅读详情。
拥抱Data+AI|DMS+AnalyticDB助力钉钉AI助理,轻松玩转智能问数
|
11天前
|
人工智能 数据库连接 API
在部署《主动式智能导购 AI 助手构建》解决方案的过程中,整体体验还是相对顺畅的,但确实遇到了一些问题,文档提供的引导也有所不足,以下是详细的体验评估
在部署《主动式智能导购 AI 助手构建》解决方案的过程中,整体体验还是相对顺畅的,但确实遇到了一些问题,文档提供的引导也有所不足,以下是详细的体验评估
|
23天前
|
人工智能 缓存 异构计算
云原生AI加速生成式人工智能应用的部署构建
本文探讨了云原生技术背景下,尤其是Kubernetes和容器技术的发展,对模型推理服务带来的挑战与优化策略。文中详细介绍了Knative的弹性扩展机制,包括HPA和CronHPA,以及针对传统弹性扩展“滞后”问题提出的AHPA(高级弹性预测)。此外,文章重点介绍了Fluid项目,它通过分布式缓存优化了模型加载的I/O操作,显著缩短了推理服务的冷启动时间,特别是在处理大规模并发请求时表现出色。通过实际案例,展示了Fluid在vLLM和Qwen模型推理中的应用效果,证明了其在提高模型推理效率和响应速度方面的优势。
云原生AI加速生成式人工智能应用的部署构建
|
26天前
|
机器学习/深度学习 存储 人工智能
【AI系统】训练后量化与部署
本文详细介绍了训练后量化技术,涵盖动态和静态量化方法,旨在将模型权重和激活从浮点数转换为整数,以优化模型大小和推理速度。通过KL散度等校准方法和量化粒度控制,文章探讨了如何平衡模型精度与性能,同时提供了端侧量化推理部署的具体实现步骤和技术技巧。
44 1
【AI系统】训练后量化与部署
|
1天前
|
人工智能 数据处理 C#
AI Dev Gallery:微软开源 Windows AI 模型本地运行工具包和示例库,助理开发者快速集成 AI 功能
微软推出的AI Dev Gallery,为Windows开发者提供开源AI工具包和示例库,支持本地运行AI模型,提升开发效率。
32 13
|
1月前
|
人工智能 监控 Serverless
《主动式智能导购AI助手构建》解决方案部署测评
在数字化时代,智能导购AI助手已成为提升客户体验和销售效率的重要工具。本文将基于个人体验,对《主动式智能导购AI助手构建》解决方案的部署过程进行详细评测。
40 3
|
17天前
|
人工智能 API Windows
免费部署本地AI大语言模型聊天系统:Chatbox AI + 马斯克grok2.0大模型(简单5步实现,免费且比GPT4.0更好用)
本文介绍了如何部署本地AI大语言模型聊天系统,使用Chatbox AI客户端应用和Grok-beta大模型。通过获取API密钥、下载并安装Chatbox AI、配置模型,最终实现高效、智能的聊天体验。Grok 2大模型由马斯克X-AI发布,支持超长文本上下文理解,免费且易于使用。
68 0