AIGC-知识库-LLM:在云上从0开始搭建智能问答机器人Streamlit网页版

本文涉及的产品
NLP自然语言处理_高级版,每接口累计50万次
视觉智能开放平台,视频资源包5000点
视觉智能开放平台,分割抠图1万点
简介: 本文描述在阿里云上从0开始构建个人/企业专属,具备私域知识库+LLM智能问答能力的网页版聊天机器人。网页采用streamlit实现,知识库技术方案使用了Lindorm AI数据服务平台知识库能力,LLM使用了开源ChatGLM2-6B。 Streamlit使用起来非常简便,可以让开发者快速(短则几十分钟即可)搭建一个具备公网访问能力的网页。尤其在人工智能开发上,可使用Streamlit快速搭建应用环境,让开发人员将更多精力集中在人工智能本身,本文从0开始详细讲解整个应用的构建过程,代码实现了一个简洁的具备公网访问能力的网页版聊天机器人。

一、开通和配置ECS

1、 创建ECS实例(以Ubuntu系统为例),作为登录数据库的客户端。设置ECS用户名及登录密码(使用ecs-user登录,如果使用root安装,后续部分安装包会提示有权限风险)。

2、 设置安全组配置,配置出方向端口22,并在源IP中加入本机IP

image.png

3、本机ssh到云ECS

 

二、构建自己的知识库+LLM

1、 根据产品指导书,开通Lindorm知识库+LLM实例,并根据指导书导入或SQL方式写入自己的知识文档,完成知识库的构建。该方案安装部署LLM非常简便,仅需一条简单的SQL命令即可完成安装。使用也非常简便,也是几条简洁的SQL即可(详见)。

2、 ECS客户端IP加入到Lindorm数据库白名单,确保ECS可以正常访问Lindorm数据库。可以在ECS上安装Lindorm CLI客户端进行测试。

3、 ECS上安装phoenixdb(用于连接数据库):pip install phoenixdb==1.2.0

 注意:有些系统版本在安装时,可能会报错“subprocess.CalledProcessError: Command 'krb5-config --libs gssapi' returned non-zero exit status 127”,原因是缺乏安装依赖,需执行如下命令后再安装:sudo apt-get -y install gcc libkrb5-dev

 

三、编写Streamlit网页程序

说明:该程序运行在ECS上,用于对外提供网页版问答机器人服务界面。

1、 ECS安装Streamlit需要的模块pip install streamlit   pip install streamlit-chat

2、 编写Streamlit网页程序(Python脚本)。

#!/bin/python3# -*- coding: utf-8 -*-importstreamlitasstimportphoenixdbfromconfigs.lindorm_config_chatbotimport*# global env:如下配置正式使用时请放在单独的配置文件中,如:lindorm_config_chatbot# 这里的链接地址与lindorm-cli的链接地址比,需要去掉http之前的字符串# LINDORM_URL = "http://ld-XXXX-proxy-lindorm-pub.lindorm.rds.aliyuncs.com:30060"# LINDORM_USER_NAME = 'XXXX'# LINDORM_USER_PW = 'XXXX'# 连接到lindorm数据库defconnect(kw_args):
try:
returnphoenixdb.connect(LINDORM_URL, autocommit=True, **kw_args)
exceptAttributeError:
print("Failed to connect")
# 连接Lindorm数据库,调用AI数据服务平台SQL查询接口,获取Lindorm知识库问答结果# 用户名通过lindorm_user字段传递,密码使用lindorm_password字段设置,database字段设置连接初始化默认数据库。connect_kw_args= {'lindorm_user': LINDORM_USER_NAME, 'lindorm_password': LINDORM_USER_PW, 'database': 'default'}
connection=connect(connect_kw_args)
st.set_page_config(
page_title="LLM智能问答",
page_icon=":robot:",
layout='wide')
st.title("LLM智能问答-小智")
# 如果存在多个智能问答模型,可以做成复选框方式LLM_MODEL=st.sidebar.selectbox(
'请选择模型',
('ChatGLM2-6B', 'Lindorm-QA')
)
if"history"notinst.session_state:
st.session_state.history= []
# 历史对话信息展示for (query, response) inst.session_state.history:
withst.chat_message(name="user", avatar="user"):
st.markdown(query)
withst.chat_message(name="assistant", avatar="assistant"):
st.markdown(response)
# 尝试使用text_area来接收用户的问题输入,发现对话界面很混乱。历史记录在界面上方,输入框在中间,最新的问答在下方。所以放弃了该方式,代码如下面3行#prompt = st.text_area(label="用户问题输入", height=100, placeholder="请在这儿输入您的问题")#button = st.button("发送", key="aigc")#if button:# 用户输入问题ifprompt :=st.chat_input("请在这儿输入您的问题"):
# 在界面上展示用户输入的问题st.chat_message("user").markdown(prompt)
response=""withconnection.cursor() asstatement:
# 查询Lindorm AI实例,返回知识库+LLM答案sql_select="select ai_infer('%s', '%s')"% (LLM_MODEL, prompt)
statement.execute(sql_select)
sql_response=statement.fetchall()
response=sql_response[0][0]  # 查询返回是list格式,需要取list[0][0],转换为str格式# 在界面上展示LLM给出的答案st.chat_message("assistant").markdown(response)
# 将本轮问答信息追加记录到history中,用于实现多轮对话展示st.session_state.history.append((prompt, response))
# print("session_state.history:", st.session_state.history)connection.close()

代码详解:

Lindorm提供了类JDBC的连接和使用方式,使用起来非常简便。对于知识库和LLM的调用,直接使用SQL查询方式即可返回LLM的问答结果,将返回的内容进行格式化整理即可:

with connection.cursor() as statement:

       # 查询Lindorm AI实例,返回知识库+LLM答案

       sql_select = "select ai_infer('%s', '%s')" % (LLM_MODEL, prompt)

      statement.execute(sql_select)

       sql_response = statement.fetchall()

       response = sql_response[0][0]  # 查询返回是list格式,需要取list[0][0],转换为str格式

 

3、 添加安全组规则:在ECS实例安全组的入方向添加安全组规则,将需要访问服务网页的IP地址或地址段添加到8501端口的源(该端口是Streamlit默认服务端口,也可以自定义)。

image.png

 

4、运行脚本:streamlit run chatBot_web_demo.py &。如果要指定服务端口,则需要在安全组放行该端口,运行时带上端口参数,如:streamlit run chatBot_web_demo.py --server.port 6006 &。程序运行后会打印网页URL地址。

 

四、效果展示

在浏览器中输入网页URL地址,即可与LLM智能问答机器人进行问答。该地址是ECS的公网IP,具备公网访问能力,且可以通过配置安全组8501端口的访问源IP来实现访问源的控制,使用起来非常便捷。

image.png

 

 

五、必薅羊毛

对于喜欢研究学习LLMAIGC、知识库、智能问答、文生图等方面的爱好者,或想借助AIGC能力用于工作、学习中的人,发现阿里云最近有系列AIGC相关的优惠活动推出。

 

在此推荐一个智能问答、文生图相关的AIGC优惠活动:秒级开通,仅60/月,即刻畅享私域知识库+LLM智能问答系统。该系统可以直接玩开源LLM、还可以上传自己的私域文档构建自己的知识库,文生图应用貌似也要上线了。

 

新用户首次开通还可获得100元猫超卡奖励,目前该奖励活动还在有效期内,手慢无。

活动链接:https://www.aliyun.com/activity/ambassador/Lindorm

 

开通后,即刻就能使用,界面截图:

image.png

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
2月前
|
机器学习/深度学习 自然语言处理 机器人
【RAG实践】基于LlamaIndex和Qwen1.5搭建基于本地知识库的问答机器人
LLM会产生误导性的 “幻觉”,依赖的信息可能过时,处理特定知识时效率不高,缺乏专业领域的深度洞察,同时在推理能力上也有所欠缺。
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
【人工智能技术专题】「入门到精通系列教程」零基础带你进军人工智能领域的全流程技术体系和实战指南(LLM、AGI和AIGC都是什么)(一)
【人工智能技术专题】「入门到精通系列教程」零基础带你进军人工智能领域的全流程技术体系和实战指南(LLM、AGI和AIGC都是什么)
322 0
|
23天前
|
运维 机器人 开发者
使用阿里云百炼通过appflow模板,组合钉钉机器人搭建个人知识库评测与感想
尝试构建个人助手机制,用阿里云百炼+AppFlow+钉钉机器人,花费两午休时间解决配置问题。百炼appid复制时多出空格致错,文档未提及,耗时排查。应用创建时模型选项限于max, plus, turbo,性价比高的qwen-long未上线。期望尽快修复bug和上线新模型以降低成本。附故障排查截图。
63 1
|
13天前
|
算法
「AIGC」readLink实现url识别pdf、网页标题和内容
AIGC算法实现服务,通过Express接收URL,识别内容类型:HTML使用Cheerio解析,PDF用`pdf-parse`。自定义函数提取标题和内容。示例代码展示了如何处理HTTP响应,提取HTML的`<title>`及PDF文本,并提供错误处理。服务器运行在端口3000。
15 0
|
24天前
|
人工智能 小程序 机器人
开源一个RAG大模型本地知识库问答机器人-ChatWiki
准备工作 再安装ChatWiki之前,您需要准备一台具有联网功能的linux服务器,并确保服务器满足最低系统要求 • Cpu:最低需要2 Core • RAM:最低需要4GB 开始安装 ChatWiki社区版基于Docker部署,请先确保服务器已经安装好Docker。如果没有安装,可以通过以下命令安装:
|
2月前
|
机器学习/深度学习 自然语言处理 搜索推荐
【大模型】LLM与传统聊天机器人的区别是什么?
【5月更文挑战第4天】【大模型】LLM与传统聊天机器人的区别是什么?
|
2月前
|
存储 人工智能 API
【AIGC】基于检索增强技术(RAG)构建大语言模型(LLM)应用程序
【5月更文挑战第7天】基于检索增强技术(RAG)构建大语言模型(LLM)应用程序实践
357 1
|
2月前
|
机器人 Linux Docker
【LLM】基于Stable-Diffusion模型构建可以生成图像的聊天机器人
【4月更文挑战第13天】基于Stable-Diffusion模型构建可以生成图像的聊天机器人
41 0
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
【人工智能技术专题】「入门到精通系列教程」零基础带你进军人工智能领域的全流程技术体系和实战指南(LLM、AGI和AIGC都是什么)(二)
【人工智能技术专题】「入门到精通系列教程」零基础带你进军人工智能领域的全流程技术体系和实战指南(LLM、AGI和AIGC都是什么)
204 0
|
2月前
|
人工智能 自然语言处理 Kubernetes
LLM 技术图谱(LLM Tech Map)& Kubernetes (K8s) 与AIGC的结合应用
LLM 技术图谱(LLM Tech Map)& Kubernetes (K8s) 与AIGC的结合应用
197 0