一、开通和配置ECS
1、 创建ECS实例（以Ubuntu系统为例），作为登录数据库的客户端。设置ECS用户名及登录密码（使用ecs-user登录，如果使用root安装，后续部分安装包会提示有权限风险）。
2、 设置安全组配置，配置出方向端口22，并在源IP中加入本机IP。
3、本机ssh到云ECS。
二、构建自己的知识库+LLM
1、 根据产品指导书，开通Lindorm知识库+LLM实例，并根据指导书导入或SQL方式写入自己的知识文档，完成知识库的构建。该方案安装部署LLM非常简便，仅需一条简单的SQL命令即可完成安装。使用也非常简便，也是几条简洁的SQL即可（详见）。
2、 将ECS客户端IP加入到Lindorm数据库白名单，确保ECS可以正常访问Lindorm数据库。可以在ECS上安装Lindorm CLI客户端进行测试。
3、 在ECS上安装phoenixdb（用于连接数据库）：pip install phoenixdb==1.2.0
注意：有些系统版本在安装时，可能会报错“subprocess.CalledProcessError: Command 'krb5-config --libs gssapi' returned non-zero exit status 127”，原因是缺乏安装依赖，需执行如下命令后再安装：sudo apt-get -y install gcc libkrb5-dev
三、编写Streamlit网页程序
说明：该程序运行在ECS上，用于对外提供网页版问答机器人服务界面。
1、 在ECS上安装Streamlit需要的模块：pip install streamlit pip install streamlit-chat
2、 编写Streamlit网页程序（Python脚本）。
#!/bin/python3# -*- coding: utf-8 -*-importstreamlitasstimportphoenixdbfromconfigs.lindorm_config_chatbotimport*# global env：如下配置正式使用时请放在单独的配置文件中，如：lindorm_config_chatbot# 这里的链接地址与lindorm-cli的链接地址比，需要去掉http之前的字符串# LINDORM_URL = "http://ld-XXXX-proxy-lindorm-pub.lindorm.rds.aliyuncs.com:30060"# LINDORM_USER_NAME = 'XXXX'# LINDORM_USER_PW = 'XXXX'# 连接到lindorm数据库defconnect(kw_args): try: returnphoenixdb.connect(LINDORM_URL, autocommit=True, **kw_args) exceptAttributeError: print("Failed to connect") # 连接Lindorm数据库，调用AI数据服务平台SQL查询接口，获取Lindorm知识库问答结果# 用户名通过lindorm_user字段传递，密码使用lindorm_password字段设置，database字段设置连接初始化默认数据库。connect_kw_args= {'lindorm_user': LINDORM_USER_NAME, 'lindorm_password': LINDORM_USER_PW, 'database': 'default'} connection=connect(connect_kw_args) st.set_page_config( page_title="LLM智能问答", page_icon=":robot:", layout='wide') st.title("LLM智能问答-小智") # 如果存在多个智能问答模型，可以做成复选框方式LLM_MODEL=st.sidebar.selectbox( '请选择模型', ('ChatGLM2-6B', 'Lindorm-QA') ) if"history"notinst.session_state: st.session_state.history= [] # 历史对话信息展示for (query, response) inst.session_state.history: withst.chat_message(name="user", avatar="user"): st.markdown(query) withst.chat_message(name="assistant", avatar="assistant"): st.markdown(response) # 尝试使用text_area来接收用户的问题输入，发现对话界面很混乱。历史记录在界面上方，输入框在中间，最新的问答在下方。所以放弃了该方式，代码如下面3行#prompt = st.text_area(label="用户问题输入", height=100, placeholder="请在这儿输入您的问题")#button = st.button("发送", key="aigc")#if button:# 用户输入问题ifprompt :=st.chat_input("请在这儿输入您的问题"): # 在界面上展示用户输入的问题st.chat_message("user").markdown(prompt) response=""withconnection.cursor() asstatement: # 查询Lindorm AI实例，返回知识库+LLM答案sql_select="select ai_infer('%s', '%s')"% (LLM_MODEL, prompt) statement.execute(sql_select) sql_response=statement.fetchall() response=sql_response[0][0] # 查询返回是list格式，需要取list[0][0],转换为str格式# 在界面上展示LLM给出的答案st.chat_message("assistant").markdown(response) # 将本轮问答信息追加记录到history中，用于实现多轮对话展示st.session_state.history.append((prompt, response)) # print("session_state.history:", st.session_state.history)connection.close()
代码详解：
Lindorm提供了类JDBC的连接和使用方式，使用起来非常简便。对于知识库和LLM的调用，直接使用SQL查询方式即可返回LLM的问答结果，将返回的内容进行格式化整理即可：
with connection.cursor() as statement:
# 查询Lindorm AI实例，返回知识库+LLM答案
sql_select = "select ai_infer('%s', '%s')" % (LLM_MODEL, prompt)
statement.execute(sql_select)
sql_response = statement.fetchall()
response = sql_response[0][0] # 查询返回是list格式，需要取list[0][0],转换为str格式
3、 添加安全组规则：在ECS实例安全组的入方向添加安全组规则，将需要访问服务网页的IP地址或地址段添加到8501端口的源（该端口是Streamlit默认服务端口，也可以自定义）。
4、运行脚本：streamlit run chatBot_web_demo.py &。如果要指定服务端口，则需要在安全组放行该端口，运行时带上端口参数，如：streamlit run chatBot_web_demo.py --server.port 6006 &。程序运行后会打印网页URL地址。
四、效果展示
在浏览器中输入网页URL地址，即可与LLM智能问答机器人进行问答。该地址是ECS的公网IP，具备公网访问能力，且可以通过配置安全组8501端口的访问源IP来实现访问源的控制，使用起来非常便捷。
五、必薅羊毛
对于喜欢研究学习LLM、AIGC、知识库、智能问答、文生图等方面的爱好者，或想借助AIGC能力用于工作、学习中的人，发现阿里云最近有系列AIGC相关的优惠活动推出。
在此推荐一个智能问答、文生图相关的AIGC优惠活动：秒级开通，仅60元/月，即刻畅享私域知识库+LLM智能问答系统。该系统可以直接玩开源LLM、还可以上传自己的私域文档构建自己的知识库，文生图应用貌似也要上线了。
新用户首次开通还可获得100元猫超卡奖励，目前该奖励活动还在有效期内，手慢无。
活动链接：https://www.aliyun.com/activity/ambassador/Lindorm
开通后，即刻就能使用，界面截图：
