Tair+大模型
OpenAI / ChatGPT之前出过一个故障（因为redis-py的问题，导致用户可以看到其他用户的聊天信息），使得大家知道了ChatGPT也深度使用了Redis。Tair是阿里云的企业版内存数据库，100%兼容Redis生态，可平替Redis，并且提供了灵活、易用的向量检索能力，支持embedding向量的实时读写，并且具备高性能、低门槛等优势。通过向量检索，可以从用户的会话历史和私有知识库中，找到跟问题相关度最高的内容，构建出更加精确的提示词，再结合LLM的已有知识、推断、概括等能力，使模型能够产出更准确的回答。Tair已经整合进了langchain、llama_index等热门开源项目，开箱即用，助力用户构建具备私域知识库的Chatbot。
以上两种使用方式可以组合使用，并不相互冲突。
服务介绍
集成计算巢，通过对Langchain+ChatGLM + Tair 快速部署，可以一键拉起定制化Chatbot服务，主要实现了“企业私域数据”的理解问答以及带Session会话两个功能。
依赖资源：ECS + 云原生内存数据库Tair
一键拉起Chatbot服务
1、访问 创建服务实例页面，https://computenest.console.aliyun.com/user/cn-hangzhou/serviceInstanceCreate?ServiceId=service-e0d7fd4e157d49119f47
有任何疑问可以加入文章下方提供的钉钉支持群。
2、创建服务实例
- 资源组和地域：
- 地域：目前支持北京、张家口、杭州、上海、深圳
- 付费类型配置：
- 付费类型：分为按量付费、包年包月，设定后ECS与Tair实例的付费类型相同
- ECS实例配置
- 实例类型：对应ECS规格
- 实例密码：登录ECS实例的密码
- 模型配置：
- 软件登录名：使用Chatbot服务的登录名
- 软件登录密码：使用Chatbot服务的的密码
- PluginGitUrl：请将 https://huggingface.co/THUDM/chatglm-6b 拷贝至输入框内
- Tair:
- 实例密码：访问Tair实例的密码
- 实例规格：请参考https://help.aliyun.com/document_detail/443844.html
3、确认订单及创建
点击下方的【立即创建】
实例管理
1、点击【服务实例管理】可以查看正在创建的实例，整个创建周期大概在30min左右，主要耗时在下载ChatGLM-6B模型。
2、点击上方的红色框进入实例的【资源】界面
服务首先会自动创建VPC、VSwitch、安全组基本资源，然后会创建指定规格的Tair实例，最后会创建ECS实例，创建ECS完成后，会下载您指定ChatGLM-6B模型。
点击图中的相关链接可以跳转到不同的资源详情界面查询详情信息。
使用Chatbot服务
待实例创建完成后，便可以访问该服务了。
1、获取服务登录域名，
如下图所示，Endpoint即是外网的登录域名。
2、登录专属Chatbot服务。
需要输入创建时模型配置模块的软件登录名及登录密码
3、服务主页面
4、知识库问答
将用户"私域数据"存储在Tair中，利用Tair向量检索能力，检索出私域数据中和用户问题相关性最强的几条数据，然后prompt提交给大模型。
注：目前仅支持txt文本格式文件
5、带Session的对话
将用户的历史问题编码成向量存储Tair中，可以让大模型拥有短暂的记忆。本服务中实现的Demo所有Session都存储在一个索引中，且5分钟后没有任何访问会自动删除索引数据，如果有定制化需求，可以为每个用户分配不同的索引，该功能目前会持续探索。Tair本身是Schema-Free，使用便捷、灵活，无需进行复杂的配置，相信我们可以一起探索更多的使用场景，有任何需求或疑问请加入下放提供的钉钉支持群。
常见问题
1、快速登录Tair实例，运行向量相关命令？
向量相关命令请参考：https://help.aliyun.com/document_detail/453885.html
可以使用redis-cli登录实例，在部署大模型的ECS机器上已经安装好。
在上文的【实例管理】模块中有【资源】，点击ECS的资源ID，可以进入ECS实例详情页面。
在首次登录ECS机器是需要设置白名单安全组，根据图中提示，复制图中IP。
在【安全组】页面，点击【安全组ID】进入页面后点击【快速添加】，端口范围设置SSH(22)，授权对象拷贝刚才复制的IP，再次重新登录实例即可
执行如下命令便可以登录Tair实例
2、Session索引过期删除机制？
使用了Tair中的expire/ttl机制，在创建完向量索引后，直接对向量索引设置 expire，每次有查询后，重新设置expire。
如果对Tair缓存大模型Session机制感兴趣，可以加入支持群，我们一起探索更多的使用场景。
支持群
- 您在使用时有任何问题可以搜钉钉群：31520029139
