2、从零开始构建基于ChatGPT的嵌入式(Embedding)本地医疗客服问答机器人模型(看完就会,看到最后有惊喜)

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
简介: 本文中我使用的是后端语言golang,来调用的所有外部接口,但它们均是restful api,所以如果你使用的是其他语言,那么是完全可以替换的,包括nodejs或者直接使用前端请求都是可以实现我的功能的。后面有机会会使用vue3来添加一个页面,现在主要通过postman或者apifox来调试接口,主要为了验证逻辑想法。

image.png


1、前言





代码全部开源,GitHub地址为: github.com/aehyok/go-o…


前端完全也能搭建, 前端完全也能搭建, 前端完全也能搭建, 本文中我使用的是后端语言golang,来调用的所有外部接口,但它们均是restful api,所以如果你使用的是其他语言,那么是完全可以替换的,包括nodejs或者直接使用前端请求都是可以实现我的功能的。后面有机会会使用vue3来添加一个页面,现在主要通过postman或者apifox来调试接口,主要为了验证逻辑想法。


接下来首先来看看embeddings到底是什么吧


1.1、 官网的介绍是这样的


image.png


可以被应用于以下几种情况


-   搜索(根据查询字符串的相关性对结果进行排名)
-   聚类(根据相似性对文本字符串进行分组)
-   推荐(具有相关文本字符串的项目被推荐)
-   异常检测(识别关联度小的异常值)
-   多样性测量(对相似性分布进行分析)
-   分类(文本串按其最相似的标签进行分类)


本文将主要学习第一种情况:搜索,根据相关性进行排名。也可以理解成搜索完一定会有结果,但是相关性有可能很低,有可能需要用户加以甄别。出来的信息可能不是用户需要的答案。


1.2、 而chatgpt是这样跟我说的


image.png


1.3、最后我的一句话理解便是:它可以将文本转换为固定长度的连续向量。


比如我下面使用的 text-embedding-ada-002模型输出的向量维度便是1536,这个在官网是有描述的,大家可以认真看看), 同时它是可以将任意的文本转换为向量。


那么接下来我会根据我的思路把我整个的搭建流程和调试思路都展现出来,方便自己后面进行复习查阅,也方便可能需要的你。


2、架构流程图介绍


image.png


从上图可以比较清晰明了的知道大致要干什么了


  • 准备测试数据:测试数据可能很多一个很大的数组,慢慢通过调用ChatGPT接口进行转换数据,然后将转换后的向量数据存储到qdrant云数据库中,相当于本地数据了。


  • 根据查询返回结果:首先还是将要查询的字符串调用ChatGPT接口转换为向量数据,然后再将向量数据与向量数据库中的进行匹配相似度,匹配结束可以再通过GPT-3.5或者GPT-4的模型接口进行进一步的优化数据处理。


接下来就根据如下步骤一步步进行搭建


  • Qdrant云数据库的搭建
  • 准备测试数据并写入云数据库
  • 进行查询并返回结果


3、Qdrant云数据库的搭建


3.1、初识Qdrant


image.png


说白一点就是为了存储我自己的测试数据,不过它的重点是存储向量数据。


来到github上看了一下:github.com/qdrant/qdra… , 有点牛逼 而且是Rust写的。那就来试试玩玩呗。


3.2、创建云数据库


通过github可以直接到云官网: Vector Search Database | Qdrant Cloud


image.png


可以看到能免费创建一个免费套餐,拿来做个测试还是非常方便的。


针对图示的配置,可以永久免费使用,所以基本的测试是没问题了,可以好好的愉快玩耍。


找到左侧菜单Clusters然后右侧点击 Create,输入一个cluster名称(是不是可以翻译为集群名称??)。创建后等待一会儿在进行初始化。


image.png


点击上面的api-key 或者左侧 Access 都可以创建访问云数据库的链接和api-key。


image.png


记得复制好哟,这个跟ChatGPT生成的API-Key一样,只能看到一次,所以要保存好。


3.3、通过curl 接口访问


Swagger UI (qdrant.tech) 这个就是官方提供给我们的Swagger。可视化 RESTful Web Api


image.png


我是通过这个主要看接口以及接口参数,主要还是通过postman或者apifox等工具来测试接口,swagger这里好像没有配置api-key的地方?


image.png


ok可以看到我之前创建的 collect 还在,其实这个时候本来是要创建一个collect集合(在关系型数据库中可以叫做table表)。


4、写入测试数据


4.1、准备测试数据


image.png

image.png


注意:以上数据来源于ChatGPT,仅供参考和测试使用


然而我想要的数据结构是json数组的,那么继续使用ChatGPT进行装逼


image.png


可以发现准备这一组测试数据,有一点不费吹灰之力的感觉,真是太爽了。


这里就是准备的json数组,总共13条简单的记录而已,主要是为了看一下效果


[    {        "title": "感冒",        "text": "感冒是一种由病毒引起的呼吸道感染。典型症状包括喉咙痛、流鼻涕、咳嗽、打喷嚏、头痛和发热。"    },    {        "title": "流感",        "text": "流感(Influenza)是一种由流感病毒引起的呼吸道感染。症状与感冒相似,但通常更严重,包括高热、寒战、喉咙痛、咳嗽、鼻塞、肌肉痛和乏力。"    },    {        "title": "肠胃炎",        "text": "肠胃炎是胃和肠道的炎症,通常由病毒、细菌或寄生虫感染引起。症状包括腹泻、呕吐、腹痛、恶心、发热和脱水。"    },    {        "title": "常见皮肤病",        "text": "如湿疹、皮炎、脓疱疮、疱疹等。症状可能包括红肿、瘙痒、干燥、脱皮和疼痛。"    },    {        "title": "头痛",        "text": "头痛有许多原因,如压力、紧张、缺水、缺乏睡眠等。头痛可能表现为钝痛、搏动痛、集中在头的某个部位等。"    },    {        "title": "过敏",        "text": "过敏是免疫系统对外来物质(过敏原)的异常反应。症状包括打喷嚏、流鼻涕、鼻塞、喉咙痛、眼睛痒、红肿和喘息。"    },    {        "title": "高血压",        "text": "高血压是血压持续升高的病状。许多高血压患者没有明显症状,但可能会引发头痛、眩晕、心悸和呼吸困难。"    },    {        "title": "糖尿病",        "text": "糖尿病是一种由于胰岛素分泌不足或细胞对胰岛素反应不良导致的血糖水平过高的疾病。症状包括频繁的小便、口渴、饥饿、疲劳、视力模糊、感染和伤口愈合缓慢。"    },    {        "title": "哮喘",        "text": "哮喘是一种慢性呼吸道炎症疾病,表现为气道对刺激物的过度反应。症状包括喘息、呼吸困难、胸闷和咳嗽。"    },    {        "title": "背痛",        "text": "背痛可能是由于肌肉拉伤、韧带损伤、关节炎、椎间盘问题等原因引起的。症状包括持续或间歇性的背部疼痛、僵硬和肌肉痉挛。"    },    {        "title": "关节炎",        "text": "关节炎是关节炎症的一个通用术语,可能是由于多种原因引起的,如磨损性关节炎、类风湿性关节炎等。症状包括关节疼痛、肿胀、僵硬和活动受限。"    },    {        "title": "痔疮",        "text": "痔疮是肛门或直肠血管的炎症或肿胀。症状包括肛门疼痛、瘙痒、肿胀、出血和可能的肛门突出物。"    },    {        "title": "眼疾",        "text": "如干眼症、结膜炎和近视等。症状可能包括眼睛干燥、瘙痒、红肿、分泌物和视力模糊。"    }]


4.2、go代码将测试数据转换为向量数据


这里暂时就要用到ChatGPT的接口了


image.png


看官网接口请求主要就两个参数,一个就是model 选择模型,我这里使用的是text-embedding-ada-002,另外一个input 就是我们要转换的数据字符串了,好了直接上代码看看


func GetEmbeddings(ctx *gin.Context) dto.ResponseResult {
    // 配置日志
    data, _ := ctx.GetRawData()
    var parameters map[string]interface{}
    // 包装成json 数据
    _ = json.Unmarshal(data, &parameters)
    input := parameters["input"].(string)
    // n := m["n"].(int)
    // size := m["size"].(string)
    var response = GetEmbeddingApi(input)
    var obj map[string]interface{}
    if err := json.Unmarshal(response, &obj); err != nil {
            panic(err)
    }
    fmt.Println("Body:", obj)
    return dto.SetResponseData(obj)
}
func GetEmbeddingApi(input string) []byte {
    // 定义请求参数
    embeddingModel := EmbeddingModel{
            Model: "text-embedding-ada-002",
            Input: input,
    }
    // 定义请求地址
    url := utils.OpenAIUrl + `/v1/embeddings`
    // 将请求参数转换为json格式
    bytes, err := json.Marshal(embeddingModel)
    if err != nil {
            fmt.Println("Error:", err)
            // return dto.SetResponseFailure("调用openai发生错误")
    }
    // 定义请求
    req := fasthttp.AcquireRequest()
    defer fasthttp.ReleaseRequest(req)
    req.SetRequestURI(url)
    req.Header.SetMethod("POST")
    req.Header.Set("Content-Type", "application/json")
    req.Header.Set("Authorization", "Bearer "+utils.OpenAIAuthToken)
    req.SetBody(bytes)
    // 定义响应
    resp := fasthttp.AcquireResponse()
    defer fasthttp.ReleaseResponse(resp)
    if err := fasthttp.Do(req, resp); err != nil {
            fmt.Println("Error:", err)
            // return dto.SetResponseFailure("调用openai发生错误")
    }
    fmt.Println("Status:", resp.StatusCode())
    return resp.Body()
}


我在代码里添加了详细的注释,对照代码看一下应该还是比较好理解的。


这里其实就是通过go语言调用restful 接https://api.openai.com/v1/embeddings请求,因为下面查询的时候还需要将查询字符串转换为向量数据,所以我单独进行了封装可以在两个地方调用


4.3、循环上述方法将预准备的json测试数据全部转换为向量数据


// 解析请求参数
var jsonData []map[string]string
if err := c.Bind(&jsonData); err != nil {
        return dto.SetResponseFailure("error")
}
if len(jsonData) == 0 {
        return dto.SetResponseFailure("json is empty")
}
// 数据向量化
points := make([]Point, 0)
for _, v := range jsonData {
        // 获取文本内容
        input := v["text"]
        // 获取文本内容的向量
        response := GetEmbeddingApi(input)
        fmt.Println(response, "response----response")
        var embeddingResponse EmbeddingResponse
        json.Unmarshal(response, &embeddingResponse)
        points = append(points, Point{
                ID:      uuid.New().String(),
                Payload: v,
                Vector:  embeddingResponse.Data[0].Embedding,
        })
}


4.4、将上面准备好的向量数据数组全部写入向量数据库


现在向量数据通过ChatGPT接口转换好了,现在就需要将向量数据写入到Qdrant云数据库中。 下面主要是调用了CreatePoints方法,同样可以看看


pr := PointRequest{
        Points: points,
}
//存储
err := CreatePoints(utils.QdrantCollectName, pr)
if err != nil {
        // common.Logger.Error(err.Error())
        // c.JSON(http.StatusOK, common.Error(err.Error()))
        // return
        return dto.SetResponseFailure("数据上传发生错误")
}
// c.JSON(http.StatusOK, common.Success(nil))
return dto.SetResponseSuccess("数据上传成功")


其实相对来说我前面也写过的,就是来调用Restful api写入到云数据库。


func CreatePoints(collectionName string, pointRequest PointRequest) (err error) {
    response := &CommonResponse{}
    var reqBytes []byte
    reqBytes, err = json.Marshal(pointRequest)
    if err != nil {
            return
    }
    body, err := middleware.Send(http.MethodPut, collectionApi+"/"+collectionName+pointsApi+"?wait=true", reqBytes)
    if err != nil {
            return
    }
    err = json.Unmarshal(body, &response)
    if err != nil {
            return
    }
    if response.Result == nil {
            return errors.New(response.Status.(map[string]interface{})["error"].(string))
    }
    return
}


这里其实就是通过go语言调用restful 接口 https://ui.qdrant.tech/#/points/upsert_points(点击查看具体的接口详情) 请求


现在测试数据有了,向量数据库也有了,上一小节将测试数据转换为了向量数据,这里上面刚刚又写好了向量数据写入云数据库的接口。那么写入数据的基本完成了。


通过运行接口来调试一下吧


image.png


5、开始查询数据


准备好查询数据,先通过##3.2将字符串转换为向量数据(也就是为什么进行封装上面的方法的原因),然后通过向量数据去查询云数据库,去查询相似度了


5.1、将查询字符串转换为向量数据


那么这里就先准备一下查询云数据库的接口


var message ChatMeMessage
if err := c.Bind(&message); err != nil {
        // c.JSON(http.StatusBadRequest, gin.H{"error": err.Error()})
        // return
}
response := GetEmbeddingApi(message.Text)
json.Unmarshal(response, &response)
fmt.Println(response, "response----response")
var embeddingResponse EmbeddingResponse
json.Unmarshal(response, &embeddingResponse)


这里其实就是通过go语言调用restful 接口https://api.openai.com/v1/embeddings请求


这里注意一下,我理解的正常的话只要云数据库有数据,就会返回数据的,无非相似度低一些而已。


5.2、根据向量来查询匹配相关性高的前三条记录


准备查询参数数据,然后到Qdrant云数据库进行查询


params := make(map[string]interface{})
params["exact"] = false
params["hnsw_ef"] = 128
sr := PointSearchRequest{
        Params:      params,
        Vector:      embeddingResponse.Data[0].Embedding,
        Limit:       3,
        WithPayload: true,
}
//查询相似的
res, err := SearchPoints(utils.QdrantCollectName, sr)
if err != nil {
        // common.Logger.Error(err.Error())
        // c.JSON(http.StatusOK, common.Error(err.Error()))
        // return
}


这里其实就是通过go语言调用restful接口https://ui.qdrant.tech/#/points/search_points(点击查看具体的接口详情) 请求


5.3、通过chatGPT对查询的相关性数据进行优化


其实上面查询出来数据列出来就完事了,但是我上面也说了相关性的问题,那么这里我们可以通过ChatGPT对于查询返回的数据加工一下。


//组装本地数据
localData := ""
for i, v := range res {
        re := v.Payload.(map[string]interface{})
        localData += "\n"
        localData += strconv.Itoa(i + 1)
        localData += "."
        localData += re["title"].(string)
        localData += ":"
        localData += re["text"].(string)
}
messages := make([]ChatCompletionMessage, 0)
q := "使用以下段落来回答问题,如果段落内容与\"" + message.Text + "\"不相关就通过查询返回信息。"
q += localData
system := ChatCompletionMessage{
        Role:    "system",
        Content: "你是一个医院问诊客服机器人",
}
user := ChatCompletionMessage{
        Role:    "user",
        Content: q,
}
messages = append(messages, system)
messages = append(messages, user)
var chatResponse = GetChatCompletionsApi(messages)
var obj map[string]interface{}
if err := json.Unmarshal(chatResponse, &obj); err != nil {
        panic(err)
}
fmt.Println("Body:", obj)
// 最后我通过一个方法进行统一返回参数处理
return dto.SetResponseData(obj)


5.4、调试效果


image.png


这是我通过GPT-3.5模型的接口调试其返回结果并不是非常理想。但是如果通过GPT-4.0就完全可以达到我想要的结果了


image.png


当然了我这里演示的数据较少,仅用作演示效果,但是这种简单的问答模式加上最后GPT来润色优化有点好用了。而且还可以进行优化,比如问的问题是本地没有的,通过GPT回答后,可以进行操作,将当前问答回写到本地云数据库,这样下次再有类似的问答,就可以直接使用本地的数据了,这里仅仅提供一点点的我思考的逻辑,不一定是对的。


6、总结


这个对于我来说,理解起来还是蛮费劲的,主要是一开始没有抓到重点,其实现在把思路捋顺了,从应用的层面来看也就那么回事,当然了目前我的理解还是比较浅显的,有待机会进一步深入摸索,大数据训练模型。是不是可以考虑训练一个自己的AI虚拟人。当然还有另外一个Fine-Tunes 跟Embedding有没有关系,我得继续研究研究了,感觉上还是非常好玩的。


再次声明本文所有代码都已上传github github.com/aehyok/go-o…


本文主要参考:github.com/coderabbit2…, 也感谢大佬的及时回复解答我的疑惑。


我的个人博客:vue.tuokecat.com/blog


我的个人github:github.com/aehyok


我的前端项目:pnpm + monorepo + qiankun + vue3 + vite3 + 工具库、组件库 + 工程化 + 自动化


不断完善中,整体框架都有了


在线预览:vue.tuokecat.com


github源码:github.com/aehyok/vue-…


7、惊喜多多


当然有可能很多巨佬比我知道的还早


惊喜便是: Cursor | Build Fast一个目前免费使用GPT-4模型的生成代码,学习代码,修改代码,发现bug,处理bug的工具,可直接打开项目文件进行实操


惊喜便是:www.steamship.com如果你想调用GPT-4的接口,但苦于申请还在等待列表,那么你可以尝试一下这个,注意目前也是免费哟


惊喜便是:如果你想调用官方openai.com的接口,那么可以考虑一下这个第三方平台 api2d.com/r/186083,目前…

目录
相关文章
|
1月前
|
人工智能 数据可视化 API
10 分钟构建 AI 客服并应用到网站、钉钉或微信中测试评
10 分钟构建 AI 客服并应用到网站、钉钉或微信中测试评
72 2
|
2月前
|
人工智能
10 分钟构建 AI 客服并应用到网站、钉钉或微信中简说
10 分钟构建 AI 客服并应用到网站、钉钉或微信
|
27天前
|
人工智能 运维 负载均衡
10 分钟构建 AI 客服并应用到网站、钉钉或微信中
《10分钟构建AI客服并应用到网站、钉钉或微信中》的解决方案通过详尽的文档和示例代码,使具有一定编程基础的用户能够快速上手,顺利完成AI客服集成。方案涵盖高可用性、负载均衡及定制化选项,满足生产环境需求。然而,若文档不清晰或存在信息缺失,则可能导致部署障碍。实际部署中可能遇到网络、权限等问题,需逐一排查。云产品的功能、性能及操作配置便捷性直接影响解决方案效果,详尽的产品手册有助于快速解决问题。总体而言,该方案在各方面表现出色,值得推荐。
|
20天前
|
人工智能
解决方案评测|10分钟构建AI客服并应用到聊天系统中获奖名单公布
10分钟构建AI客服并应用到聊天系统中获奖名单公布!!!
|
1月前
|
人工智能 自然语言处理 数据管理
Step By Step 体验10 分钟在公众号和企微中构建自己的AI客服
为提升用户体验与竞争力,企业纷纷构建AI助手实现7x24小时客户服务。在阿里云平台上,仅需十分钟即可完成AI助手的搭建并发布至微信公众号或企业微信。流程包括创建大模型应用、引入AI助手至微信平台、导入私有知识以增强功能,以及将助手集成至企业微信中。此方案操作简便,文档详尽,可快速打造专属AI助手。但现有方案在错误提示、知识库构建指导及部署流程简化方面仍有待改进。
|
2月前
|
人工智能 自然语言处理 搜索推荐
10分钟构建AI客服:阿里云技术解决方案评测
在数字化转型的浪潮中,企业对客户服务的即时性和个性化需求愈发迫切。阿里云推出的“10分钟构建AI客服并应用到网站、钉钉、微信中”的技术解决方案,为企业提供了一个快速、低成本的AI客服部署方案。本文将从部署流程、用户体验、成本效益等方面对这一方案进行深入评测。
218 3
|
2月前
|
前端开发 网络协议
Netty实战巅峰:从零构建高性能IM即时通讯系统,解锁并发通信新境界
【8月更文挑战第3天】Netty是一款高性能、异步事件驱动的网络框架,适用于开发高并发网络应用,如即时通讯(IM)系统。本文将指导你利用Netty从零构建高性能IM程序,介绍Netty基础及服务器/客户端设计。服务器端使用`ServerBootstrap`启动,客户端通过`Bootstrap`连接服务器。示例展示了简单的服务器启动过程。通过深入学习,可进一步实现用户认证等功能,打造出更完善的IM系统。
85 1
|
3月前
|
机器学习/深度学习 自然语言处理 搜索推荐
云上智能客服机器人:重塑客户服务体验的新篇章
未来,云上智能客服机器人将继续深化深度学习技术的应用,通过跨领域的知识融合和模型训练提升其在复杂场景下的理解和决策能力。同时,机器人将更加注重多模态交互技术的发展以提供更加自然流畅的交互体验。 4.2 情感智能与人性化服务 随着情感智能技术的不断发展,云上智能客服机器人将更加注重情感交互和人性化服务。机器人将能够识别用户的情感状态和需求偏好提供更加贴心和温暖的服务体验。
189 7
|
3月前
|
机器学习/深度学习 自然语言处理 搜索推荐
云端智服:智能客服机器人引领服务新纪元
随着人工智能技术的不断进步,未来的智能客服机器人将会更加聪明、更加人性化,为客户提供更加优质的服务体验。企业应该抓住这一机遇,积极采用智能客服解决方案,以保持竞争优势并在激烈的市场竞争中脱颖而出。