通过Langchain实现大模型完成测试用例生成的代码(可集成到各种测试平台)

本文涉及的产品
NLP自然语言处理_高级版,每接口累计50万次
视觉智能开放平台,分割抠图1万点
NLP自然语言处理_基础版,每接口每天50万次
简介: 通过Langchain实现大模型完成测试用例生成的代码(可集成到各种测试平台)

代码中使用的是讯飞spark3.0版本,其中版本在的控制已经封装到了langchain对应的讯飞的iflytek的类中,可以在调用的时候显示控制,默认是spark2.0版本

讯飞星火的Langchain封装

因为在Langchain中没有讯飞spark的类,因此基于langchain的问题做了如下的封装(如下代码可以直接用)

#!/usr/bin/env python
# -*- coding: utf-8 -*-
'''
@File    :   iflytek.py
@Time    :   2023/10/27 17:28:58
@Author  :   CrissChan 
@Version :   1.0
@Site    :   https://blog.csdn.net/crisschan
@Desc    :   通过Langchain的customerLLM的方式,把讯飞的spark介入Langchain,按照Langchain的https://python.langchain.com/docs/modules/model_io/models/llms/custom_llm进行改写
'''
import logging
from typing import Any, List, Optional,Mapping

from langchain.callbacks.manager import CallbackManagerForLLMRun
from langchain.llms.base import LLM

from spark_middlerware import SparkMiddleware
class SparkLLM(LLM):
    #domain 代表需要调取spark的版本其中有三种值可选 "general"是v1.5版本,"generalv2"表示v2.0版本, "generalv3"表示v3.0版本,当前讯飞的星火就有三个版本
    domain :str = "generalv2"
    # temperature 代表调取spark模型的结果的随机程度,这个数值越小表示随机性越差,也就是输出的越单一,大部分取值在0.1到1.0之间。
    temperature:float=0.5
    @property
    def _llm_type(self) -> str:
        return "Spark"
    @property
    def _identifying_params(self) -> Mapping[str, Any]:
        """Get the identifying parameters."""
        # _model_kwargs = self.model_kwargs or {}
        return {
            **{"domain": self.domain},
            **{"temperature": self.temperature},
        }


    def _call(
        self,
        prompt: str,
        stop: Optional[List[str]] = None,
        run_manager: Optional[CallbackManagerForLLMRun] = None,
        **kwargs: Any,
    ) -> str:
        if stop is not None:
            raise ValueError("stop kwargs are not permitted.")
        # return prompt[: self.n]
        smw = SparkMiddleware(domain=self.domain,temperature=self.temperature,role='user',content=prompt)
        try:
            logging.debug("spark response :"+smw.response())
            return smw.response()
        except Exception as e:
            logging.debug(f"spark middlerware error :{e}")
            return "error"

其中实例化sparkLLM的时候有两个参数,一个是domain可以选择 "general"是v1.5版本,"generalv2"表示v2.0版本, "generalv3"表示v3.0版本。目前测试中发现3.0确实是相对最好用,但是免费额度也不多,大家自己按需选择啊。
temperature就是大模型中相对使用比较多的超参,这个数值越小表示随机性越差,也就是输出的越单一,讯飞星火要求temperature取值在0.1到1.0之间。

SparkLLM调用的中间层

spark_middlerware是调取讯飞提供的spark的访问类的封装的sparkLLM的中间层,这里加入了一下spark本身自己的约束,包含了秘钥的读取(从.env中读取,使用了dotenv类完成),三个版本spark的方位地址,以及一些模型的约束,类似token长度等。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
'''
@File    :   spark_middlerware.py
@Time    :   2023/11/01 18:44:52
@Author  :   CrissChan 
@Version :   1.0
@Site    :   https://blog.csdn.net/crisschan
@Desc    :   链接sparkapi的中间件,中间控制版本,token上限等
'''



import SparkApi
import os
from dotenv import load_dotenv, find_dotenv

#以下密钥信息从控制台获取
class SparkMiddleware(object):

    _=load_dotenv(find_dotenv())
    appid = os.getenv("SPARK_APP_ID")
    api_secret=os.getenv("SPARK_APP_SECRET")
    api_key=os.getenv("SPARK_APP_KEY")


    domain_url = {"general":"ws://spark-api.xf-yun.com/v1.1/chat",
                  "generalv2":"ws://spark-api.xf-yun.com/v2.1/chat",
                  "generalv3":"ws://spark-api.xf-yun.com/v3.1/chat",
                  }

    text =[]

    '''
    @des     :spark middlerware的构造函数,创建一个和封装sparkapi调用的参数的中间层   
    @params  : 
              domain 代表需要调取spark的版本其中有三种值可选 "general"是v1.5版本,"generalv2"表示v2.0版本, "generalv3"表示v3.0版本,当前讯飞的星火就有三个版本
              role 代表角色,星火的有两个角色“user”表示是用户的问题,“assistant”表示AI的回复
    @return  :None

    '''
    def __init__(self,domain,temperature,role,content) -> None:
        self.text.clear
        self.__getText(role,content)
        SparkApi.main(self.appid,self.api_key,self.api_secret,self.domain_url[domain],domain,temperature,self.text)

        pass
    '''
    @des  :拼装成访问参数中的text需要的格式   
    @params  : role 代表角色,星火的有两个角色user表示是用户的问题,assistant表示AI的回复
               content是用户输入的问题
    @return  :None

    '''

    def __getText(self,role,content) -> None:

        jsoncon = {}
        jsoncon["role"] = role
        jsoncon["content"] = content
        self.text.append(jsoncon)
        # return self.text
        self.__checklen()


    '''
    @des  :获取这次传递给llm的prompt的长度

    @params  :None

    @return  :None

    '''
    def __getlength(self)-> None:
        length = 0
        for content in self.text:
            temp = content["content"]
            leng = len(temp)
            length += leng
        return length
    '''
    @des  :参数长度检查,如果全部的prompt的长度超过了8000,那么就删除这次拼装好的prompt

    @params  :None

    @return  :None

    '''


    def __checklen(self)-> None:
        while (self.__getlength() > 8000):
            del self.text[0]
        # return self.text
    '''
    @des  :获取LLM的反馈

    @params  :None

    @return  :string

    '''

    def response(self)-> str:
        return SparkApi.answer

利用Langchain的一些能力实现测试用例设计方法

实现了一个测试用例设计方法的枚举类型,目前包含了等价类测试用例设计方法和因果图测试用例设计方法(明显的使用spark3.0效果最优)

# 定义测试用例设计方法的枚举类型
class DesignType(Enum):
    EP = "等价类测试用例设计" # 等价类测试用例设计方法
    CE = "因果图测试用例设计" # 因果图测试用例设计方法

设计了测试用例的运行方式,通过输入被测系统的业务逻辑,生成测试用例。

#测试用例设计方法
class TestCase():
    def __init__(self):
        self.llm = SparkLLM(temperature=0.1,domain="generalv3")
        self.memory = ConversationBufferMemory()
        self.conversation = ConversationChain(llm=self.llm, memory=self.memory,verbose = True)
    def run_ep(self,input:str="")-> None:
        '''
        @des  :等价类测试用例设计方法设计测试用例
        @params  :input是被测试的业务逻辑        
        '''
        delimiter :str = "###"
        ep_message :str =f"""{delimiter}{DesignType.EP.value}是把输入的参数域划分成若等价类,这些等价类包含了有效等价类和无效等价类,
                有效等价类是指对于程序的规格说明来说是合理的,有意义的输入数据构成的集合,利用有效等价类可检验程序是否实现了规格说明中所规定的功能。
                无效等价类是指对于程序的规格说明来说是不合理的,无意义的输入数据构成的集合,利用无效等价类可检验程序是否有效的避免了规格说明中所规定的功能以外的内容。
                然后从每个等价类中选取少数代表性数据作为测试用例,每一类的代表性数据在测试中的作用等价于这一类中的其他值。
                特别注意,一条测试用例可以覆盖多个有效等价类,一条测试用例只能覆盖一个无效等价类{delimiter}
                使用等价类测试用例设计方法需要经过如下几步:{delimiter}
                step1:{delimiter}对输入的参数进行等价类划分,在划分等价类的时候,应该遵从如下的一些原则:{delimiter}
                在输入条件规定了输入值的集合或者规定了必须满足的条件的情况下,可确立一个有效等价类和一个无效等价类。
                在输入条件是一个布尔量的情况下,可确定一个有效等价类和一个无效等价类。布尔量是一个二值枚举类型, 一个布尔量具有两种状态: true 和 false 。
                在规定了输入数据的一组值(假定n个),并且程序要对每一个输入值分别处理的情况下,可确立n个有效等价类和一个无效等价类.例:输入条件说明输入字符为:中文、英文、阿拉伯文三种之一,则分别取这三种这三个值作为三个有效等价类,另外把三种字符之外的任何字符作为无效等价类。
                在规定了输入数据必须遵守的规则的情况下,可确立一个有效等价类(符合规则)和若干个无效等价类(从不同角度违反规则)。
                在确知已划分的等价类中各元素在程序处理中的方式不同的情况下,则应再将该等价类进一步的划分为更小的等价类{delimiter}
                step2:{delimiter}将等价类转化成测试用例,按照[输入条件][有效等价类][无效等价类] 建立等价类表,等价类表可以用markdown的方式给出,列出所有划分出的等价类,为每一个等价类规定一个唯一的编号。
                {delimiter}设计一个测试用例覆盖有效等价类的时候,需要这个测试用例使其尽可能多地覆盖尚未被覆盖地有效等价类,重复这一步。直到所有的有效等价类都被覆盖为止。
                {delimiter}设计一个新的测试用例,使其仅覆盖一个尚未被覆盖的无效等价类,重复这一步.直到所有的无效等价类都被覆盖为止,测试用例用markdown 的的表格形式输出。{delimiter}

                输出按照如下步骤输出:{delimiter}
                step1:{delimiter} <step 1 reasoning >
                step2:{delimiter} <step 2 reasoning >

                测试用例:{delimiter} <response to customer>

                最后一定要输出一个 markdown 的表格形式测试用例,其他都不用了。

                """
        self.memory.save_context({"input": f"{delimiter}是分隔符.你是一个一名资深的测试工程师,对于测试用例设计有着丰富的经验。"}, {"output": f"是的,我非常精通{DesignType.EP.value}。"})
        input_message : str = f"用等价类测试用例设计方法完成{input}业务逻辑的测试用例设计。{delimiter}{ep_message}。"
        self.conversation.predict(input=input_message)
    def run_ce(self,input:str="")-> None:
        '''
        @des  :因果图测试用设计方法设计测试case
        @params  :input是被测试的业务逻辑
        '''
        delimiter :str = "###"
        ce_message :str = f"""
                    {delimiter}因果图测试用例设计方法是从需求中找出因(输入条件)和果(输出或程序状态的改变),
                    通过分析输入条件之间的关系(组合关系、约束关系等)及输入和输出之间的关系绘制出因果图,再转化成判定表,从而设计出测试用例的方法。{delimiter}
                    该方法主要适用于各种输入条件之间存在某种相互制约关系或输出结果依赖于各种输入条件的组合时的情况,
                    在使用因果图测试用例设计方法的时候重点分析出所有输入和输出条件的相互制约关系及组合关系,输
                    出对于输入的依赖关系也就决定了什么样的输入组合产生什么样的输出结果。{delimiter}
                    因果图中条件和结果,也就是输入和输出之间有四种关系分别是恒等、非、或、与。{delimiter}
                    因果图中条件和条件之间有五种关系,也就是输入和输入之间有五种关系分别是互斥、包含、唯一、要求、屏蔽。{delimiter}
                    用因果图测试用例设计方法需要经过如下几步:{delimiter}
                    step1:分析业务逻辑中设计的系统中各个组件、模块,其中各个组件、模块就是因果图的因素,使用因果图来描述系统中各个因素之间的因果关系,因果关系主要是组件、模块之间的关系,画出因果图。{delimiter}
                    step2:根据因果图识别的因果关系,建立判定表,输出判定表。{delimiter}
                    step3:将判定表中的每一个因素转换成原始被测试业务中代表的内容,然后按照一行是一个测试用例的格式输出。测试用例应该涵盖各种输入、条件和场景,以确保系统的全面测试。{delimiter}

                    输出按照如下步骤输出:{delimiter}
                    step1:{delimiter} <step 1 reasoning >
                    step2:{delimiter} <step 2 reasoning >
                    step3:{delimiter} <step 3 reasoning >

                    测试用例:{delimiter} <response to customer>

                    最后一定要输出一个 markdown 的表格形式测试用例,其他都不用了。
                    """ 
        self.memory.save_context({"input": f"{delimiter}是分隔符.你是一个一名资深的测试工程师,对于测试用例设计有着丰富的经验。"}, {"output": f"是的,我非常精通{DesignType.CE.value}。"})
        input_message : str = f"用{DesignType.CE.value}完成{input}业务逻辑的测试用例设计。{delimiter}{ce_message}。"
        self.conversation.predict(input=input_message)

    def run(self,type : DesignType= DesignType.EP,input:str="")->None:
        '''
        @des  :测试用例设计的统一入口
        @params  :  type 测试用例设计方法(是一个枚举值 DesignType)
                    input是被测试的业务逻辑 
        '''

        if type == DesignType.EP:
            self.run_ep(input=input)
        elif type == DesignType.CE:
            self.run_ce(input=input)

调用举例

if __name__ == '__main__':
    testcase = TestCase()
    input:str = f"""被测系统是地铁车票自助购票软件系统需求,系统只接收 5元或10元纸币,一次只能使用一张纸币,车票只有两种面值 5 元或者 10 元。其中:
                    若投入5元纸币,并选择购买5元面值票,完成后出票,提示购票成功。
                    若投入5元纸币,并选择购买10元面值票,提示金额不足,并退回5元纸币。
                    若投入10元纸币,并选择购买5元面值票,完成后出票,提示购票成功,并找零5元。
                    若投入10元纸币,并选择购买10元面值票,完成购买后出票,提示购买成功。
                    若输入纸币后在规定时间内不选择票种类的按钮,退回的纸币,提示错误。
                    若选择购票按钮后不投入纸币,提示错误."""
    testcase.run(type = DesignType.CE,input=input)
相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
目录
相关文章
|
30天前
|
前端开发 机器人 API
前端大模型入门(一):用 js+langchain 构建基于 LLM 的应用
本文介绍了大语言模型(LLM)的HTTP API流式调用机制及其在前端的实现方法。通过流式调用,服务器可以逐步发送生成的文本内容,前端则实时处理并展示这些数据块,从而提升用户体验和实时性。文章详细讲解了如何使用`fetch`发起流式请求、处理响应流数据、逐步更新界面、处理中断和错误,以及优化用户交互。流式调用特别适用于聊天机器人、搜索建议等应用场景,能够显著减少用户的等待时间,增强交互性。
229 2
|
3天前
|
jenkins 测试技术 持续交付
软件测试中的自动化与持续集成:提升效率与质量的关键
在快节奏的软件开发环境中,自动化测试和持续集成已经成为不可或缺的部分。本文将探讨自动化测试和持续集成的重要性,以及它们如何协同工作以提高软件开发的效率和质量。通过分析自动化测试的策略、工具选择以及持续集成的实践,我们将揭示这些技术如何帮助开发团队快速响应变化,减少错误,并加速产品上市时间。
|
2天前
|
机器学习/深度学习 人工智能 jenkins
软件测试中的自动化与持续集成实践
在快速迭代的软件开发过程中,自动化测试和持续集成(CI)是确保代码质量和加速产品上市的关键。本文探讨了自动化测试的重要性、常见的自动化测试工具以及如何将自动化测试整合到持续集成流程中,以提高软件测试的效率和可靠性。通过案例分析,展示了自动化测试和持续集成在实际项目中的应用效果,并提供了实施建议。
|
5天前
|
前端开发 JavaScript 测试技术
前端测试技术中,如何提高集成测试的效率?
前端测试技术中,如何提高集成测试的效率?
|
28天前
|
缓存 Devops jenkins
专家视角:构建可维护的测试架构与持续集成
【10月更文挑战第14天】在现代软件开发过程中,构建一个可维护且易于扩展的测试架构对于确保产品质量至关重要。本文将探讨如何设计这样的测试架构,并将单元测试无缝地融入持续集成(CI)流程之中。我们将讨论最佳实践、自动化测试部署、性能优化技巧以及如何管理和扩展日益增长的测试套件规模。
43 3
|
5天前
|
敏捷开发 Devops 测试技术
自动化测试中的持续集成与持续部署
在现代软件开发实践中,自动化测试是确保软件质量和快速迭代的关键。本文将探讨自动化测试如何与持续集成(CI)和持续部署(CD)流程相结合,以提高开发效率和软件质量。我们将分析CI/CD管道中自动化测试的最佳实践,以及如何克服实施过程中的挑战。
24 6
|
7天前
|
jenkins 测试技术 持续交付
探索软件测试中的自动化与持续集成
本文深入探讨了软件测试领域中自动化测试和持续集成的融合应用,分析了这种结合如何提升软件开发的效率和质量。通过具体案例分析,展示了自动化测试和持续集成在软件开发生命周期中的关键作用及其实施策略。
|
17天前
|
监控 jenkins 测试技术
探索软件测试的新篇章:自动化与持续集成
【10月更文挑战第25天】在数字化时代的浪潮中,软件已成为驱动世界的核心力量。然而,随着软件复杂性的增加,传统的测试方法已无法满足快速迭代和高质量交付的需求。本文将探讨如何通过自动化测试和持续集成(CI)来提升软件开发的效率和质量,同时确保产品的稳定性和可靠性。我们将从自动化测试的基础出发,逐步深入到持续集成的实践,并展示如何通过实际案例实现这一转变。
|
17天前
|
jenkins 测试技术 持续交付
探索软件测试中的自动化与持续集成
【10月更文挑战第25天】在软件开发的海洋中,自动化测试和持续集成(CI)是引领航船穿越波涛的灯塔。本文将带你了解如何通过搭建自动化测试框架和实施持续集成策略来提高软件质量和开发效率。我们将以一个实际的代码示例为起点,逐步深入讲解如何整合自动化测试到你的CI/CD流程中。
|
17天前
|
jenkins 测试技术 持续交付
探索软件测试的新篇章:自动化与持续集成的融合
【10月更文挑战第25天】在软件开发的世界里,质量是王道。本文将带你领略如何通过自动化测试和持续集成(CI)的结合,提升软件交付的速度与质量,确保每一次代码提交都是一次胜利的宣言。