如何让其他模型也能在SemanticKernel中调用本地函数

简介: 如何让其他模型也能在SemanticKernel中调用本地函数

在SemanticKernel的入门例子中:

// Import packages
using Microsoft.SemanticKernel;
using Microsoft.SemanticKernel.ChatCompletion;
using Microsoft.SemanticKernel.Connectors.OpenAI;
// Create a kernel with Azure OpenAI chat completion
var builder = Kernel.CreateBuilder().AddAzureOpenAIChatCompletion(modelId, endpoint, apiKey);
// Add enterprise components
builder.Services.AddLogging(services => services.AddConsole().SetMinimumLevel(LogLevel.Trace));
// Build the kernel
Kernel kernel = builder.Build();
var chatCompletionService = kernel.GetRequiredService<IChatCompletionService>();
// Add a plugin (the LightsPlugin class is defined below)
kernel.Plugins.AddFromType<LightsPlugin>("Lights");
// Enable planning
OpenAIPromptExecutionSettings openAIPromptExecutionSettings = new() 
{
    ToolCallBehavior = ToolCallBehavior.AutoInvokeKernelFunctions
};
// Create a history store the conversation
var history = new ChatHistory();
// Initiate a back-and-forth chat
string? userInput;
do {
    // Collect user input
    Console.Write("User > ");
    userInput = Console.ReadLine();
    // Add user input
    history.AddUserMessage(userInput);
    // Get the response from the AI
    var result = await chatCompletionService.GetChatMessageContentAsync(
        history,
        executionSettings: openAIPromptExecutionSettings,
        kernel: kernel);
    // Print the results
    Console.WriteLine("Assistant > " + result);
    // Add the message from the agent to the chat history
    history.AddMessage(result.Role, result.Content ?? string.Empty);
} while (userInput is not null)

只要使用:

// Enable planning
OpenAIPromptExecutionSettings openAIPromptExecutionSettings = new() 
{
    ToolCallBehavior = ToolCallBehavior.AutoInvokeKernelFunctions
};

就可以实现本地函数的调用了,这很酷,也是最吸引我的地方。

但我在实践的过程中,发现直接这样子,只有OpenAI的模型与Moonshot AI可以用,而其他模型的本地函数调用都无效。

如何能使用一个开源的模型实现本地函数调用,那就非常酷。

在SemanticKernel的讨论区,我也发现世界各地的人也都有这种需求,不想只用OpenAI,也要使用其他的模型,在SemanticKernel中实现本地函数调用。

在这个讨论区,官方最初将这个转化为一个问题:

点进这个问题:

这是对应的翻译:

我们的连接器(OpenAI、Mistral、Gemini)支持函数调用功能,但并非特定 AI 提供商的每个模型都支持它。您需要查看 AI 提供商的官方文档,了解您要使用的具体模型及其功能。看起来 Phi-3 不支持开箱即用的函数调用。虽然,我认为可以对其进行微调以支持这一点。对于电灯开关插件示例,我们建议使用支持开箱即用函数调用的 AI 模型,以便快速上手。下面是 Azure OpenAI 中的可用模型、其功能和可用区域的列表:

https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/models

我将关闭此问题,因为它与电灯开关插件无关。如果您看到任何其他问题,请随时打开一个新的。谢谢!

有一位老哥推荐了一个项目能够实现这个目的:

对应的翻译:

看看这个项目 https://github.com/Jenscaasen/UniversalLLMFunctionCaller。通过提示模板,它尝试模仿本机函数调用。我尝试了 ollama 和 phi3 mini、llama3,效果很好。

我也去尝试使用这个项目:

简介的翻译如下:

一个集成到语义内核中的计划器,可以在所有基于LLMs聊天(Mistral、Bard、Claude、LLama 等)上实现函数调用。

根据这个项目提供的方法我去尝试了一下:

把这个项目中的类,添加到自己的项目中:

添加这两个插件到自己的项目中,用于测试:

构建kernel:

var handler = new OpenAIHttpClientHandler();
 var builder = Kernel.CreateBuilder()
 .AddOpenAIChatCompletion(
    modelId: "",
    apiKey: "",
    httpClient: new HttpClient(handler));
 _kernel = builder.Build();          
 _kernel.ImportPluginFromType<TimePlugin>("Time");
 _kernel.ImportPluginFromType<MathPlugin>("Math");

测试代码:

UniversalLLMFunctionCaller planner = new(_kernel);
   string ask = "What is the current hour number, plus 6?";
   Debug.WriteLine(ask);
   string result = await planner.RunAsync("What is the current hour number, plus 6?");
   Debug.WriteLine(result);

Qwen/Qwen2-7B-Instruct的输出:

测试的时候是18:09分,18+6 =24,成功执行了本地函数用于获取当前时间与进行加法。

但并不是每个模型使用这个都能成功进行本地函数调用。

根据硅基流动提供的模型,我根据这个demo进行测试,可行的结果如下:

Qwen/Qwen2-72B-Instruct

Qwen/Qwen2-7B-Instruct

Qwen/Qwen1.5-110B-Chat

Qwen/Qwen1.5-32B-Chat

Qwen/Qwen1.5-7B-Chat

deepseek-ai/DeepSeek-V2-Chat

01-ai/Yi-1.5-34B-Chat-16K

可供遇到这个问题的人参考。

相关文章
|
小程序 Python
用 Python 制作一个桌面宠物,好玩!
用 Python 制作一个桌面宠物,好玩!
281 0
|
数据采集 测试技术 API
python爬虫之Appium 的使用
搭建appium环境,appium基本使用,API操作等等
623 0
|
人工智能 算法 PyTorch
AI 全自动玩斗地主,靠谱吗?Douzero算法教程
你觉得,AI 全自动玩斗地主,胜率能有多高? 真就有100%胜率,实现欢乐豆自由? 我让这个 AI 自己玩了一小时,结果出乎意料。
4035 0
AI 全自动玩斗地主,靠谱吗?Douzero算法教程
|
人工智能 Java 测试技术
开源上新|FunASR英文离线文件转写软件包发布
开源上新|FunASR英文离线文件转写软件包发布
|
人工智能 API C#
SimpleRAG:基于WPF与Semantic Kernel实现的一个简单的RAG应用
SimpleRAG是一款基于WPF与Semantic Kernel的RAG应用,支持OpenAI兼容的AI聊天与文本嵌入模型,演示了RAG技术在提升回答质量上的作用。可通过GitHub获取源码,配置所需模型API密钥后,在VS2022中以.NET 8环境编译运行。应用内置Sqlite数据库存储向量数据,便于离线使用与自定义扩展。如感兴趣,请支持并反馈使用体验。
239 1
SimpleRAG:基于WPF与Semantic Kernel实现的一个简单的RAG应用
|
消息中间件 Java API
微服务架构设计与实现:从理论到实践
微服务架构设计与实现:从理论到实践
412 7
|
API C# 数据库
SemanticKernel/C#:实现接口,接入本地嵌入模型
SemanticKernel/C#:实现接口,接入本地嵌入模型
289 1
|
人工智能 自然语言处理 Java
SemanticKernel:添加插件
SemanticKernel:添加插件
235 0
SemanticKernel:添加插件
|
缓存 Java 对象存储
配置自己的 阿里OSS 环境,但在引入自己创建的依赖时出现报错。
配置自己的 阿里OSS 环境,但在引入自己创建的依赖时出现报错。
|
存储
汉字和数字站几个字节,估算内存占用情况
该文内容讲述了字符和字节的关系:中文标点占3字节,英文字母或数字占1字节,英文标点也占1字节。1字节等于8字位,1字位是1个二进制数。此外,还介绍了存储单位的换算:1B=8b,1KB=1024B,1MB=1024KB,1GB=1024MB。其中,b代表字位,B代表字节,KB是千字节,MB是兆字节,GB是吉字节。
711 2