SolidUI社区-AI模型代理

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: SolidUI社区-AI模型代理

背景

随着文本生成图像的语言模型兴起,SolidUI想帮人们快速构建可视化工具,可视化内容包括2D,3D,3D场景,从而快速构三维数据演示场景。SolidUI 是一个创新的项目,旨在将自然语言处理(NLP)与计算机图形学相结合,实现文生图功能。通过构建自研的文生图语言模型,SolidUI 利用 RLHF (Reinforcement Learning Human Feedback) 流程实现从文本描述到图形生成的过程。

项目地址: https://github.com/CloudOrc/SolidUI

项目镜像地址: https://gitee.com/CloudOrc/SolidUI

社区官网: [https://website.solidui.top]

官网项目地址:https://github.com/CloudOrc/SolidUI-Website

SolidUI ModelUI模块

项目soliduimodelui是SolidUI三大块(聊天窗口,模型代理,自研模型)其中之一,主要做模型代理,根据协议支持不同的模型,现在0.2.0版本支持模型有ChatGLM,GPT等,本文讲述外网模型用代理的方法。

SolidUI数据库初始化中,有一张表solidui_model_type 里面有两个字段token和baseurl:

  • token为模型API token
  • baseurl为模型API基础地址,例如:https://api.openai.com(这是国外openai地址),[https:/ /api.chatanywhere.com.cn](openai国内代理地址),[http: //ip:port](chatGLM地址)

为什么用模型代理?

  • SolidUI的ModelUI模块需要调用OpenAI等模型服务的API。这些模型服务的API通常只能从国外访问,国内访问会被限制或阻断。
  • chatanywhere/GPT_API_free项目实现了一个免费的GPT模型API代理服务。它部署在国外服务器,可以让国内用户间接调用官方OpenAI API。
  • pengzhile/pandora项目也是一个部署在国外的ChatGPT代理服务。它通过各种优化绕过了官方API的访问限制。
  • 如果直接从国内调用这些模型API,会出现连接错误或超时的情况。所以需要通过代理服务进行转发,实现国内调用国外API。
  • 对于SolidUI的ModelUI模块来说,可以配置使用chatanywhere或pandora等项目提供的免费代理服务,实现国内正常调用ChatGPT等模型。
  • 另一种方法是直接把SolidUI部署在国外服务器上,这样ModelUI模块可以直接调用官方API,不需要代理。但需要承担部署运维成本。
  • 总结来说,模型代理的目的是帮助国内用户顺畅调用部署在国外的模型API。SolidUI的ModelUI模块可以通过配置代理服务避免国内调用API的限制。

推荐模型代理开源项目

  • chatanywhere/GPT_API_free
  • pengzhile/pandora

如果成为贡献者

  • 官方文档贡献。发现文档的不足、优化文档,持续更新文档等方式参与社区贡献。通过文档贡献,让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略:https://github.com/CloudOrc/SolidUI/discussions/54
  • 代码贡献。我们梳理了社区中简单并且容易入门的的任务,非常适合新人做代码贡献。请查阅新手任务列表:https://github.com/CloudOrc/SolidUI/issues/12
  • 内容贡献:发布SolidUI开源组件相关的内容,包括但不限于安装部署教程、使用经验、案例实践等,形式不限,请投稿给小助手。例如:https://github.com/CloudOrc/SolidUI/issues/10
  • 社区答疑:积极在社区中进行答疑、分享技术、帮助开发者解决问题等;

其他:积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等;

目录
相关文章
|
7天前
|
存储 人工智能 自然语言处理
【AI大模型】Transformers大模型库(五):AutoModel、Model Head及查看模型结构
【AI大模型】Transformers大模型库(五):AutoModel、Model Head及查看模型结构
8 0
|
3天前
|
人工智能 边缘计算 自然语言处理
谷歌微型AI模型“Gemma 2 2B”正出人意料地挑战科技巨头
谷歌微型AI模型“Gemma 2 2B”正出人意料地挑战科技巨头
谷歌微型AI模型“Gemma 2 2B”正出人意料地挑战科技巨头
|
3天前
|
人工智能 自然语言处理 搜索推荐
苹果与EPFL合作发布4M AI模型,开启AI新时代
苹果与EPFL合作发布4M AI模型,开启AI新时代
苹果与EPFL合作发布4M AI模型,开启AI新时代
|
2天前
|
人工智能
多模态AI单词助记模型体验
一文带你了解多模态AI单词助记模型的优与劣
130 1
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
【模型微调】AI Native应用中模型微调概述、应用及案例分析
在AI Native应用中,模型微调是一个关键步骤,它允许开发者使用特定领域的数据对预训练模型进行二次训练过程,从而使其更好地适应特定任务或数据集。模型微调通过调整模型的参数,使模型在特定任务上达到更高的性能。这种技术广泛应用于自然语言处理、图像识别、语音识别等领域
9 1
|
5天前
|
人工智能 内存技术
通义语音AI技术问题之预训练模型的推理与微调如何解决
通义语音AI技术问题之预训练模型的推理与微调如何解决
17 4
|
5天前
|
人工智能 前端开发 语音技术
通义语音AI技术问题之CAM++模型中的CAM模块工作原理如何解决
通义语音AI技术问题之CAM++模型中的CAM模块工作原理如何解决
14 4
|
5天前
|
人工智能 开发者 芯片
【51单片机】单片机开发者的福音: 让AI看电路图帮你编写程序(使用ChatGPT 中训练好的单片机工程师模型)
使用AI大语言模型编写 单片机程序. 使用的是 OpenAI公司发布的 ChatGPT .在ChatGPT上有别人训练好的 单片机工程师 with Keil uVision 5 - C Code Explainer模型, 可以上传电路图改模型可以通过这个用户所给的电路图进行编程.
【51单片机】单片机开发者的福音: 让AI看电路图帮你编写程序(使用ChatGPT 中训练好的单片机工程师模型)
|
7天前
|
机器学习/深度学习 人工智能 PyTorch
AI智能体研发之路-模型篇(五):pytorch vs tensorflow框架DNN网络结构源码级对比
AI智能体研发之路-模型篇(五):pytorch vs tensorflow框架DNN网络结构源码级对比
20 1
|
1天前
|
人工智能 自然语言处理 搜索推荐
最强AI写作助手,内置4o模型,引领AI智能问答的新纪元
随着人工智能技术的飞速进步,BKAI凭借其强大的GPT-4o模型,正在重新定义智能问答的标准。其中表现最强的AI助手神器:BKAI