【开源推荐】定制化私有LLM客户端

简介: 【5月更文挑战第11天】

20.7k star,强大!一个月狂揽万星的项目推荐

前面介绍了ollama,如果你想让它披上类似chatgpt的外衣,那么这个项目可以了解下。

openwebui简介

openwebui是一款开源可以自己定制化、功能丰富且强大的支持LLM的web程序,支持ollama及openai兼容的api。

简单讲就是你有本地私有模型是通过ollama构建的,那么可以直接接入,如果你有openai或者kimi的api,可以直接配置接入。

如果不太懂,可以去看下前面的文章,都有介绍过。

image.png

image.png

openwebui有哪些特点

  • 很直观的界面、极类似chatgpt,用户体验很友好

  • 支持桌面及移动端设备体验

  • 可以docker部署或者直接部署在k8s种

  • 支持markdown语法

  • 从多种主题中选择,个性化你的Open WebUI体验。

  • 语法高亮功能,享受增强的代码可读性。
  • 通过 Web UI 轻松创建 Ollama 模型文件。通过开放 WebUI 社区集成轻松创建和添加角色/代理、自定义聊天元素以及导入模型文件。

  • 支持用户认证管理

  • 历史记录的保存、分享,还可以存档聊天记录

简单讲就是方便、快捷,而且有很多可以自定义的功能。

openwebui快速部署开始

参考上篇文章可以安装ollama,或者你自己本地已有,那么可以通过docker快速部署使用:

docker run -d -p 3000:8080 
--add-host=host.docker.internal:host-gateway 
-v open-webui:/app/backend/data
--name open-webui --restart always 
ghcr.io/open-webui/open-webui:main

也可以通过配置文件,连接远程的ollama

docker run -d -p 3000:8080 
-e OLLAMA_BASE_URL=https://example.com 
-v open-webui:/app/backend/data 
--name open-webui --restart always 
ghcr.io/open-webui/open-webui:main

更多其它使用方法,可以到官网去查看

image.png

传送门:https://openwebui.com/

相关文章
可控细节的长文档摘要,探索开源LLM工具与实践
本文通过将文档分为几部分来解决这个问题,然后分段生成摘要。在对大语言模型进行多次查询后,可以重建完整的摘要。通过控制文本块的数量及其大小,我们最终可以控制输出中的细节级别。
|
28天前
|
算法 测试技术 AI芯片
CPU反超NPU,llama.cpp生成速度翻5倍!LLM端侧部署新范式T-MAC开源
【9月更文挑战第7天】微软研究院提出了一种名为T-MAC的创新方法,旨在解决大型语言模型在资源受限的边缘设备上高效部署的问题。T-MAC通过查表法在CPU上实现低比特LLM的高效推理,支持混合精度矩阵乘法,无需解量化。其通过位级查表实现统一且可扩展的解决方案,优化数据布局和重用率,显著提升了单线程和多线程下的mpGEMV及mpGEMM性能,并在端到端推理吞吐量和能效方面表现出色。然而,表量化和快速聚合技术可能引入近似和数值误差,影响模型准确性。论文详见:[链接](https://www.arxiv.org/pdf/2407.00088)。
64 10
|
2月前
|
数据采集 人工智能 监控
赌你一定想要!OpenDataLab首款大模型多模态标注平台Label-LLM正式开源
Label-LLM 是一款专为大模型训练设计的多模态文本对话标注工具,支持团队协作,让标注工作变得简单高效。它不仅涵盖丰富的任务类型,如回答采集、偏好收集和内容评估等,还支持多模态数据标注,包括图像、视频和音频。Label-LLM具备预标注载入功能,能大幅提升工作效率,并提供全方位的任务管理与可视化分析,确保标注质量。快来体验这款强大的标注平台吧![部署文档](https://github.com/opendatalab/LabelLLM)
257 0
赌你一定想要!OpenDataLab首款大模型多模态标注平台Label-LLM正式开源
|
3月前
|
算法 API 数据中心
魔搭社区利用 NVIDIA TensorRT-LLM 加速开源大语言模型推理
魔搭社区于 2022 年 11 月初创建,首次在业界提出了 “模型即服务”( MaaS, Model as a Service)的理念。
|
3月前
|
编解码 文字识别 计算机视觉
寒武纪1号诞生:谢赛宁Yann LeCun团队发布最强开源多模态LLM
【7月更文挑战第10天】【寒武纪1号】- 谢赛宁、Yann LeCun团队发布开源多模态LLM,含8B至34B规模模型,创新空间视觉聚合器(SVA)提升视觉-语言集成,建立新基准CV-Bench及大规模训练数据集Cambrian-7M。在多模态任务中表现出色,尤其在高分辨率图像处理上,但面临高分辨率信息处理和部分视觉任务评估的局限。[链接](https://arxiv.org/pdf/2406.16860)
73 1
|
4月前
|
人工智能 自然语言处理 算法
LLM主流开源代表模型(二)
随着ChatGPT迅速火爆,引发了大模型的时代变革,国内外各大公司也快速跟进生成式AI市场,近百款大模型发布及应用。
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
LLM主流开源代表模型(一)
随着ChatGPT迅速火爆,引发了大模型的时代变革,国内外各大公司也快速跟进生成式AI市场,近百款大模型发布及应用。
|
4月前
|
人工智能 自然语言处理 算法
分享几个.NET开源的AI和LLM相关项目框架
分享几个.NET开源的AI和LLM相关项目框架
|
5月前
|
人工智能 自然语言处理 算法
分享几个.NET开源的AI和LLM相关项目框架
分享几个.NET开源的AI和LLM相关项目框架
|
2月前
|
人工智能 自然语言处理
公理训练让LLM学会因果推理:6700万参数模型比肩万亿参数级GPT-4
【8月更文挑战第3天】新论文提出“公理训练”法,使仅有6700万参数的语言模型掌握因果推理,性能媲美万亿级GPT-4。研究通过大量合成数据示例教授模型因果公理,实现有效推理并泛化至复杂图结构。尽管面临合成数据需求大及复杂关系处理限制,此法仍为语言模型的因果理解开辟新途径。[链接: https://arxiv.org/pdf/2407.07612]
54 1

热门文章

最新文章

下一篇
无影云桌面