CSGHub 开源大模型资产管理平台

简介: CSGHub是一个开源的大模型资产管理平台,支持LLM及其应用的全生命周期管理。用户可通过Web界面、Git命令或Chatbot进行资产的上传、下载、存储、校验和分发。他们刚发不到了阿里云云市场

CSGHub是一个开源、可信的大模型资产管理平台,旨在帮助用户治理大型语言模型(LLM)及其应用生命周期中涉及的资产,如数据集、模型文件和代码等。用户可以通过Web界面、Git命令行或自然语言Chatbot等方式,对这些资产进行上传、下载、存储、校验和分发。此外,CSGHub还提供了微服务子模块和标准化的OpenAPIs,方便用户将其与现有系统集成。


CSGHub的核心功能包括统一管理LLM资产、支持HTTPS和SSH协议的Git命令以及Web界面操作、大模型能力扩展、权限和安全控制以及支持私有化部署。它提供了类似私有化Huggingface的功能,可以管理LLM资产,类似于OpenStack Glance管理虚拟机镜像、Harbor管理容器镜像以及Sonatype Nexus管理制品的方式。


技术设计方面,CSGHub整合了Git服务器、Git LFS(Large File Storage)协议和对象存储服务(OSS),提供了可靠的数据存储层和灵活的基础设施访问层。它还利用了Apache Arrow和DuckDB等开源项目,支持Parquet数据文件格式的预览,便于本地化数据集管理。


CSGHub的使命是为用户提供一个开源开放的、针对大模型原生设计的资产管理平台,支持私有化部署和离线运行,以创造一个安全、高效且可信赖的环境,让用户能够更好地管理和运用大模型核心资产数据。更多详细信息和最新消息可以通过访问CSGHub的开源项目页面或传神社区官方网站获取。



相关文章
|
SQL 分布式计算 数据管理
12款开源数据资产(元数据)管理平台选型分析(一)
12款开源数据资产(元数据)管理平台选型分析(一)
2912 2
|
数据采集 人工智能 数据管理
12款开源数据资产(元数据)管理平台选型分析(二)
12款开源数据资产(元数据)管理平台选型分析(二)
1700 0
|
7月前
|
数据采集 存储 SQL
【开源项目推荐】OpenMetadata——基于开放元数据的一体化数据治理平台
【开源项目推荐】OpenMetadata——基于开放元数据的一体化数据治理平台
1153 3
|
数据采集 存储 运维
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(1)
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(1)
663 0
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(1)
|
数据采集 SQL 运维
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(2)
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(2)
654 0
|
运维 资源调度 监控
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(7)
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(7)
467 0
|
SQL 数据采集 运维
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(4)
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(4)
537 0
|
运维 监控 机器人
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(6)
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(6)
485 0
|
数据采集 SQL 运维
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(3)
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(3)
541 0
|
SQL 运维 监控
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(5)
带你读《构建企业级好数据(Dataphin智能数据建设与治理白皮书)》——(二)研发:集成、建模、发布、运维(5)
316 0