【开源推荐】本地运行自己的大模型--ollama

简介: 【5月更文挑战第10天】

66k star,开源免费,快速在本地构建你自己的大模型

这个项目应该是目前最火的项目之一了,如果你对大模型感兴趣,那么这个项目一定不能错过。

ollama简介

ollama是一款开源的、轻量级的框架,它可以快速在本地构建及运行大模型,尤其是一些目前最新开源的模型,如 Llama 3, Mistral, Gemma等。

官网上有大量已经开源的模型,部分针对性微调过的模型也可以选择到,如llama2-chinese。

关键现在部署很简单,跨平台支持。

image.png

ollama特点

  • 跨平台支持,windows、linux、mac都可以使用

  • 支持大部分模型,包括我们熟悉的千问、llama3、phi3等

image.png

  • 用户可以通过简单的命令快速启动和与 Llama 3 等模型进行交互。
  • Ollama 允许用户通过 Modelfile 自定义模型,例如设置创造性参数或系统消息。
  • Ollama 支持运行高达数十亿参数的模型,确保了处理大型模型的能力。

ollama如何快速开始

  1. 下载:用户可以根据自己的操作系统选择下载 macOS、Windows 预览版或使用 Linux 的安装脚本。
  2. 运行模型:通过简单的命令 ollama run <model_name> 来启动模型。
  3. 自定义模型:用户可以创建一个名为 Modelfile 的文件,并使用 FROM 指令导入模型,然后通过 ollama createollama run 命令来创建和运行自定义模型。

例如,要运行 Llama 3 模型,用户可以使用以下命令:

ollama run llama3

展示你的所有模型:

ollama list

拉取模型

ollama pull llama3

通过命令行去体验:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'

当然现在也有一些web页面可以直接使用,如open-webui,后面的文章会有具体的介绍。

结论

Ollama 提供了一个强大且易于使用的平台,让开发者能够在本地环境中轻松地运行和管理大型语言模型。

无论是快速开始还是深度定制,Ollama 都能满足用户的需求。

image.png

传送门:https://ollama.com/

相关文章
|
6天前
|
机器学习/深度学习 人工智能 Apache
人工智能平台PAI操作报错合集之alink任务可以在本地运行,上传到flink web运行就报错,如何解决
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
|
1月前
|
Web App开发 Java Serverless
Serverless 应用引擎操作报错合集之阿里函数计算中,使用自定义运行时部署程序时,发现Chrome层已经建立但运行程序仍然缺失如何解决
Serverless 应用引擎(SAE)是阿里云提供的Serverless PaaS平台,支持Spring Cloud、Dubbo、HSF等主流微服务框架,简化应用的部署、运维和弹性伸缩。在使用SAE过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
1月前
|
机器学习/深度学习 人工智能 网络协议
人工智能平台PAI 操作报错合集之在本地运行Alink Server时没有遇到问题。但是,当您尝试在PAI上运行时出现了错误。如何解决
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
|
1月前
|
运维 关系型数据库 MySQL
Serverless 应用引擎产品使用之在阿里函数计算中,部署Go项目可以区分环境如何解决
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
|
1月前
|
机器学习/深度学习 PyTorch TensorFlow
iOS设备功能和框架: 什么是 Core ML?如何在应用中集成机器学习模型?
iOS设备功能和框架: 什么是 Core ML?如何在应用中集成机器学习模型?
50 0
|
11月前
|
SQL 机器学习/深度学习 安全
将DAST集成到CI/CD管道中的优势和实施步骤
将DAST集成到CI/CD管道中的优势和实施步骤
115 0
|
机器学习/深度学习 存储 监控
DVC 使用案例(三):机器学习持续集成与持续交互( CI/CD )
将 DevOps 方法应用于机器学习 (MLOps) 和数据管理 (DataOps) 越来越普遍。对于一个完善的 MLOps 平台来说,需要囊括资源编排(为模型训练提供服务器)、模型测试(验证模型推理)、模型部署到生产,以及模型监控和反馈等机器学习生命周期各个环节。 DVC 可以管理数据/模型和重现 ML 流水线,而 CML 可以协助编排、测试以及监控。
|
机器学习/深度学习 PyTorch API
RGCN模型成功运行案例
# 创建模型 in_feats = 3 hid_feats = 4 out_feats = 2 rel_num = 4 model = RGCN(in_feats, hid_feats, out_feats, rel_num) # 随机生成特征 features = torch.randn((10, 3)) # 计算输出 output = model(g, features, rel_type) print(output)
436 0
|
Go Docker 容器
多阶段构建优化Go程序镜像
本篇博客使用多阶段构建的方式创建紧凑的 Docker 镜像,探究如何显著缩小 Docker 镜像的大小。
218 0
多阶段构建优化Go程序镜像
|
机器学习/深度学习 jenkins Devops
DevOps与机器学习的集成:使用Jenkins自动调整模型的超参数(一)
DevOps与机器学习的集成:使用Jenkins自动调整模型的超参数(一)
189 1
DevOps与机器学习的集成:使用Jenkins自动调整模型的超参数(一)