程序员Feri一名12年+的程序员,做过开发带过团队创过业,擅长Java、鸿蒙、嵌入式、人工智能等开发,专注于程序员成长的那点儿事,希望在成长的路上有你相伴！君志所向,一往无前！
1.ollama
Ollama是一个本地运行大型语言模型（LLM）的工具，Ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低使用大语言模型的门槛，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型，包括如Llama 3、Phi 3、Mistral、Gemma等开源的大型语言模型。
2.ollama特点
本地部署优势
与基于云端的语言模型服务不同，Ollama 允许用户在自己的本地设备（如个人电脑）上运行语言模型。
这意味着数据隐私性更好，因为用户的输入和模型处理过程都在本地环境，不会将敏感数据发送到外部服务器。
可以在没有网络连接的情况下使用语言模型，只要模型已经下载并安装在本地设备上，这对于一些网络受限的场景（如在偏远地区或者网络信号差的环境）非常实用。
模型支持
Ollama 支持多种语言模型架构，包括但不限于基于 Transformer 架构的模型。它能够加载预训练的模型。
用户可以根据自己的需求定制模型参数，比如调整模型的大小（通过选择不同的模型版本，如小型、中型、大型模型）来平衡性能和资源占用。
在资源有限的设备上，可以选择较小的模型以获得较好的运行效率；而在性能较好的设备上，使用大型模型来获取更准确和丰富的语言处理结果。
易于使用
它提供了相对简单的命令行界面（CLI）。用户可以通过简单的命令来下载、运行和管理语言模型。
对于开发者和研究人员来说，Ollama 可以方便地集成到自己的应用程序或者开发环境中。
可以通过 API 接口（如果提供）来调用本地的语言模型，从而为自己的软件产品提供语言处理功能，如智能客服系统、内容生成工具等。
3.ollama支持的大模型
具体点击可以查看更多：点击查看ollama支持的大模型列表
4.ollama安装
第一步：下载ollama安装包
点击下载：ollama官方下载地址
如果你网速不行，那么可以点击下面的地址进行下载，我放云盘了一份
第二步：安装ollama
没有其他的，双击一路下一步即可，这块很快就可完成
第三步：下载对应的大模型
这里推荐下载 qweb2.5:7b，为什么，因为国内的，相对好下载
打开cmd,执行运行下面的命令：
ollama run qwen2.5:7b
AI 代码解读
这个有点慢，因为4.7GB,看个人的网速吧
第四步：使用大模型进行对话问答
就可以在这里进行问答了，常识的都没啥问题
温馨提示，虽然我们下载的大模型的参数并不是太大，但是个人笔记本，只能说勉强能用，谈不上流畅哈
5.ollama应用场景
目前大模型很多了，也有很多基本上都是免费使用，那为啥还需要本地部署大模型呢？而且公司基本上也都是在服务器进行部署，其实目前本地部署的应用场景主要是以下3点：
开发和测试环境
开发者在开发基于语言模型的应用时，可以使用 Ollama 在本地快速搭建测试环境。他们可以在本地验证模型的性能和功能，而不需要依赖外部的服务，这样可以更快地进行迭代开发。例如，开发一个自动文本摘要应用，开发者可以在本地用 Ollama 运行语言模型来测试不同的文本摘要算法和模型参数。
教育和研究领域
在教育方面，教师和学生可以在本地使用 Ollama 来学习语言模型的原理和应用。可以通过实际操作来了解模型如何生成文本、如何进行语言理解等。在研究领域，研究人员可以利用 Ollama 来对比不同语言模型在相同任务上的表现，或者对新的模型训练方法进行本地验证。
个人隐私敏感的内容创作
对于一些需要高度隐私的内容创作，如法律文件起草、个人日记内容生成等，使用 Ollama 本地运行语言模型可以确保内容不被泄露。用户可以放心地让模型协助自己生成文本，而不用担心数据隐私问题。
那你猜猜我为啥本地部署？啊哈哈哈
因为我最近在研究大模型的性能评测，所以需要本地跑点大模型，方便我的评测功能。
好啦，本篇就到这里啦，有问题，随时评论哈，欢迎一键三连！
