ollama + qwen2.5-coder + VS Code + Continue 实现本地AI 辅助写代码

本文涉及的产品
多模态交互后付费免费试用,全链路、全Agent
简介: 本文介绍在Apple M4 MacOS环境下搭建Ollama和qwen2.5-coder模型的过程。首先通过官网或Brew安装Ollama,然后下载qwen2.5-coder模型,可通过终端命令`ollama run qwen2.5-coder`启动模型进行测试。最后,在VS Code中安装Continue插件,并配置qwen2.5-coder模型用于代码开发辅助。

本文在 Apple M4 MacOS 的环境下 搭建, 请根据个人电脑配置情况选择相应的量化模型跑

1. 下载 Ollama 和 qwen2.5-coder 模型

1.1 安装ollama 方式

方式一: 官网下载安装文件
https://ollama.com/ ollama 的官网网站,选择相应的电脑版本下载和安装。

方式二:使用 brew install

brew install ollama

安装完后,记得打开 ollama 这个应用,确保应用是打开的。

打开 iterm 或 terminal 输入 ollama 命令看看,是否可执行。

1.2 下载 qwen2.5-coder

ollama 官网可以查看全球各种开源的 LLM 模型,qwen2.5-coder 是目前最受欢迎之一。

打开 https://ollama.com/library/qwen2.5-coder 选择合适自己的模型,一般默认就是7b-instruct 的版本。我下载的是 32b 版本的,爱折腾的人可以看看各个量化版本效果。

打开 terminal 或 iterm2 输入命令,命令在 ollama 的页面选择模型会自动显示出来

ollama run qwen2.5-coder

回车执行命令后, ollama 会自动去下载 7b 模型 (网络问题自己解决),下载完后会自动进入对话,你可以任意输入中文或英文,会看到自动回复。输入/bye 命令,即可退出。

退出来后 输入以下命令 看看下载了哪些模型

ollama list

ollama 默认下载的模型会存放在 ~/.ollama/models 这目录中
截图中,我下的是 32b 版本,还有 qwen2.5 14b 版本(日常其他场景使用,后面会写其他玩法),另外还下载了 bge-m3 的 embedding 模型, 嫌大也可以下 nomic-embed-text 后面需要用到。
这里就不过多解释 embedding 模型 rerank 模型了,有兴趣的自己看相关的文章。

2. VS Code 安装 Continue 插件

在 VS Code 的扩展中,搜索 continue 插件,并安装。安装完后,打开 continue 的窗口。

点击最下面 config 文件自定义编辑,也可以选择你下载好 qewn2.5-coder, 点击 connect。

我 Continue 的 config 文件配置如下:

{
   
"models": [
{
   
"model": "qwen2.5-coder:32b", // 32b的用来提问的时候用
"title": "qwen2.5-coder:32b",
"provider": "ollama",
"systemMessage": "You are an expert software developer. You give helpful and concise responses."

},
{
   
"title": "Qwen 2.5 Coder 7b",
"model": "qwen2.5-coder:latest",
"provider": "ollama",
"systemMessage": "You are an expert software developer. You give helpful and concise responses."
}
],
"tabAutocompleteModel": {
   
"title": "Tab Autocomplete", 
"provider": "ollama",
"model": "qwen2.5-coder:latest" //使用 7b 的自动扩写代码,速度会快点。 官方说用 base版本会更好,不要 instruct 

},

"customCommands": [
{
   

"name": "test",
"prompt": "{
   {
   { input }}}\n\nWrite a comprehensive set of unit tests for the selected code. It should setup, run tests that check for correctness including important edge cases, and teardown. Ensure that the tests are complete and sophisticated. Give the tests just as chat output, don't edit any file.",
"description": "Write unit tests for highlighted code"

}

],

"contextProviders": [

{
   

"name": "code",
"params": {
   }
},

{
   
"name": "docs",
"params": {
   }
},
{
   
"name": "diff",
"params": {
   }
},
{
   
"name": "terminal",
"params": {
   }
},
{
   
"name": "problems",
"params": {
   }
},
{
   
"name": "folder",
"params": {
   }
},
{
   
"name": "codebase",
"params": {
   }
}
],
"slashCommands": [
{
   
"name": "share",
"description": "Export the current chat session to markdown"
},
{
   
"name": "cmd",
"description": "Generate a shell command"
},
{
   
"name": "commit",
"description": "Generate a git commit message"
}
],
"embeddingsProvider": {
   
"provider": "ollama", // 用可以使用默认的 free-trial
"model": "bge-m3:latest"
},
"reranker": {
   
"name": "free-trial"
}
}

Continue 插件 的使用文档 https://docs.continue.dev/

目录
相关文章
|
19天前
|
人工智能 数据可视化 定位技术
不会编程也能体验的 AI 魔法,外滩大会代码原生地等你解锁
不会编程也能体验的 AI 魔法,外滩大会代码原生地等你解锁
307 39
|
10天前
|
人工智能 IDE 开发工具
CodeGPT AI代码狂潮来袭!个人完全免费使用谷歌Gemini大模型 超越DeepSeek几乎是地表最强
CodeGPT是一款基于AI的编程辅助插件,支持代码生成、优化、错误分析和单元测试,兼容多种大模型如Gemini 2.0和Qwen2.5 Coder。免费开放,适配PyCharm等IDE,助力开发者提升效率,新手友好,老手提效利器。(238字)
105 1
CodeGPT AI代码狂潮来袭!个人完全免费使用谷歌Gemini大模型 超越DeepSeek几乎是地表最强
|
13天前
|
人工智能 Java 机器人
基于Spring AI Alibaba + Spring Boot + Ollama搭建本地AI对话机器人API
Spring AI Alibaba集成Ollama,基于Java构建本地大模型应用,支持流式对话、knife4j接口可视化,实现高隐私、免API密钥的离线AI服务。
322 1
基于Spring AI Alibaba + Spring Boot + Ollama搭建本地AI对话机器人API
|
24天前
|
人工智能 算法 开发者
2025年高教社杯E题——AI 辅助智能体测全国大学生数学建模(思路、代码、论文)
2025年高教社杯E题——AI 辅助智能体测全国大学生数学建模(思路、代码、论文)
280 1
|
2月前
|
数据采集 人工智能 自然语言处理
让AI读懂代码需求:模块化大模型微调助力高效代码理解与迁移
本文介绍了一种解决开源项目代码升级中“用户需求关联相应代码”难题的创新方法。面对传统Code RAG和Code Agent在召回率、准确率和稳定性上的不足,以及领域“黑话”和代码风格差异带来的挑战,作者团队提出并实践了一套以大模型微调(SFT)为核心的解决方案。
390 21
|
13天前
|
人工智能 边缘计算 搜索推荐
AI产品测试学习路径全解析:从业务场景到代码实践
本文深入解析AI测试的核心技能与学习路径,涵盖业务理解、模型指标计算与性能测试三大阶段,助力掌握分类、推荐系统、计算机视觉等多场景测试方法,提升AI产品质量保障能力。
|
25天前
|
人工智能 IDE 开发工具
AI 编程,一键生成完整工程代码(企业级),开启零代码时代
飞算JavaAI是一款IDE插件,能将文字需求一键生成企业级完整工程代码,大幅提升开发效率。支持模块拆分、代码分层、数据库脚本生成,并可自定义代码风格与架构,适配团队规范。实现“零代码”开发与功能扩展,让开发者专注核心逻辑,告别重复编码。
|
2月前
|
存储 人工智能 自然语言处理
让你拥有一个AI大脑,这个32.1k Github项目是你不错的选择,支持PDF、Markdown、代码、视频成为你的知识内容
Quivr 是开源全栈 RAG 平台,助你打造“第二大脑”,支持多文档类型与多种 LLM,实现智能搜索与聊天。具备语义检索、本地部署、隐私保护等功能,适用于个人知识管理与企业知识库,界面简洁易用,是高效智能问答的理想选择。
115 0