ollama + qwen2.5-coder + VS Code + Continue 实现本地AI 辅助写代码

本文涉及的产品
NLP自然语言处理_基础版,每接口每天50万次
NLP自然语言处理_高级版,每接口累计50万次
视觉智能开放平台,视频资源包5000点
简介: 本文介绍在Apple M4 MacOS环境下搭建Ollama和qwen2.5-coder模型的过程。首先通过官网或Brew安装Ollama,然后下载qwen2.5-coder模型,可通过终端命令`ollama run qwen2.5-coder`启动模型进行测试。最后,在VS Code中安装Continue插件,并配置qwen2.5-coder模型用于代码开发辅助。

本文在 Apple M4 MacOS 的环境下 搭建, 请根据个人电脑配置情况选择相应的量化模型跑

1. 下载 Ollama 和 qwen2.5-coder 模型

1.1 安装ollama 方式

方式一: 官网下载安装文件
https://ollama.com/ ollama 的官网网站,选择相应的电脑版本下载和安装。

方式二:使用 brew install

brew install ollama

安装完后,记得打开 ollama 这个应用,确保应用是打开的。

打开 iterm 或 terminal 输入 ollama 命令看看,是否可执行。

1.2 下载 qwen2.5-coder

ollama 官网可以查看全球各种开源的 LLM 模型,qwen2.5-coder 是目前最受欢迎之一。

打开 https://ollama.com/library/qwen2.5-coder 选择合适自己的模型,一般默认就是7b-instruct 的版本。我下载的是 32b 版本的,爱折腾的人可以看看各个量化版本效果。

打开 terminal 或 iterm2 输入命令,命令在 ollama 的页面选择模型会自动显示出来

ollama run qwen2.5-coder

回车执行命令后, ollama 会自动去下载 7b 模型 (网络问题自己解决),下载完后会自动进入对话,你可以任意输入中文或英文,会看到自动回复。输入/bye 命令,即可退出。

退出来后 输入以下命令 看看下载了哪些模型

ollama list

ollama 默认下载的模型会存放在 ~/.ollama/models 这目录中
截图中,我下的是 32b 版本,还有 qwen2.5 14b 版本(日常其他场景使用,后面会写其他玩法),另外还下载了 bge-m3 的 embedding 模型, 嫌大也可以下 nomic-embed-text 后面需要用到。
这里就不过多解释 embedding 模型 rerank 模型了,有兴趣的自己看相关的文章。

2. VS Code 安装 Continue 插件

在 VS Code 的扩展中,搜索 continue 插件,并安装。安装完后,打开 continue 的窗口。

点击最下面 config 文件自定义编辑,也可以选择你下载好 qewn2.5-coder, 点击 connect。

我 Continue 的 config 文件配置如下:

{
   
"models": [
{
   
"model": "qwen2.5-coder:32b", // 32b的用来提问的时候用
"title": "qwen2.5-coder:32b",
"provider": "ollama",
"systemMessage": "You are an expert software developer. You give helpful and concise responses."

},
{
   
"title": "Qwen 2.5 Coder 7b",
"model": "qwen2.5-coder:latest",
"provider": "ollama",
"systemMessage": "You are an expert software developer. You give helpful and concise responses."
}
],
"tabAutocompleteModel": {
   
"title": "Tab Autocomplete", 
"provider": "ollama",
"model": "qwen2.5-coder:latest" //使用 7b 的自动扩写代码,速度会快点。 官方说用 base版本会更好,不要 instruct 

},

"customCommands": [
{
   

"name": "test",
"prompt": "{
   {
   { input }}}\n\nWrite a comprehensive set of unit tests for the selected code. It should setup, run tests that check for correctness including important edge cases, and teardown. Ensure that the tests are complete and sophisticated. Give the tests just as chat output, don't edit any file.",
"description": "Write unit tests for highlighted code"

}

],

"contextProviders": [

{
   

"name": "code",
"params": {
   }
},

{
   
"name": "docs",
"params": {
   }
},
{
   
"name": "diff",
"params": {
   }
},
{
   
"name": "terminal",
"params": {
   }
},
{
   
"name": "problems",
"params": {
   }
},
{
   
"name": "folder",
"params": {
   }
},
{
   
"name": "codebase",
"params": {
   }
}
],
"slashCommands": [
{
   
"name": "share",
"description": "Export the current chat session to markdown"
},
{
   
"name": "cmd",
"description": "Generate a shell command"
},
{
   
"name": "commit",
"description": "Generate a git commit message"
}
],
"embeddingsProvider": {
   
"provider": "ollama", // 用可以使用默认的 free-trial
"model": "bge-m3:latest"
},
"reranker": {
   
"name": "free-trial"
}
}

Continue 插件 的使用文档 https://docs.continue.dev/

目录
相关文章
|
4天前
|
人工智能 数据库 决策智能
Archon – 开源 AI 智能体框架,自主生成代码构建 AI 智能体
Archon 是一个开源的 AI 智能体框架,能够自主生成代码并优化智能体性能,支持多智能体协作、领域知识集成和文档爬取等功能,适用于企业、教育、智能家居等多个领域。
64 10
Archon – 开源 AI 智能体框架,自主生成代码构建 AI 智能体
|
18天前
|
人工智能 数据可视化 API
Deepseek 本地部署“网页版”与“软件版”超级详细教学(deepseek+Ollama+OpenWebUI+Chatbox AI+Cherry Studio)
近期,人工智能领域迎来了一股新的热潮,DeepSeek作为一款备受瞩目的开源语言模型,凭借其卓越的性能和广泛的应用场景,迅速在全球范围内引起了广泛关注。从技术社区到商业领域,DeepSeek的热度不断攀升,甚至有“挤爆”的趋势。这不仅反映了其强大的技术实力,也体现了市场和用户对其的高度期待。 在这样的背景下,本地部署DeepSeek模型的需求也日益增加。本地部署不仅可以避免网络延迟和数据隐私问题,还能根据用户需求进行定制化优化。结合deepseek+Ollama+OpenWebUI+Chatbox AI+Cherry Studio AI等工具,用户可以轻松实现模型的本地化部署,并通过可视化面板
328 8
Deepseek 本地部署“网页版”与“软件版”超级详细教学(deepseek+Ollama+OpenWebUI+Chatbox AI+Cherry Studio)
|
14天前
|
人工智能 自然语言处理 程序员
全程不用写代码,我用AI程序员写了一个飞机大战
本文介绍了如何利用通义灵码插件在PyCharm中快速开发一款简单的飞机大战游戏。
901 6
|
11天前
|
人工智能 安全 API
容器化AI模型的安全防护实战:代码示例与最佳实践
本文基于前文探讨的容器化AI模型安全威胁,通过代码示例展示如何在实际项目中实现多层次的安全防护措施。以一个基于TensorFlow的图像分类模型为例,介绍了输入验证、模型加密、API认证和日志记录的具体实现方法,并结合最佳实践,如使用安全容器镜像、限制权限、网络隔离等,帮助构建更安全的AI服务。
|
12天前
|
人工智能 数据可视化 数据处理
PySpur:零代码构建AI工作流!开源可视化拖拽平台,支持多模态与RAG技术
PySpur 是一款开源的轻量级可视化 AI 智能体工作流构建器,支持拖拽式界面,帮助用户快速构建、测试和迭代 AI 工作流,无需编写复杂代码。它支持多模态数据处理、RAG 技术、文件上传、结构化输出等功能,适合非技术背景的用户和开发者快速上手。
134 5
|
9天前
|
人工智能 自然语言处理 运维
直播用AI写代码,程序员们颤抖了吗?
直播用AI写代码,程序员们颤抖了吗?
|
10天前
|
人工智能 自然语言处理 算法
哈啰集团全面接入通义灵码企业专属版,AI 代码采用率超过 20%
哈啰集团全面接入通义灵码企业专属版,AI 代码采用率超过 20%
|
12天前
|
人工智能 自然语言处理 前端开发
Flame:开源AI设计图转代码模型!生成React组件,精准还原UI+动态交互效果
Flame 是一款开源的多模态 AI 模型,能够将 UI 设计图转换为高质量的现代前端代码,支持 React 等主流框架,具备动态交互、组件化开发等功能,显著提升前端开发效率。
255 1
|
18天前
|
人工智能 前端开发 程序员
通义灵码2.0深度评测:当AI程序员握住我的手写代码
体验通义灵码2.0 AI程序员:Deepseek智能编码的魅力
65 4
|
17天前
|
人工智能 文字识别 自然语言处理
保单AI识别技术及代码示例解析
车险保单包含基础信息、车辆信息、人员信息、保险条款及特别约定等关键内容。AI识别技术通过OCR、文档结构化解析和数据校验,实现对保单信息的精准提取。然而,版式多样性、信息复杂性、图像质量和法律术语解析是主要挑战。Python代码示例展示了如何使用PaddleOCR进行保单信息抽取,并提出了定制化训练、版式分析等优化方向。典型应用场景包括智能录入、快速核保、理赔自动化等。未来将向多模态融合、自适应学习和跨区域兼容性发展。