ollama + qwen2.5-coder + VS Code + Continue 实现本地AI 辅助写代码
本文介绍在Apple M4 MacOS环境下搭建Ollama和qwen2.5-coder模型的过程。首先通过官网或Brew安装Ollama，然后下载qwen2.5-coder模型，可通过终端命令`ollama run qwen2.5-coder`启动模型进行测试。最后，在VS Code中安装Continue插件，并配置qwen2.5-coder模型用于代码开发辅助。
Cursor + qwen2.5-coder 32b 的配置方式
安装Cursor后，进入设置修改OpenAI基础URL为阿里云的DashScope接口，并添加Qwen2.5-Coder 32B模型。需先访问阿里云百灵控制台申请免费Key。配置完成后，即可使用该模型进行开发和测试。
【完全免费】VS Code 最好用的 12 款 AI 代码提示插件！！！
🎉 探索12款免费VSCode AI代码提示插件：Codeium、Codegeex、CodeFuse、TONGYI Lingma、Comate、iFlyCode、Fitten Code、Bito AI、Mintlify Doc Writer、Kodezi AI、aiXcoder、IntelliCode。这些插件提供智能补全、代码生成、注释、优化，支持多种语言，提升编程效率！🚀👩💻👨💻
大模型进阶微调篇（一）：以定制化3B模型为例，各种微调方法对比-选LoRA还是PPO，所需显存内存资源为多少？
本文介绍了两种大模型微调方法——LoRA（低秩适应）和PPO（近端策略优化）。LoRA通过引入低秩矩阵微调部分权重，适合资源受限环境，具有资源节省和训练速度快的优势，适用于监督学习和简单交互场景。PPO基于策略优化，适合需要用户交互反馈的场景，能够适应复杂反馈并动态调整策略，适用于强化学习和复杂用户交互。文章还对比了两者的资源消耗和适用数据规模，帮助读者根据具体需求选择最合适的微调策略。
基于NVIDIA A30 加速卡推理部署通义千问-72B-Chat测试过程
本文介绍了基于阿里云通义千问72B大模型（Qwen-72B-Chat）的性能基准测试，包括测试环境准备、模型部署、API测试等内容。测试环境配置为32核128G内存的ECS云主机，配备8块NVIDIA A30 GPU加速卡。软件环境包括Ubuntu 22.04、CUDA 12.4.0、PyTorch 2.4.0等。详细介绍了模型下载、部署命令及常见问题解决方法，并展示了API测试结果和性能分析。
【项目实战】通过LLaMaFactory+Qwen2-VL-2B微调一个多模态医疗大模型
本文介绍了一个基于多模态大模型的医疗图像诊断项目。项目旨在通过训练一个医疗领域的多模态大模型，提高医生处理医学图像的效率，辅助诊断和治疗。作者以家中老人的脑部CT为例，展示了如何利用MedTrinity-25M数据集训练模型，经过数据准备、环境搭建、模型训练及微调、最终验证等步骤，成功使模型能够识别CT图像并给出具体的诊断意见，与专业医生的诊断结果高度吻合。
深入剖析 Qwen2.5 - 32B 模型在 VLLM 上的单机三卡部署与运行
本文深入探讨了Qwen2.5 - 32B模型在VLLM框架上的部署过程，从模型下载、启动命令、资源占用分析到GPU资源分配及CUDA图应用，详述了大模型运行的挑战与优化策略，强调了硬件资源规划与技术调优的重要性。
前端大模型入门（一）：用 js+langchain 构建基于 LLM 的应用
本文介绍了大语言模型（LLM）的HTTP API流式调用机制及其在前端的实现方法。通过流式调用，服务器可以逐步发送生成的文本内容，前端则实时处理并展示这些数据块，从而提升用户体验和实时性。文章详细讲解了如何使用`fetch`发起流式请求、处理响应流数据、逐步更新界面、处理中断和错误，以及优化用户交互。流式调用特别适用于聊天机器人、搜索建议等应用场景，能够显著减少用户的等待时间，增强交互性。
通义千问API：让大模型写代码和跑代码
基于前面三章的铺垫，本章我们将展示大模型Agent的强大能力。我们不仅要实现让大模型同时使用多种查询工具，还要实现让大模型能查询天气情况，最后让大模型自己写代码来查询天气情况。
LangChain+通义千问+AnalyticDB向量引擎保姆级教程
本文以构建AIGC落地应用ChatBot和构建AI Agent为例，从代码级别详细分享AI框架LangChain、阿里云通义大模型和AnalyticDB向量引擎的开发经验和最佳实践，给大家快速落地AIGC应用提供参考。
在云上搭建CosyVoice环境-保姆级教程
发现个好玩的模型，阿里最近开源的，可以便捷的复刻人声，本文提供全套安装过程。仓库地址：https://github.com/FunAudioLLM/CosyVoice。
CosyVoice 与 SenseVoice：阿里FunAudioLLM两大语音生成项目的深度评测
近年来,基于大模型的语音人工智能技术发展迅猛,为自然语音人机交互带来新的可能。通义语音大模型无疑是这一领域的佼佼者。它涵盖了语音理解与语音生成两大核心能力,可支持多种语音任务,包括多语种语音识别、语种识别、情感识别、声音事件检测以及语音合成等
通义语音大模型评测：CosyVoice与SenseVoice
随着人工智能技术的不断发展，语音生成和理解模型在各个领域得到了广泛应用。本文将评测两个由FunAudioLLM团队开发的多语言语音模型——[CosyVoice](https://github.com/FunAudioLLM/CosyVoice)和[SenseVoice](https://github.com/FunAudioLLM/SenseVoice)，并结合阿里云开发者社区的相关资源，探讨其在实际应用中的表现。
llama factory 从数据集起步 跑通 qwen系列开源生成式大模型 微调
`dataset_info.json` 文件用于管理 llama factory 中的所有数据集，支持 `alpaca` 和 `sharegpt` 格式。通过配置此文件，可以轻松添加自定义数据集。数据集的相关参数包括数据源地址、数据集格式、样本数量等，支持 Hugging Face 和 ModelScope 两个平台的数据集仓库。针对不同格式的数据集，提供了详细的配置示例，如 `alpaca` 格式的指令监督微调数据集、偏好数据集等，以及 `sharegpt` 格式的多模态数据集等。今天我们通过自定义数据集的方式来进行qwen2.5_14B_instruct模型进行微调
社区供稿 | 10G显存，通义千问-7B-int4消费级显卡最佳实践
在魔搭社区，通义千问团队发布了Qwen-7B-Chat的Int4量化模型，Qwen-7B-Chat-Int4。该方案的优势在于，它能够实现几乎无损的性能表现，模型大小仅为5.5GB，内存消耗低，速度甚至超过BF16。
Qwen模型角色扮演最佳实践
角色扮演大模型通过模拟特定角色的行为、语言风格和情感表达，实现高度拟人化和定制化的互动体验。与传统通用模型相比，角色扮演模型在语言风格、性格特征和情绪反应上更加细腻，提供更真实的交互体验。本文介绍了如何通过system prompt、few-shot学习和微调等技术实现大模型的拟人化，包括使用阿里云百炼平台进行角色扮演测试，以及如何通过合成数据和Lora微调提高模型的表演效果。最终，展示了如何通过优化数据质量和训练策略，显著提升角色扮演模型的表现。
Qwen-coder实现本地 RAG 框架能力Bootstrap
本文介绍了如何利用Qwen-coder在本地实现RAG框架能力提升，解决了企业知识库管理中的数据安全和半结构化文档处理问题。通过Qwen2.5-72b模型和多轮对话推理，成功实现了对包含图表内容的文档的高效预处理，提升了知识库检索的准确性和安全性。
通义千问14B开源！内附魔搭最佳实践
9月25日，阿里云开源通义千问140亿参数模型Qwen-14B及其对话模型Qwen-14B-Chat，免费可商用。Qwen-14B在多个权威评测中超越同等规模模型，部分指标甚至接近Llama2-70B。阿里云此前开源的70亿参数模型Qwen-7B等，一个多月下载量破100万，成为开源社区的口碑之作。
如何训练属于自己的“通义千问”呢？
大模型的风潮还未停歇，国内大模型的研发也正如火如荼地开展着。你试用过哪些大模型呢？你觉得哪一款产品最适合开发者呢？你有想过训练出自己的大模型吗？这不就来了！ 通义千问开源！阿里云开源通义千问70亿参数模型，包括通用模型Qwen-7B和对话模型Qwen-7B-Chat，两款模型均已上线ModelScope魔搭社区，开源、免费、可商用。点击链接，立即开启模型开源之旅：https://modelscope.cn/models/qwen/Qwen-7B/summary
【Prompt Engineering 提示词工程指南】文本概括、信息提取、问答、文本分类、对话、代码生成、推理
本文介绍了使用提示词与大语言模型（LLM）交互的基础知识。通过调整参数如温度（Temperature）、最高概率词元（Top_p）、最大长度（Max Length）及停止序列（Stop Sequences），可以优化模型输出。温度参数影响结果的随机性；Top_p 控制结果的多样性；最大长度限制输出长度；停止序列确保输出符合预期结构。此外，频率惩罚（Frequency Penalty）和存在惩罚（Presence Penalty）可减少重复词汇，提升输出质量。提示词需包含明确指令、上下文信息、输入数据及输出指示，以引导模型生成理想的文本。设计提示词时应注重具体性、避免歧义，并关注模型的具体行为
Qwen2-VL微调实战：LaTex公式OCR识别任务（完整代码）
《SwanLab机器学习实战教程》推出了一项基于Qwen2-VL大语言模型的LaTeX OCR任务，通过指令微调实现多模态LLM的应用。本教程详述了环境配置、数据集准备、模型加载、SwanLab集成及微调训练等步骤，旨在帮助开发者轻松上手视觉大模型的微调实践。
通义千问开源第二波！多模态来啦！（内含魔搭最佳实践）
近期，通义千问大规模视觉语言模型Qwen-VL上线魔搭社区，Qwen-VL以通义千问70亿参数模型Qwen-7B为基座语言模型研发，支持图文输入，具备多模态信息理解能力。
通义千问7B-基于本地知识库问答
上期，我们介绍了通义千问7B模型的微调+部署方式，但在实际使用时，很多开发者还是希望能够结合特定的行业知识来增强模型效果，这时就需要通过外接知识库，让大模型能够返回更精确的结果。
通义千问7B模型开源，魔搭最佳实践来了
通义千问开源！阿里云开源通义千问70亿参数模型，包括通用模型Qwen-7B-Base和对话模型Qwen-7B-Chat，两款模型均已上线ModelScope魔搭社区，开源、免费、可商用，欢迎大家来体验。
用 Qwen2.5-Coder 开发一个网页应用，完全0基础，已部署上线，代码开源！
利用Qwen2.5-Coder成功开发了一个简洁实用的网页应用，该应用能够在浏览器Tab标题中显示北京时间，并在页面中集成了实时时间显示和番茄时钟功能。通过Qwen2.5-Coder的强大代码生成能力，从零基础开始，仅需简单提示便完成了HTML、CSS和JavaScript的编写。经过几次优化调整，最终实现了美观且功能完善的网页应用，并顺利部署至Vercel平台，满足了作者在全屏模式下查看时间的需求。
探索大模型部署：基于 VLLM 和 ModelScope 与 Qwen2.5 在双 32G VGPU 上的实践之旅
本文介绍了使用 `VLLM` 和 `ModelScope` 部署 `Qwen2.5` 大模型的实践过程，包括环境搭建、模型下载和在双 32G VGPU 上的成功部署，展现了高性能计算与大模型结合的强大力量。
通义千问API：找出两篇文章的不同
本章我们将介绍如何利用大模型开发一个文档比对小工具，我们将用这个工具来给互联网上两篇内容相近但版本不同的文档找找茬，并且我们提供了一种批处理文档比对的方案
AI 编码助手：编程路上的得力伙伴
在数字化浪潮中，AI编码助手成为开发者不可或缺的工具。它通过代码生成与补全、优化与规范、错误检测与调试等功能，大幅提升编程效率和代码质量。从需求分析到部署，AI助手全程助力，确保项目顺利进行。尽管不能替代开发者创造力，但它无疑是编程道路上的得力伙伴，推动软件开发不断创新。
通过API调用通义千问时出现DataInspectionFailed的解决办法（玄学版）
在使用qwen-plus API进行长文本翻译时，遇到了DataInspectionFailed错误，提示输入数据可能包含不当内容。尽管确认文本无敏感内容，但误判依然发生。通过将每个分段的字符数从1000降低到700，问题得以解决。建议在处理长文本时，减少每次请求的字符数以避免误判。
解密！通义智文-你的AI阅读助手！
通义智文是基于通义大模型的AI阅读助手，网页阅读、论文阅读、图书阅读和自由阅读，用AI帮你读得多、读得快、读得懂。 通过文档场景化阅读、结构化导读、给我灵感、多文档处理等亮点功能和文档智能大小模型协同的核心技术。让AI帮你更准确，更深入，更专业的读懂文档，沉淀专属知识资产。 产品已于2023年10月31日在云栖大会正式对外发布，现免费公测全面开放。
用通义Qwen大模型和Streamlit构建 ChatPDF 应用（附代码）
本文介绍了如何利用通义千问Qwen大模型构建一个本地ChatPDF AI助手，该助手允许用户上传PDF并与之对话，确保文档隐私安全。项目通过阿里云百炼平台获取Qwen-Long模型，支持多种文档格式。现实现步骤包括导入库、加载环境变量、初始化客户端、编码器、页面与对话管理、文件上传、选择模型、获取AI回答及计算费用，主函数整合这些功能，提供交互体验。
由通义千问驱动的人形机器人具身智能Multi-Agent系统
申昊科技人形机器人小昊，集成通义千问多模态大模型的具身智能系统，旨在讲解销售、迎宾表演等场景。机器人通过语音、动作等方式与用户互动，利用云端大语言模型处理自然语言，结合视觉、听觉等多模态感知技术，实现流畅的人机对话、目标追踪、展厅讲解等功能。
基于Qwen2大模型实现的中药智能化筛选助手
本文介绍了利用大语言模型微调技术在中药方剂智能化筛选与优化中的应用。项目涵盖微调环境搭建、数据预处理、智能体构建及效果评估等环节，展示了模型在生成新中药方剂上的创新能力和实用性。
