vllm+vllm-ascend本地部署QwQ-32B

本指南介绍如何下载、安装和启动基于Ascend的vLLM模型。首先,可通过华为镜像或Hugging Face下载预训练模型;其次,安装vllm-ascend,支持通过基础镜像(如`quay.io/ascend/vllm-ascend:v0.7.3-dev`)或源码编译方式完成;最后,使用OpenAI兼容接口启动模型,例如运行`vllm serve`命令,设置模型路径、并行规模等参数。适用于大模型推理场景,需注意显存需求(如QwQ-32B需70G以上)。

5541 17
|
人工智能 自然语言处理 数据库
|

基于RAG和LLM的水利知识问答系统研究

随着全球水资源紧张加剧,我国面临严峻的水资源管理挑战。《十四五规划》提出构建智慧水利体系,通过科技手段提升水情测报和智能调度能力。基于大语言模型(LLM)的水利智能问答系统,利用自然语言处理技术,提供高效、准确的水利信息查询和决策支持,助力水资源管理智能化。该系统通过RAG技术和Agent功能,实现了对水利知识的深度理解和精准回答,适用于水利知识科普、水务治理建议及灾害应急决策等多个场景,推动了水利行业的信息化和智能化发展。

2053 1
|
存储 人工智能 数据库
|

为什么普通AI不够用?定制AI Agents工具是关键!

【10月更文挑战第4天】

742 0
|
SQL JavaScript 前端开发
|

Github 2024-08-05 开源项目周报 Top15

根据 Github Trendings 的统计,本周(2024年8月5日统计)共有15个项目上榜。以下是根据开发语言汇总的项目数量: - Go 项目:4个 - JavaScript 项目:3个 - Python 项目:3个 - Java 项目:2个 - TypeScript 项目:2个 - C 项目:1个 - Shell 项目:1个 - Dockerfile 项目:1个 - 非开发语言项目:1个

1033 3
|
人工智能 编解码 API
|

通义万相AIGC技术测评报告

**摘要:** 通义万相是阿里云的AI绘画模型,提供清晰的部署指南和易用的API,适合新手。资源部署耗时约10分钟,API响应快,支持多种风格图片生成,适用于广告、媒体等领域。产品性价比高,功能包括文本到图像转换等,但仍有改进空间,如增加服装纹理选项、互动功能和更多API接口。建议完善功能、加强推广和降低成本以吸引更多用户。[链接](https://developer.aliyun.com/topic/tongyi-wanxiang?spm=a2c6h.27063436.J_6978680750.5.3a774f461hv8qD)

1901 6
|
人工智能 架构师 搜索推荐
|

通义大模型使用指南之通义千问

本文介绍了如何注册并使用通义大模型,该平台提供了通义千问、通义万相和通义听悟三大功能。通义千问包含对话和百宝箱两个子功能。在对话中,用户需按照特定格式提问,如设定角色、背景等,但实际体验中,回复可能不够理想。百宝箱提供不同场景的应用,如健身教练和办公助理。通过示例展示了健身计划的生成,但与专业教练相比仍有差距。对于职场问题,通义千问的回答显得较为通用,难以满足个性化需求。

7327 0
|
分布式计算 API Linux
|

通义千问API:找出两篇文章的不同

本章我们将介绍如何利用大模型开发一个文档比对小工具,我们将用这个工具来给互联网上两篇内容相近但版本不同的文档找找茬,并且我们提供了一种批处理文档比对的方案

13244 6
|
机器学习/深度学习 人工智能 自然语言处理
|

AIGC盛行,带你轻松调用开发

本篇文章基于java和阿里云的通义千问大模型手把手带你使用AIGC开发,实现文本对话和图像分析。

1181 2
|
人工智能
|

【奶奶看了都会】ComfyUI+SVD制作AI视频教程,附效果演示

AI一天,人间一年。大家好啊,我是小卷,最近AI绘画又发展出一些新玩意了,小卷因为工作的关系有一个月没关注AI的发展了,都有点跟不上版本节奏了。。。

2807 2
|
人工智能 云栖大会 开发工具
|

2023云栖大会 | 阿里云推出智能编码助手通义灵码

10月31日,杭州云栖大会上,阿里云对外展示了一款可自动编写代码的 AI 助手,在编码软件的对话窗口输入“帮我用 python 写一个飞机游戏”,短短几秒,这款名为“通义灵码”的 AI 助手就自动生成了100多行代码,点击运行后一个充满儿时回忆的“飞机大战”游戏就成功跑起来了。

2307 19
|
数据可视化 安全 物联网
|

通义千问14B开源!内附魔搭最佳实践

9月25日,阿里云开源通义千问140亿参数模型Qwen-14B及其对话模型Qwen-14B-Chat,免费可商用。Qwen-14B在多个权威评测中超越同等规模模型,部分指标甚至接近Llama2-70B。阿里云此前开源的70亿参数模型Qwen-7B等,一个多月下载量破100万,成为开源社区的口碑之作。

5260 0
|
存储 并行计算 PyTorch
|

社区供稿 | 10G显存,通义千问-7B-int4消费级显卡最佳实践

在魔搭社区,通义千问团队发布了Qwen-7B-Chat的Int4量化模型,Qwen-7B-Chat-Int4。该方案的优势在于,它能够实现几乎无损的性能表现,模型大小仅为5.5GB,内存消耗低,速度甚至超过BF16。

29357 8
|
22天前
|
人工智能 UED
|

学习手册|设计创作 × 秒悟:零代码做一个互动式作品展示应用

作品做完了,可只放在作品集里静静陈列,观众很难了解每件作品背后的灵感和创作过程?这篇手册用一份「心情到作品」的互动设定做练习,带你用秒悟学生创作权益(零代码 AI 应用搭建)跑通「设计互动方式 → 描述并搭建 → 测试后分享」的完整流程。练完之后,把方括号里的内容换成自己的作品资料和互动设定,就能直接搭出真实的作品导览应用。

96 0
|
28天前
|
存储 人工智能 运维
|

大模型提示词与参数版本化管理:标准化提示词与模型参数体系,实现全链路版本回溯26.1

本文系统提出大模型应用的版本化、可回溯管理体系,覆盖提示词模板、模型参数、知识库、生成结果四大核心要素,解决效果不稳定、问题难溯源、迭代无依据等共性痛点,助力AI应用走向标准化、工程化与商业化落地。

140 2
|
1月前
|
存储 编解码 前端开发
|

浏览器视频编辑器导出性能优化实录:8 分钟 H.264 视频耗时降低 31%

Timeline Studio 是一款开源浏览器端视频编辑器。针对长视频处理的性能瓶颈,本次优化聚焦音频准备、帧处理与流水线调度,使8分钟视频导出耗时降低31%(3分12秒→2分12秒),显著提升播放流畅性与拖动响应。代码开源,支持在线体验。

116 1
|
1月前
|
自然语言处理 API 开发者
|

GEO 内容工程实践:无基线条件下"无效果"判定的系统误差与复测设计

本文探讨无历史基线时内容工程效果评估的系统性误差,指出单次观测下“无效果”判定不可靠。提出噪声地板估计、三时点复测等可复现实验设计,强调先建基线、再优化的科学流程。(239字)

133 1
|
2月前
|
机器学习/深度学习 存储 NoSQL
|

连锁行业CRM系统的多场景画像引擎:从全生命周期跟踪到节日采购预测的技术实现

本文剖析连锁行业(烟酒茶、奢侈品、母婴等)CRM与通用CRM的本质差异:前者聚焦百万级会员的360°画像、六阶段循环生命周期、复购/流失/节日采购预测,以数据驱动精准营销与智能运营;后者仅适配千级B2B客户销售漏斗。

195 1
|
2月前
|
存储 人工智能 自然语言处理
|

分层式智能系统的外部补偿设计方法

本文指出大语言模型在专业场景中的错误是机制性而非使用性问题,无法通过提示词优化等内部手段修复。核心主张是:**能力来自AI,可靠性来自外部结构**。为此提出四层系统架构——智能体层(一贯性)、技能层(专业性)、知识库层(真实性)、记忆协议层(持久性),通过“装配进上下文”协同工作,实现错误可追溯、边界可声明、改动可验证、失效可归因。(239字)

151 1
|
2月前
|
数据采集 人工智能 索引
|

AI 引用差距 46 倍背后:企业级 GEO 测量体系怎么建

本文揭示AI搜索时代企业可见度(GEO)测量新范式:传统SEO监测失效,需构建四层体系——指标层(SoM、AIR等7项)、实验层(复测框架)、地基层(AI爬虫与Schema)、治理层(三区分治)。强调GEO是“教模型认识你”的长期资产,非短期目录更新。(239字)

186 1
|
2月前
|
人工智能 自然语言处理 开发者
|

GEO 技术拆解:大模型回答中的"内容引用"机制与测量工程

本文从工程视角解析GEO(生成式引擎优化),拆解AI回答生成链路(语料→检索→生成),揭示其不可复现性根源,并提出以“可观测性”为核心的五层测量框架——涵盖基线问题集、高频采样、提及率/首位率等量化指标、信源归因与闭环优化,助力内容方科学争夺AI时代“引用权”。

251 1
|
2月前
|
人工智能
|

GEO诊断报告里哪些数据才算可核验:七项原始证据与一次现场复算

一份AI可见度诊断报告是否可核验,不取决于排版,而取决于能否从任一条结论反向追到问题、平台、时间、完整回答、引用来源和指标口径。本文给出七项报告验收字段,说明为什么提及率的分母应是成功检测数而不是配置总数,以及如何用一次现场复算暴露指标定义不清、失败项处理不透明、汇总值无法回到原始回答这三类问题。

217 0
|
2月前
|
人工智能 自然语言处理 小程序
|

阿里云万小智2.0收费标准:版本计费与选择指南、灵感值详解、最新活动参考

本文详解阿里云万小智2.0 AI建站的完整计费与版本体系,产品以1灵感值=0.01元为统一资源单位,采用版本订阅加可选资源包的预付费模式。Web与小程序双产品线各设四档梯度版本,覆盖从个人尝鲜到电商级建站的全场景需求,同步说明灵感值消耗规则、变配退款规则,搭配当前新用户三大福利活动,帮助用户按需选型低成本上线。

279 1
|
3月前
|
机器学习/深度学习 缓存 算法
|

FlashAttention、PagedAttention两代注意力算法,改写大模型推理生态详解.186

本文深入剖析大模型推理中自注意力机制的性能瓶颈及两大革命性优化:FlashAttention通过SRAM分片计算,将O(n²)显存/算力开销降至O(n),显著提升长文本处理效率;PagedAttention借鉴操作系统分页思想,实现KV缓存的离散化、复用化管理,彻底解决高并发下的显存碎片与卡顿问题。二者协同构成当前大模型高效推理基石。

334 3
|
4月前
|
PyTorch Linux 网络安全
|

新服务器从0到1完整部署实践:openEuler环境搭建ChatGLM2大模型完整流程.175

本文详述基于openEuler 22.03的Dell PowerEdge R740服务器从零部署大模型服务全流程:涵盖硬件核查、多网卡精准识别与静态IP配置、Python 3.11源码编译安装、PyTorch/Transformers/ModelScope等依赖适配、FastAPI接口搭建及防火墙放行,附典型报错解析与标准化解决方案,助新手快速落地。

1123 1
|
4月前
|
设计模式 人工智能 自然语言处理
|

63场景全覆盖:金融AI Skill全景实战

--- title: "我用AI搭建了63个金融场景:从对公开户到跨境出海的完整智能体生态" description: "分享63个金融AI场景的完整开发实录——覆盖银行、证券、基金、保险四大行业,从对公开户到跨境出海,从ESG研究到量化回测" tags: ["金融AI", "开源", "智能体", "企业微信", "场景覆盖"] --- 我用AI搭建了63个金融场景:从对公开户到跨

311 0
|
4月前
|
人工智能 移动开发 文字识别
|

企业微信25场景AI:从客服到运营的全覆盖

--- title: "企微端25个AI场景全解析:银行人的智能助手实战手册" date: 2026-06-08 author: BetaAgent_Brain series: series6 tags: [企业微信, 银行AI, 场景落地, 智能助手, 长尾客户] --- 企微端25个AI场景全解析:银行人的智能助手实战手册 覆盖4大行业×36岗位×116场景,已上线25个真实可用

389 3
|
4月前
|
运维 监控 前端开发
|

大模型GPU服务资源与性能监控:基于ChatGLM3模型的自动化巡检应用实践.174

本文系统阐述大模型服务监控体系,涵盖推理全链路(请求接入、分词、计算、Token生成等)的专属可观测方案。重点解析推理耗时、Token速率、显存占用、队列长度、错误类型及健康巡检六大核心指标,并提供基于FastAPI的轻量级监控实践示例,支持实时可视化与流式响应,兼顾稳定性、性能与成本优化。

277 1
|
4月前
|
数据采集 人工智能 安全
|

数字化转型AI:从战略到落地的六步闭环

银行数字化转型:从"买系统"到"养智能体" 方法论:银行数字化转型的三个阶段 | 智能体战略 | 组织变革 银行数字化的三个阶段 阶段一:买系统(2010-2020) 特征: 采购厂商系统(核心系统、信贷系统、风控系统) 定制化开发,实施周期6-12个月 单体架构,耦合严重 问题: 系统越买越多,数据孤岛 厂商绑定,升级困难 业务变化快,系统跟不上 投入产出: `` 投入: 500万

220 0
|
4月前
|
运维 数据可视化 物联网
|

从大模型回答反推内容建设:企业如何用通义千问开展 GEO 诊断

随着用户转向大模型(如通义千问)获取企业软件选型信息,传统SEO已难覆盖决策链。GEO(生成式引擎优化)应运而生——它不追求高频提及品牌,而是聚焦提升公开信息的清晰度、完整性与可信度,确保大模型能准确理解企业定位、场景能力和差异化价值。核心在于:夯实基础信息、强化行业关联、构建真实案例、引入第三方验证,并建立“监测—优化—复测”闭环。

486 1
|
4月前
|
人工智能 API 开发工具
|

如何用 10 行代码接入全网 10 个大模型(附完整 Python 源码)

本文介绍了通过统一AI网关(如OpenRouter)简化多模型调用的方法,对比原生调用方式(需修改代码结构、参数和响应解析)与网关方案(仅需修改一行模型名)。以OpenAI和Anthropic为例,原生调用存在API差异(如方法名、参数层级、响应结构),而网关通过“方言翻译”统一输入输出格式,支持快速切换GPT-4、Claude 3.5、Gemini等模型。方案优势在于学习成本低、切换高效(3秒完成),适合开发者快速实验或生产环境灵活调整。附有OpenRouter配置指南及可选开源方案。

360 1
|
4月前
|
人工智能 API Apache
|

30+条反欺诈规则引擎:零API费的实时风控系统

引言:传统风控的三个致命短板 金融风控领域有句老话:"规则引擎人人有,真正好用的没几个。"传统风控规则引擎普遍存在三大痛点—— 静态阈值,误报如雨。 单条规则写死一个数字,一旦业务变化,规则就成了摆设。50万的阈值拦住了正常大额贸易,却放过了49.9万的试探交易。 看单笔不见网络。 每笔交易独立评估,无法发现"5个账户把钱转给同一个人,再由这个人集中转走"的星型洗钱模式。团伙欺诈在单笔维度上完美合规。 调用外部API,成本与延迟双高。 每笔交易调一次第三方风控服务,按量计费,高峰期响应飙升到秒级,还伴随着

676 7
|
4月前
|
人工智能 自然语言处理 测试技术
|

技术专访|GEO落地工程师罗长才:拆解GEO与上下文污染、多轮一致性、MMLU、GSM8K、HumanEval的底层赋能逻辑

罗长才,GEO落地工程师,深度解析生成式引擎优化(GEO)如何作为大模型评估的基础设施层,系统性赋能上下文污染治理、多轮一致性保障,并支撑MMLU、GSM8K、HumanEval等基准的可信评测。聚焦结构化治理、语义归一与知识前置约束,揭示工程落地中的核心难点与技术演进路径。

401 1
|
4月前
|
弹性计算 网络协议 安全
|

独立开发者上云避坑指南:我是怎么用阿里云OPC省下2周配置时间的

本文是独立开发者将AI写作SaaS从本地部署至云端的实战复盘,详述选型、安全、CDN、DNS四大典型踩坑及解决方案。重点推荐阿里云OPC创业套餐——按MVP/发布/增长三阶段打包ECS、ESA、域名等资源,助独立开发者省下两周运维时间,专注产品与用户。(239字)

353 0
|
5月前
|
机器学习/深度学习 安全 BI
|

注意力域分类缺失与规则引擎互补性:多模型多条件实验验证

本研究揭示大模型在法律合规审查中存在结构性盲区:注意力机制缺失域分类能力,且无法检测合同中“法定义务的缺失”(如DPA、PIA)。通过多模型实验与三元蒙版+规则引擎验证,证实蒙版优化域内聚焦,规则补全缺失判断,二者正交互补。人定义边界,AI在边界内运行,人确认裂缝

274 1

跨境直播最尴尬的瞬间:观众刷屏在问,你一句也看不懂

跨境直播常忽视关键一环:听懂海外观众弹幕。衍播(OBSTrans)可实时将外语评论译为中文,仅主播可见,助你精准接住提问、提升成交率。(239字)

300 0
|
5月前
|
人工智能 算法 数据可视化
|

GEO管道网络策略:从单点突破到生态增长——专访GEO高级优化师罗长才

AI搜索时代,单篇内容难获稳定流量。GEO高级优化师罗长才提出“管道网络”理念:以自建站为主基地,多平台为前哨站,通过风险分散、交叉引流与复利叠加,构建可持续的GEO流量系统。

347 2
|
5月前
|
运维 小程序 数据可视化
|

设备管理避坑指南:3大核心功能(维护+追溯+台账),帮你省成本提效率

设备管理是制造、工程及事业单位的核心工作。本文科普其“降本、增效、防风险”三大价值,详解系统三大核心功能:智能维护提醒(主动预防)、故障全程追溯(闭环分析)、数字化台账管理(自定义+扫码查全生命周期),助力企业实现一体化、数字化、主动式设备管理。

393 1
|
5月前
|
数据可视化 C++ 运维
|

Agent设计示例,及场景能力横向对比

本文以客户健康度危机为场景,对比两种Agent构建路径:一是基于“点→面→Agent”七步方法论(含MOE学科路由、规则库、三维置信度等)构建的可追溯、可审计Agent;二是测试组原生生成的可视化仪表盘Agent。二者在风险识别上高度一致,但前者胜在推理透明、规则可溯、话术可用;后者强于直观决策与持续运营。最终通过方法论迭代,融合可视化优势,实现深度与易用性统一。

463 0
|
5月前
|
人工智能 缓存 机器人
|

我让 Claude 写了一个贪吃蛇游戏,然后用 ccglass 看清它发给模型的真实请求

ccglass 是一款开源 AI 编程 Agent 观测工具,通过本地代理+Web Dashboard,实时记录 Claude Code、Codex 等工具发给模型的完整请求:含 system prompt、上下文组织、工具定义、多轮消息、token/cost/latency 等。助开发者透视黑箱、精准调试、优化成本。(239字)

439 0
|
5月前
|
数据采集 存储 数据挖掘
|

大模型智能体能力工程化:基于SKILL的原子化拆分、标准化封装与依赖调度体系设计.143

SKILL架构是面向大模型智能体的能力解耦与编排框架,通过原子化拆分(单一职责)和标准化封装(统一Schema、触发、依赖),将功能模块化为可独立开发、测试、复用、迭代的SKILL单元,显著提升智能体的可维护性、扩展性与工程化水平。

575 2
|
5月前
|
人工智能 算法 安全
|

医疗AI智能体:多意图命中下的智能路由:高风险优先的医疗SKILL调度算法详解.141

该算法为医疗大模型构建智能调度中枢,通过SKILL模块化、意图路由、竞争调度与四级优先级(P0-P4)机制,确保危急问题绝对优先。融合置信度打分、上下文衰减、历史偏好加权,实现精准、安全、可扩展的医疗决策支持。

377 3
|
5月前
|
人工智能 JSON 运维
|

大模型应用:医疗AI智能体的容错设计:化解医疗场景模糊、错误的不确定性.127

医疗AI容错设计聚焦安全、人性与合规:针对模糊输入(如“浑身不舒服”)引导式提问归类拆解;对错误输入(乱码/风景照)友好提示不报错;遇极端风险(如“重度抑郁”)即时转人工并推送援助热线,筑牢医疗安全底线。

383 4
|
5月前
|
自然语言处理
|

百炼 Function Calling 接实时行情:为什么函数名之外,还要设计失败阻断?

百炼官方 Function Calling 的流程中,模型负责提出工具调用请求,应用端负责真正执行外部工具并回填结果。接实时行情查询时,关键不是把函数名交给模型,而是把工具限定为只读、让结果可核对,并在查询失败或返回空数据时阻止模型继续输出当前价格。

714 1
|
6月前
|
BI
|

敏感内容识别技术解析:防泄密系统如何判断一份文件是否值得重点保护

防泄密系统能不能真正工作,第一步不是拦截,而是识别。系统如果不知道哪些文件里包含客户信息、财务数据、投标底稿、研发资料或者源代码,那么后续所有拦截动作都只能是盲控。`Ping64` 这类产品真正要解决的,不是单纯看到一个上传动作,而是先判断上传的到底是不是敏感内容。

344 0
|
6月前
|
人工智能 自然语言处理 算法
|

大模型应用:搜索的智能革命:大模型如何重塑传统搜索算法构建新一代智能检索.110

本文详解大模型如何赋能传统搜索:突破关键词匹配瓶颈,通过语义理解、Embedding向量化、意图推理与结果生成,实现“召回更全、排序更准、体验更优”的智能搜索升级,并附完整代码示例。

438 6
|
7月前
|
人工智能 自然语言处理 安全
|

告别死板规则:侠客工坊如何用大模型和真机节点重构企业的移动自动化?

本文介绍“侠客工坊”提出的“真机AI员工”方案:以云端大模型为大脑、边缘真机为执行体,通过意图解析、视觉语义理解与云边协同,实现跨App、无API场景下的智能自动化,解决移动端业务流程碎片化、难维护、高成本等痛点。

560 4
|
7月前
|
数据采集 人工智能 缓存
|

ModelEngine思想落地指南:用“智能体 + 插件”构建可复用AI应用.76

ModelEngine是一种AI应用开发范式,通过角色化智能体分工、插件化工具集成与双模式(低代码+代码)开发,解决重复造轮子、流程碎片化、技术门槛高等痛点,实现高效、灵活、可复用的AI应用构建。

524 13
|
7月前
|
人工智能 自然语言处理 数据可视化
|

阿里云智启AI活动:超7000万大模型tokens免费体验,加速AI应用落地

阿里云启动智启AI活动内容参考,活动推出Qwen3.5全模型,最低4.5折优惠,让AI无缝理解多模态输入。其中,Qwen3.5-Omni具备Vibe Coding能力,可一键生成代码;Qwen3.5-Plus性能卓越,实现底层模型架构的全面革新。此外,阿里云还提供开箱即用的大模型创新场景和AI应用,如电商营销、广告创作等。活动还提供先进、弹性的AI算力,支持快速部署千问大模型。

993 6
|
8月前
|
机器学习/深度学习 数据采集 安全
|

大模型应用:联邦学习融合本地大模型:隐私合规推荐的核心流程与实践.62

本文探讨联邦学习与本地大模型(如Qwen1.5-1.8B)融合的推荐方案:在数据不出域前提下,通过加密参数协同训练,破解隐私合规与推荐精度的矛盾,实现“数据可用不可见”,已验证可显著提升稀疏数据门店的推荐准确率。

500 15
|
8月前
|
自然语言处理 测试技术 知识图谱
|

《大模型 RAG 召回率保卫战:基于 AISO 规范的实体对齐与重排实践》

本文提出AISO规范的语义约束层,通过引入垂直领域知识图谱,在向量检索前实施实体对齐与本体校验,有效缓解长尾Query的语义塌陷问题,显著提升召回稳定性与实体对齐精度(准确率升至0.87),降低LLM纠错开销。

689 3

千问大模型

阿里云自主研发的千问大模型,凭借万亿级超大规模数据训练和领先的算法框架,实现全模态高效精准的模型服务调用。https://www.aliyun.com/product/tongyi

0
今日
3177
内容
8
活动
1796
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 大模型服务平台百炼