|
1月前
|
存储 搜索推荐 PyTorch
|

为什么使用 TorchRec 训练和推理更快

本文结合TorchEasyRec实践,从四大维度解析推荐系统加速:1)KeyedJaggedTensor统一变长特征,实现Embedding批量融合查找;2)自动分布式分片突破单卡显存瓶颈;3)TrainPipelineSparseDist流水线并行,重叠通信与计算;4)fbgemm-gpu融合优化器,减少显存访问。端到端提升训练效率与扩展性。

320 9
来自: 智能搜索推荐  版块
|
1月前
|
并行计算 算法框架/工具 iOS开发
|

TorchRec在macos ARM芯片(Apple Silicon)上无法安装

JaggedTensor等在macOS ARM芯片上无法运行,主因是ARM64与x86_64架构不兼容,且TorchRec深度依赖CUDA——而Apple Silicon仅支持Metal。fbgemm-gpu缺失、Rosetta 2不支持CUDA指令,导致关键操作失败。建议改用MLX框架或标准PyTorch张量替代。

279 4
来自: 智能搜索推荐  版块
|
1月前
|
机器学习/深度学习 自然语言处理 iOS开发
|

Feature Generator(FG)特征算子配置指南

本文档全面介绍Feature Generator(FG)的各类特征算子配置方法,涵盖基础(ID/原始特征)、计算(表达式)、交叉(组合)、查找(Lookup/Match)、文本(重叠/BM25)、序列、预处理(分词/归一化)及字符串处理(正则替换/切片)等9大类算子,附详细配置示例与说明。

339 9
来自: 智能搜索推荐  版块
|
2月前
|
芯片
|

电子工程师必看!2串双节锂电池保护芯片PW7120,应用与选型指南

PW7120采用SOT23-6L的封装形式,PW7120是一款基于COMS的双节可充电锂电池保护电路,它集高精度过电压充电保护、过电压放电保护、过电流充电保护、过电流放电保护、电池短路保护等性能于一身。

325 2
|
2月前
|
人工智能 SEO
|

我学GEO的第一天:原来AI搜东西和百度完全不一样

第1天学GEO,我发现:以前做SEO是让网页排得靠前,现在做GEO是让AI直接提到你。我用这篇文章做了第一个实验,一个月后告诉你结果。

322 1
|
2月前
|
机器学习/深度学习 自然语言处理 监控
|

别再用“好评率”骗自己了:用 Python + Transformers 做一套真正能用的情感分析系统

别再用“好评率”骗自己了:用 Python + Transformers 做一套真正能用的情感分析系统

278 8
|
2月前
|
人工智能 运维 安全
|

基于云边协同的电线电缆押出机智能调机解决方案设计与落地

本方案基于云边协同架构,融合阿里云云原生技术,破解线缆行业押出机调机效率低、原料损耗高、数据孤岛等难题;边缘毫秒级实时控制+云端Al训练优化,实现调机提效80%、降耗60%,部署快、运维省、可扩展

356 9
|
2月前
|
存储 人工智能 运维
|

1949AI 轻量化 AI 自动化 本地自动化工具浏览器自动化 Agent 自动化工具 自动化运维状态监测与消息推送技术实践

1949AI是一款轻量化AI自动化工具,专注本地化、低资源、零配置运维实践。支持浏览器自动化监测、状态智能判定、本地日志存储与消息推送,适配低配电脑与个人/小型团队,安全合规、开箱即用。(239字)

458 5
|
2月前
|
Java 调度 开发者
|

Java AQS:JUC 并发体系的底层同步框架基石

AQS(AbstractQueuedSynchronizer)是Java并发包(JUC)的底层核心,以volatile state + CLH双向队列统一实现同步控制。支持独占(如ReentrantLock)与共享(如Semaphore、CountDownLatch)两种模式,通过模板方法封装排队、阻塞/唤醒等通用逻辑,是理解与定制高性能同步组件的关键基石。(239字)

464 7
|
3月前
|
数据采集 人工智能 前端开发
|

2026年:大规模为Agent构建基础设施(API、数据、环境) 这不是简单的技术迭代,而是整个产业重心的转移

今天目睹AI Agent“巨硬”私有化部署奇迹:它自主打开浏览器、登录12306、查询深圳→宜春高铁票并关闭页面!这背后是2026年AI新范式——以Cloudflare“Markdown for Agents”降本增效,MiniMax M2.5以1美元/小时实现普惠智能。AI正从“能说会写”迈向“真干实事”,基础设施革命已来。

407 1
|
3月前
|
人工智能 安全 芯片
|

基于独立供电和生存奖励的轻量可控AGI架构

本架构提出“电力即生存”的轻量AGI新范式:摒弃GPU依赖,用廉价芯片+独立供电实现硬件平民化;以分库记忆防遗忘、考试机制防作假、信任陷阱防跑偏、电力奖惩促自驱,全程透明可控。240字

305 13
|
3月前
|
人工智能 自然语言处理 小程序
|

给AI拜年差点翻车后,我悟了:RAG和微调,到底谁更懂“人情世故”?

大家好,我是AI伙伴狸猫算君!本文以“AI写春节祝福”为切入点,深入剖析RAG与微调的技术差异:RAG依赖检索拼凑,难捕获独特人情;微调则通过高质量关系感知数据,将“称呼、细节、风格”内化为模型本能。手把手演示30分钟用LLaMA-Factory完成Qwen3微调,让祝福真正有温度、有梗、有你。

295 13
|
3月前
|
物联网
|

LoRA、全参、QLoRA:显存占用结构对比

本文深入剖析大模型微调中显存占用的本质,指出LoRA、全参、QLoRA的差异不在参数量,而在“哪些组件必须常驻显存”。系统拆解显存四大构成:参数、梯度、优化器状态、中间激活,揭示三者各自保留/舍弃/压缩的部分,并强调:**激活(activations)才是OOM主因,而所有方案对此几乎无改善**。破除“换方案即省显存”误区,推动显存问题工程化诊断。

336 1
|
4月前
|
数据采集 机器学习/深度学习 人工智能
|

让你的AI更“懂你”:零代码实践指令微调

指令微调是让大模型“听懂人话、精准执行”的关键技术——它不追求模型更聪明,而致力于更贴心、更可靠。本文用生活化类比讲清Flan-T5、InstructGPT、Self-Instruct三大流派原理,手把手带零代码新手完成数据准备、模型选择、训练测试全流程,并提供避坑指南与效果评估方法。(239字)

345 9
|
4月前
|
算法 数据挖掘 API
|

淘宝店铺全量商品API接口技术实践指南

本文详解淘宝开放平台taobao.item_search_shop接口,涵盖核心功能、参数配置、签名生成、调用流程及实战要点,助力开发者高效获取店铺全量商品数据,实现电商运营与数据分析的自动化对接。(238字)

371 4
|
4月前
|
数据采集 人工智能 监控
|

从原理到实操:大模型微调效果评估完全指南

微调大模型后如何判断效果?本文系统讲解评估核心方法:结合人工与自动化评估,覆盖通用能力与专项技能。通过明确目标、构建测试集、选用工具(如OpenCompass)、分析结果四步,打造完整评估体系。强调“对比”与“迭代”,助你避免灾难性遗忘,真实提升模型性能。

549 3
|
4月前
|
消息中间件 分布式计算 Kafka
|

别再纠结了:Lambda 还是 Kappa?流批统一这件事,真没你想得那么玄乎

别再纠结了:Lambda 还是 Kappa?流批统一这件事,真没你想得那么玄乎

325 5
|
4月前
|
数据采集 JSON 监控
|

淘宝商品评论API使用指南

淘宝商品评论API可批量获取指定商品的评论数据,支持筛选评价类型、分页查询及提取评论内容、评分、晒图、买家信息等。需入驻淘宝开放平台,获取AppKey/AppSecret,调用接口taobao.item.review.get,通过签名验证,实现结构化数据采集,适用于电商分析与口碑监控。(239字)

308 1
|
4月前
|
数据采集 人工智能 算法
|

AI数字人技术厂商市场格局观察

AI数字人技术正从娱乐迈向多元实用场景,2024年市场规模达41.2亿元,增速超85%。世优科技深耕全栈技术,拥60余项专利,服务千余家品牌,助力政企智能化升级,推动行业向标准化、生态化发展。

321 1
来自: 人工智能平台PAI  版块
|
4月前
|
存储 索引 Python
|

图解python | 字典

字典是Python中基于键值对的可变容器,通过键快速查找值。本文以图解+实战形式详解其结构、增删改查操作及特性,并结合字符统计案例,帮助掌握字典的核心用法与应用场景。

361 8
|
5月前
|
运维 Devops 开发工具
|

生产环境缺陷管理

为解决大型团队多分支开发中bug管理混乱、人为疏漏导致生产事故的问题,我们基于go-git开发了分布式工具git-poison。它实现bug的追溯、查询与发布卡点,自动化同步“投毒-解毒”信息,阻塞带未修复bug的版本发布,降低协同成本,避免“重复翻车”。已集成至发布与运维平台,提升缺陷管理效率与系统稳定性。

316 0
|
5月前
|
自然语言处理 fastjson Java
|

FastJson:大面积故障规避案例

本文记录了一次由Kotlin与Java混编工程中误用`{}`赋值引发的FastJson反序列化崩溃问题。因将空对象误写为lambda表达式,导致FastJson内部静态标记位`kotlin_error`被置为true且无法恢复,进而使整个应用反序列化链路瘫痪。问题隐蔽性强,排查耗时两天,最终通过源码分析定位。文章反思了多语言混编下的语法混淆风险、框架信任边界及灰度发布的重要性,强调Bug是成长的阶梯。

371 0
|
5月前
|
存储 安全 小程序
|

1.认识OAuth2.0

OAuth2.0是一种开放授权协议,允许第三方应用在用户授权下访问其资源,而无需获取用户账号密码。它通过令牌(token)机制实现安全授权,广泛用于第三方登录、服务间资源调用等场景,支持授权码、简化、密码和客户端四种模式,兼顾安全性与灵活性。

340 0
|
5月前
|
负载均衡 Java Nacos
|

Gateway服务网关

网关是微服务的统一入口,实现请求路由、权限控制、限流与负载均衡。基于SpringCloud Gateway可构建高性能响应式网关,支持断言与过滤器工厂,灵活实现路由匹配及请求处理,并可通过全局过滤器扩展功能,解决跨域等问题。

483 0
|
5月前
|
运维 Devops 开发工具
|

生产环境缺陷管理

git-poison基于go-git实现,通过“投毒-解毒”机制在多分支环境中精准追踪bug,自动化阻塞带未修复bug的发布,降低协同成本,避免漏修、漏发问题,提升发布安全性与效率。

220 0
|
5月前
|
人工智能 JSON 数据挖掘
|

大模型应用开发中MCP与Function Call的关系与区别

MCP与Function Call是大模型应用的两大关键技术。MCP为模型与外部工具提供标准化通信协议,实现跨模型、跨平台集成;Function Call则是模型调用外部函数的内置机制。前者如“蓝牙协议”,支持多设备互联,后者像“语音助手”,限于单机操作。两者在功能上互补:MCP支持工具热插拔、权限控制与远程调用,适用于企业级复杂系统;Function Call开发简单,适合快速验证单一模型能力。未来趋势将走向融合,形成“模型解析-协议传输-工具执行”的分层架构,推动AI应用生态标准化发展。

434 0
|
5月前
|
JSON 前端开发 API
|

京东商品详情 API 实战指南

京东商品详情API通过抓包分析前端异步请求,获取商品标题、价格、库存等核心信息,适用于电商数据分析与比价系统。本文详解接口逻辑、关键参数及Python实现,并强调反爬策略与合规性,助力开发者安全高效采集数据。(238字)

285 3
|
5月前
|
数据采集 JSON Java
|

实战解析:淘宝商品评论item_review接口

本文详解2025年淘宝开放平台taobao.item.review.get接口合规调用方法,涵盖权限申请、参数配置、HMAC-SHA1签名生成及Java原生代码实现,无需第三方SDK,可快速集成至数据采集系统,稳定获取商品评论详情。

422 0
|
5月前
|
弹性计算 人工智能 对象存储
|

阿里云服务器最新优惠价格表:含 ECS、轻量、GPU 配置及收费标准

阿里云服务器多少钱?阿里云服务器优惠价格表:涵盖轻量应用服务器、ECS 云服务器、GPU 服务器等主流产品,低至 38 元1年、99元和199元收费,部分配置升级至 200M 带宽且不限流量,无论是个人开发者、中小企业还是大型企业,都能找到适配需求的高性价比方案。以下是整理的阿里云最新优惠价格及配置详情::轻量应用服务器200M峰值带宽68元1年(秒杀38元),ECS云服务器2核2G3M带宽99元一年、2核4G、5M带宽、80G系统盘优惠价格199元一年,4核16G服务器10M带宽89元1个月,8核32G服务器10M固定带宽160元一个月,阿里云香港轻量服务器200M带宽25元个月起。方便大

771 7
|
5月前
|
SQL 自然语言处理 数据挖掘
|

ChatBI 选型必看:为什么说“准确率”是评估智能问数工具的第一基石?

当 ChatBI 的准确率不断提升,其价值将从“效率工具”升级为“决策中枢”

381 2
|
5月前
|
人工智能 自然语言处理 安全
|

AI 十大论文精讲(六):拆解 LLM 智能体的 “通用密码”

本文解读复旦NLP团队2023年重磅综述《The Rise and Potential of Large Language Model Based Agents》,系统剖析LLM智能体“大脑-感知-行动”三大核心模块,涵盖单智能体、多智能体、人机协作与智能体社群四大应用场景,提炼工具SKMA体系、安全护栏、结果检查三大落地要点,并提出AGI路径、虚拟到物理迁移等开放问题,为构建通用智能体提供统一范式,被誉为该领域“入门圣经”。

877 4
|
6月前
|
数据采集 存储 算法
|

数据资产上账记:企业如何把“看不见的数据”变成“看得见的资产”?

数据资产上账记:企业如何把“看不见的数据”变成“看得见的资产”?

297 10
|
8月前
|
自然语言处理 前端开发 安全
|

别人还在摸索,你用这篇Hoobuy淘宝代购集运系统搭建攻略开拓欧美反向海淘市场!

淘宝代购集运系统为海外用户提供一站式中国电商购物解决方案,集成商品抓取、多语言展示、本地支付、国际物流与订单追踪功能,支持多平台数据同步与合规运营,通过技术整合破解语言、支付、物流难题,助力逆向海淘高效便捷。

559 1
|
8月前
|
人工智能 运维 搜索推荐
|

大数据+游戏:原来玩家的快乐还能这样被“算”出来?

大数据+游戏:原来玩家的快乐还能这样被“算”出来?

797 11
|
8月前
|
机器学习/深度学习 算法 数据可视化
|

从零开始训练推理模型:GRPO+Unsloth改造Qwen实战指南

推理型大语言模型兴起,通过先思考再作答提升性能。本文介绍GRPO等强化学习算法,详解其原理并动手用Qwen2.5-3B训练推理模型,展示训练前后效果对比,揭示思维链生成的实现路径。

1176 2
|
8月前
|
传感器 数据挖掘
|

为你的数据选择合适的分布:8个实用的概率分布应用场景和选择指南

面对真实数据不知该用哪种分布?本文精炼总结8个实战必备概率分布,涵盖使用场景、避坑指南与代码实现。从二元事件到计数、等待时间、概率建模,再到小样本处理,教你快速选择并验证合适分布,用对模型显著提升分析准确性。

714 10
|
8月前
|
数据采集 数据库 索引
|

新闻网站的数据采集与更新思路

该方案设计了一个跨站点的增量更新引擎,用于高效采集央视新闻、中国新闻网和环球网等多源新闻数据。通过代理IP和内容哈希签名技术,实现新闻的新增与更新检测,大幅降低冗余抓取和带宽消耗。实验表明,该方法在多源新闻采集中具备高效性和实用性,可拓展为行业级舆情雷达系统,支持事件追踪与趋势分析。

546 2
|
9月前
|
JSON 数据挖掘 API
|

小红书笔记评论API数据解析(附代码)

本资源介绍如何通过小红书官方API获取笔记评论数据,包含评论内容、用户信息、点赞数等关键字段。支持分页请求,适用于舆情分析、用户研究及市场调研。提供完整Python调用示例,涵盖请求签名、响应解析等核心流程,助力高效获取结构化评论数据。

644 0
|
9月前
|
机器学习/深度学习 存储 人工智能
|

RAG系统文本检索优化:Cross-Encoder与Bi-Encoder架构技术对比与选择指南

本文将深入分析这两种编码架构的技术原理、数学基础、实现流程以及各自的优势与局限性,并探讨混合架构的应用策略。

731 10
|
9月前
|
数据采集 人工智能 分布式计算
|

训练效率提升100%!阿里云后训练全栈解决方案发布实录

阿里云大数据AI平台推出大模型后训练解决方案,通过全栈AI能力提供从算力到平台的一体化支撑,提升训练效率100%,适配多行业需求,打通大模型落地“最后一公里”。

696 0
|
10月前
|
JSON Java API
|

如何获取sku详情信息

`item_sku`接口用于获取商品的SKU详细信息,支持通过商品ID和SKU ID查询。提供公共参数及请求参数说明,并包含请求和响应示例。支持多种开发语言,如Curl、PHP、JAVA等,适用于电商应用开发。

540 0
|
10月前
|
数据采集 自然语言处理 NoSQL
|

利用中间件实现任务去重与分发精细化:股吧舆情数据采集与分析实战

本项目针对东方财富股吧设计精细化采集方案,解决重复采集、调度混乱与反爬等问题,构建舆情分析数据模型。通过采集帖子内容、用户行为与情绪信号,实现情绪趋势可视化、热点识别与个股预警,助力把握市场风向。

585 0
|
10月前
|
存储 人工智能 机器人
|

让大语言模型在不知道答案时拒绝回答:KnowOrNot框架防止AI幻觉

在政府AI服务中,如何让系统在知识不足时恰当拒绝回答而非生成错误信息是一大挑战。KnowOrNot框架通过构建“知识库外”测试场景,评估AI是否能识别知识边界并合理拒答,从而提升AI服务的可靠性与安全性。

855 0
|
11月前
|
机器学习/深度学习 存储 算法
|

SMOTE-XGBoost实战:金融风控中欺诈检测的样本不平衡解决方案

本文深入探讨金融支付风控领域中的欺诈检测问题,针对样本不平衡的核心痛点,提出一种基于动态密度SMOTE算法的改进方案,并结合优化后的XGBoost模型实现高性能检测。相比传统方法,本文方案在IEEE-CIS数据集上显著提升Recall(达0.85)和AUC-PR(达0.72),同时控制推理时延在合理范围。文章还详细解析特征工程体系、在线推理优化及动态阈值调整机制,并展望联邦学习与图神经网络等未来方向,为实际业务应用提供全面指导。

804 1
|
12月前
|
机器学习/深度学习 数据采集 缓存
|

为什么大厂面试官都在问XGBoost?

作为机器学习面试的必考题,XGBoost为什么如此重要?本文用通俗易懂的方式,带你掌握XGBoost的核心知识点,让你在面试中侃侃而谈,轻松拿下offer!

633 1
|
供应链 API 开发者
|

1688 商品数据接口终极指南:Python 开发者如何高效获取标题 / 价格 / 销量数据(附调试工具推荐)

1688商品列表API是阿里巴巴开放平台提供的服务,允许开发者通过API获取1688平台的商品信息(标题、价格、销量等)。适用于电商选品、比价工具、供应链管理等场景。使用时需构造请求URL,携带参数(如q、start_price、end_price等),发送HTTP请求并解析返回的JSON/XML数据。示例代码展示了如何用Python调用该API获取商品列表。

658 18
|
机器学习/深度学习 测试技术
|

ChronosX: 可使用外生变量的时间序列预测基础模型

时间序列预测中,基础模型虽在单变量任务中表现出色,但引入协变量支持仍面临挑战。Chronos研究团队提出ChronosX架构,通过适配器层有效整合历史与未来协变量信息,适用于任何单变量模型。实验表明,ChronosX显著提升预测性能,尤其在复杂数据集上优势明显。消融研究进一步验证了协变量模块的重要性。尽管需要轻量训练,但其灵活性和通用性为时间序列建模提供了新思路,未来或可通过类似LLM提示机制实现更高效的协变量处理。

962 16
|
JSON 数据挖掘 API
|

小红书笔记评论API接口如何使用

小红书作为生活方式分享平台,评论是用户互动的核心形式。通过小红书笔记评论API接口,开发者可高效获取特定笔记下的评论数据(如内容、昵称、时间、点赞数等),用于舆情分析、用户反馈收集和市场调研。请求参数包括`note_id`、`page`、`page_size`、`timestamp`和`sign`,采用HTTP方式调用,返回JSON格式数据,为业务决策提供数据支持。

891 2
|
人工智能 自然语言处理 数据库
|

云上玩转Qwen3系列之二:PAI-LangStudio搭建联网搜索和RAG增强问答应用

本文详细介绍了如何使用 PAI-LangStudio 和 Qwen3 构建基于 RAG 和联网搜索 的 AI 智能问答应用。该应用通过将 RAG、web search 等技术和阿里最新的推理模型 Qwen3 编排在一个应用流中,为大模型提供了额外的联网搜索和特定领域知识库检索的能力,提升了智能回答的效果,减少了幻觉。开发者可以基于该模板进行灵活扩展和二次开发,以满足特定场景的需求。

1210 5
来自: 人工智能平台PAI  版块
|
存储 SQL 运维
|

中国联通网络资源湖仓一体应用实践

本文分享了中国联通技术专家李晓昱在Flink Forward Asia 2024上的演讲,介绍如何借助Flink+Paimon湖仓一体架构解决传统数仓处理百亿级数据的瓶颈。内容涵盖网络资源中心概况、现有挑战、新架构设计及实施效果。新方案实现了数据一致性100%,同步延迟从3小时降至3分钟,存储成本降低50%,为通信行业提供了高效的数据管理范例。未来将深化流式数仓与智能运维融合,推动数字化升级。

676 0
来自: 实时计算 Flink  版块

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

2
今日
69522
内容
128
活动
439956
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务