|
3月前
|
人工智能 自然语言处理 运维
|

【新模型速递】PAI-Model Gallery云上一键部署Qwen3-Coder模型

Qwen3-Coder 是通义千问最新开源的 AI 编程大模型正式开源,拥有卓越的代码和 Agent 能力,在多领域取得了开源模型的 SOTA 效果。PAI 已支持最强版本 Qwen3-Coder-480B-A35B-Instruct 的云上一键部署。

1456 27
来自: 人工智能平台PAI  版块
|
6月前
|
缓存 并行计算 PyTorch
|

PyTorch CUDA内存管理优化:深度理解GPU资源分配与缓存机制

本文深入探讨了PyTorch中GPU内存管理的核心机制,特别是CUDA缓存分配器的作用与优化策略。文章分析了常见的“CUDA out of memory”问题及其成因,并通过实际案例(如Llama 1B模型训练)展示了内存分配模式。PyTorch的缓存分配器通过内存池化、延迟释放和碎片化优化等技术,显著提升了内存使用效率,减少了系统调用开销。此外,文章还介绍了高级优化方法,包括混合精度训练、梯度检查点技术及自定义内存分配器配置。这些策略有助于开发者在有限硬件资源下实现更高性能的深度学习模型训练与推理。

1153 0
|
7月前
|
机器学习/深度学习 人工智能 数据挖掘
|

AI概率学预测足球大小球让球数据分析

在足球数据分析中,AI概率学预测主要用于大小球和让球盘口的分析。大小球预测通过历史数据、机器学习和实时数据动态调整进球数;让球分析则利用Elo评分等评估实力差距,结合盘口数据预测比赛结果。数据来源包括历史比赛、球队和球员信息及外部因素。模型选择涵盖回归、分类和时间序列模型,并通过交叉验证、误差分析进行优化。实际应用包括制定投注策略、风险管理及开发自动化系统。代码示例展示了使用随机森林回归模型预测进球数的过程。

1007 1
|
11月前
|
机器学习/深度学习 Serverless 定位技术
|

深入理解多重共线性:基本原理、影响、检验与修正策略

本文将深入探讨多重共线性的本质,阐述其重要性,并提供有效处理多重共线性的方法,同时避免数据科学家常犯的陷阱。

607 3
|
12月前
|
机器学习/深度学习 计算机视觉
|

一文详解残差网络

残差网络(ResNet)源于2016年的论文《Deep Residual Learning for Image Recognition》,旨在解决深层网络中的梯度消失和爆炸问题。通过引入残差块,即在网络中添加跳跃连接,使得信息可以直接跨过多层传递,从而有效解决了网络加深导致的训练困难。ResNet不仅显著提高了模型性能,还促进了深度学习领域的发展。

1716 3
|
机器学习/深度学习 人工智能 自然语言处理
|

手把手带你5分钟搭建企业级AI问答知识库

【8月更文挑战第3天】手把手带你5分钟搭建企业级AI问答知识库

1186 4
来自: 实时数仓 Hologres  版块
|
机器学习/深度学习 运维 算法
|

「AIGC算法」K-means聚类模型

**K-means聚类模型概览:** - 是无监督学习算法,用于数据集自动分组。 - 算法步骤:初始化质心,分配数据点,更新质心,迭代直至收敛。 - 关键点包括K的选择、初始化方法、收敛性和性能度量。 - 优点是简单快速,适合大样本,但对初始点敏感,需预设K值,且仅适于球形簇。 - 应用场景包括图像分割、市场分析、异常检测等。 - 示例展示了使用scikit-learn对Iris数据集和自定义CSV数据进行聚类。

454 0
|
Android开发 Windows
|

android studio开发时提示 TLS 握手错误解决办法

在Windows环境下遇到TLS协议版本不支持的错误,Gradle构建失败。解决方案是在build.gradle.kts中设置系统属性`https.protocols`为`TLSv1.2`,而非遵循误导信息设置为TLSv1.1。

1438 2
|
人工智能 JSON 运维
|

AI大模型运维开发探索第三篇:深入浅出运维智能体

大模型出现伊始,我们就在SREWorks开源社区征集相关的实验案例。玦离同学提供了面向大数据HDFS集群的智能体案例,非常好地完成了运维诊断的目标。于是基于这一系列的实验和探索。本文详细介绍智能体在运维诊断中的应用探索。

3544 3
来自: 大数据运维SREWorks  版块
|
机器学习/深度学习 传感器 算法
|

单目3D目标检测 方法综述——直接回归方法、基于深度信息方法、基于点云信息方法

本文综合整理单目3D目标检测的方法模型,包括:基于几何约束的直接回归方法,基于深度信息的方法,基于点云信息的方法。万字长文,慢慢阅读~ 直接回归方法 涉及到模型包括:MonoCon、MonoDLE、MonoFlex、CUPNet、SMOKE等。 基于深度信息的方法 涉及到模型包括:MF3D、MonoGRNet、D4LCN、MonoPSR等。 基于点云信息的方法 涉及到模型包括:Pseudo lidar、DD3D、CaDDN、LPCG等。

2465 2
|
机器学习/深度学习 算法 计算机视觉
|

多目标跟踪 | 评测指标

多目标跟踪器的性能需要某些指标来进行度量,目前使用比较广泛的评测指标主要有 Bernardin 等人定义的 CLEAR MOT 指标、Ristani 等人定义的 ID scores 指标以及最新的 Luiten 等人定义的HOTA 指标。

2704 2
|
机器学习/深度学习 PyTorch 算法框架/工具
|

SE 注意力模块 原理分析与代码实现

本文介绍SE注意力模块,它是在SENet中提出的,SENet是ImageNet 2017的冠军模型;SE模块常常被用于CV模型中,能较有效提取模型精度,所以给大家介绍一下它的原理,设计思路,代码实现,如何应用在模型中。

4014 0
|
机器学习/深度学习 存储 算法
|

机器学习面试笔试知识点-决策树、随机森林、梯度提升决策树(GBDT)、XGBoost、LightGBM、CatBoost

机器学习面试笔试知识点-决策树、随机森林、梯度提升决策树(GBDT)、XGBoost、LightGBM、CatBoost

1174 0
|
机器学习/深度学习 数据采集 人工智能
|

从零开始构建自己的AI:一个初学者的机器学习教程

通过这个简单的机器学习教程,我们初步了解了从数据收集、选择模型到训练和预测的基本流程。机器学习是一个广阔的领域,有很多知识和技能需要深入学习。希望本教程能为初学者提供一个入门的指引,引导大家探索更多有关机器学习的知识。感谢您阅读本文,如果您有任何问题或想法,请在评论区与我分享!让我们一起踏上机器学习的旅程,构建属于自己的AI。

3910 1
|
分布式计算 DataWorks MaxCompute
|

PyODPS DataFrame 的代码在哪里跑

在使用 PyODPS DataFrame 编写数据应用时,尽管编写的是同一个脚本文件,但其中的代码会在不同位置执行,这可能导致一些无法预期的问题,本文介绍当出现相关问题时,如何确定代码在何处执行,以及提供部分场景下解决问题的方法。

6071 0
来自: 大数据计算 MaxCompute  版块
|
4天前
|
人工智能 分布式计算 安全
|

别等钱飞了才后悔:大数据如何守护我们的在线支付安全?

别等钱飞了才后悔:大数据如何守护我们的在线支付安全?

33 8
|
1月前
|
数据采集 机器学习/深度学习 人工智能
|

YOLOv11浅浅解析:架构创新

YOLOv11是YOLO系列最新升级版,通过C3k2模块、SPPF优化和解耦检测头等创新,显著提升检测精度与速度,mAP提高2-5%,推理更快,支持多平台部署,适用于工业、安防、自动驾驶等场景。

310 1
|
1月前
|
机器学习/深度学习 算法
|

Proximal SFT:用PPO强化学习机制优化SFT,让大模型训练更稳定

本文介绍了一种改进的监督微调方法——Proximal Supervised Fine-Tuning (PSFT),旨在解决传统SFT易过拟合、泛化能力差及导致“熵坍塌”的问题。受PPO强化学习算法启发,PSFT通过引入参数更新的稳定性机制,防止模型在训练中变得过于确定,从而提升探索能力与后续强化学习阶段的表现。实验表明,PSFT在数学推理、模型对齐及泛化能力方面均优于传统SFT。

185 3
|
2月前
|
人工智能 自然语言处理 安全
|

Milvus x n8n :自动化拆解Github文档,零代码构建领域知识智能问答

本文介绍了在构建特定技术领域问答机器人时面临的四大挑战:知识滞后性、信息幻觉、领域术语理解不足和知识库维护成本高。通过结合Milvus向量数据库和n8n低代码平台,提出了一种高效的解决方案。该方案利用Milvus的高性能向量检索和n8n的工作流编排能力,构建了一个可自动更新、精准回答技术问题的智能问答系统,并介绍了部署过程中的可观测性和安全性实现方法。

392 0
|
3月前
|
机器学习/深度学习 人工智能 算法
|

Post-Training on PAI (4):模型微调SFT、DPO、GRPO

阿里云人工智能平台 PAI 提供了完整的模型微调产品能力,支持 监督微调(SFT)、偏好对齐(DPO)、强化学习微调(GRPO) 等业界常用模型微调训练方式。根据客户需求及代码能力层级,分别提供了 PAI-Model Gallery 一键微调、PAI-DSW Notebook 编程微调、PAI-DLC 容器化任务微调的全套产品功能。

834 3
来自: 人工智能平台PAI  版块
|
7月前
|
人工智能 边缘计算 算法
|

DistilQwen2.5-R1发布:知识蒸馏助推小模型深度思考

DistilQwen2.5-R1通过知识蒸馏技术,将大规模深度推理模型的知识迁移到小模型中,显著提升了小模型的推理能力。实验结果表明,DistilQwen2.5-R1在数学、代码和科学问题等多个基准测试中表现优异,尤其在7B参数量级上超越了其他开源蒸馏模型。 本文将深入阐述 DistilQwen2.5-R1 的蒸馏算法、性能评估,并且提供在阿里云人工智能平台 PAI 上的使用指南及相关下载教程。

923 64
来自: 人工智能平台PAI  版块
|
7月前
|
数据采集 存储 SQL
|

从零开始搭建大数据平台:屌丝逆袭指南

从零开始搭建大数据平台:屌丝逆袭指南

731 1
|
7月前
|
数据采集 存储 监控
|

网站价格监控:动态价格数据的实时抓取案例

本案例展示了如何利用爬虫技术实时抓取京东等电商平台的商品信息、价格及用户评价,通过代理IP、Cookie和User-Agent确保数据稳定采集。关键数据分析包括价格动态监控、评价趋势分析和竞争情报获取,助力商家制定策略。代码从简单请求逐步演进为具备异常处理、数据解析等功能的完整体系,并设计了「技术关系图谱」,直观展示系统模块间的关系,为开发者提供全局视角和技术路径参考。

1151 0
|
8月前
|
机器学习/深度学习 人工智能 自然语言处理
|

国产AI神器Deepseek,本地离线使用教程!

国产AI神器Deepseek,本地离线使用教程!

1003 14
来自: 人工智能平台PAI  版块
|
9月前
|
存储 SQL 数据挖掘
|

深入理解 Flink 中的 State

Flink 的 State(状态)是其四大核心之一,为流处理和批处理任务提供强大支持。本文深入探讨 Flink 中的状态管理,涵盖 State 在 HDFS 中的存储格式、存在形式(如 ValueState、ListState 等)、使用方法、过期时间 TTL 和清除策略,并介绍 Table API 和 SQL 模块中的状态管理。通过实际案例,帮助读者理解如何在电商订单处理、实时日志统计等场景中有效利用状态管理功能。

842 16
来自: 实时计算 Flink  版块
|
11月前
|
自然语言处理 算法 搜索推荐
|

NLTK模块使用详解

NLTK(Natural Language Toolkit)是基于Python的自然语言处理工具集,提供了丰富的功能和语料库。本文详细介绍了NLTK的安装、基本功能、语料库加载、词频统计、停用词去除、分词分句、词干提取、词形还原、词性标注以及WordNet的使用方法。通过示例代码,帮助读者快速掌握NLTK的核心功能。

2049 1
|
自然语言处理 资源调度 前端开发
|

前端大模型入门(四):不同文本分割器对比和效果展示-教你如何根据场景选择合适的长文本分割方式

本文详细介绍了五种Langchain文本分割器:`CharacterTextSplitter`、`RecursiveCharacterTextSplitter`、`TokenTextSplitter`、`MarkdownTextSplitter` 和 `LatexTextSplitter`,从原理、优缺点及适用场景等方面进行了对比分析,旨在帮助开发者选择最适合当前需求的文本分割工具,提高大模型应用的处理效率和效果。

2025 1
|
数据采集 文字识别 数据安全/隐私保护
|

轻松抓取:用 requests 库处理企业招聘信息中的联系方式

本文详细介绍如何利用Python的`requests`库结合代理IP技术,突破Boss直聘的登录验证与反爬虫机制,抓取企业招聘信息中的联系方式。文章首先阐述了Boss直聘数据抓取面临的挑战,随后介绍了代理IP轮换、登录会话保持及请求头伪装等关键技术。通过一个完整的示例代码,展示了从配置代理、模拟登录到解析HTML获取联系方式的具体步骤。此方法不仅适用于Boss直聘,还可扩展至其他需登录权限的网站抓取任务。

1086 0
|
机器学习/深度学习 PyTorch 算法框架/工具
|

图像数据增强库综述:10个强大图像增强工具对比与分析

在深度学习和计算机视觉领域,数据增强是提升模型性能和泛化能力的关键技术。本文全面介绍了10个广泛使用的图像数据增强库,分析其特点和适用场景,帮助研究人员和开发者选择最适合需求的工具。这些库包括高性能的GPU加速解决方案(如Nvidia DALI)、灵活多功能的Albumentations和Imgaug,以及专注于特定框架的Kornia和Torchvision Transforms。通过详细比较各库的功能、特点和适用场景,本文为不同需求的用户提供丰富的选择,助力深度学习项目取得更好的效果。选择合适的数据增强库需考虑性能需求、任务类型、框架兼容性及易用性等因素。

1822 10
|
机器学习/深度学习 算法 大数据
|

【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析

2024“华为杯”数学建模竞赛,对ABCDEF每个题进行详细的分析,涵盖风电场功率优化、WLAN网络吞吐量、磁性元件损耗建模、地理环境问题、高速公路应急车道启用和X射线脉冲星建模等多领域问题,解析了问题类型、专业和技能的需要。

4876 22
|
缓存 Shell 网络安全
|

Git Bash⭐二、与仓库建立连接、提交与下拉项目

Git Bash⭐二、与仓库建立连接、提交与下拉项目

1144 2
|
存储 传感器 网络协议
|

ClickHouse 数据类型、表引擎与TTL

ClickHouse数据类型包括UInt8、Int64等,对应Java的Short、Long等,支持数字、字符串、日期时间、数组、枚举、UUID和IP地址等多种类型。建表时需确定好数据类型,避免后期转换影响效率。不要使用Nullable类型,因其低效。合理设置分区和索引,避免轻量删除和修改操作。表引擎如TinyLog适合小规模数据,MergeTree适用于有序时间序列,ReplacingMergeTree用于替换更新数据,AggregatingMergeTree和SummingMergeTree做聚合计算,CollapsingMergeTree保留最新状态。

912 1
|
Windows
|

Coze开源软件Windows客户端-coze_desk

Coze开源软件Windows客户端-coze_desk

2030 0
来自: 人工智能平台PAI  版块
|
开发框架 前端开发 机器人
|

从模型到前端,你应该知道的LLM生态系统指南

LLM在在2023年发展的风生水起,一个围绕LLM的庞大生态系统正在形成,本文通过介绍这个生态系统的核心组成部分,来详细整理LLM的发展。

845 2
|
机器学习/深度学习 算法 计算机视觉
|

3D目标检测框架 MMDetection3D环境搭建 docker篇

本文介绍如何搭建3D目标检测框架,使用docker快速搭建MMDetection3D的开发环境,实现视觉3D目标检测、点云3D目标检测、多模态3D目标检测等等。

1442 0
|
机器学习/深度学习 人工智能 自然语言处理
|

神经网络:模拟人脑以实现智能决策

神经网络作为模拟人脑神经元工作原理的模型,在人工智能领域发挥了重要作用。从图像识别到自然语言处理,神经网络在多个领域展现出强大的能力。随着技术的不断进步,神经网络有望在未来实现更高级别的智能决策,为人工智能的发展带来新的机遇和挑战。

610 1
|
机器学习/深度学习 数据采集 搜索推荐
|

10种数据分析的模型思维让你“灵光一闪”

推荐10种数据分析思维,让你在工作中带来“灵光一闪”的感觉 本文来源于阿里开发者公众号

905 0
|
存储 关系型数据库 MySQL
|

技术原理,Hologres Binlog技术原理揭秘

详细介绍Hologres Binlog技术原理以及最佳实践。

3005 4
来自: 实时数仓 Hologres  版块
|
机器学习/深度学习 自然语言处理 搜索推荐
|

电商搜索能力解读--实体识别(NER)

搜索是电商行业业务转化中最重要的功能,那你了解其中的技术实现原理吗?一起来了解基于多年淘系全量数据和知识库深入优化的电商行业实体识别的能力吧,在查询分析和类目预测中能带来哪些优化效果那~

3356 0
来自: 智能搜索推荐  版块
|
机器学习/深度学习 存储 运维
|

Elasticsearch 既是搜索引擎又是数据库?真的有那么全能吗?

经常遇到很多朋友询问,如何学好 Elasticsearch?这个问题本质上很不好回答,但我一直又很想好好回答,所以本文就以我个人的经验视角,跟大家探讨一下如何正确的拥抱 Elasticsearch。

13634 2
|
SQL 存储 分布式计算
|

Data Lake 三剑客——Delta、Hudi、Iceberg 对比分析

定性上讲,三者均为 Data Lake 的数据存储中间层,其数据管理的功能均是基于一系列的 meta 文件。meta 文件的角色类似于数据库的 catalog/wal,起到 schema 管理、事务管理和数据管理的功能。

18051 3
|
4月前
|
传感器 人工智能 安全
|

运营商三要素API的实战指南:实现 “人 - 证 - 号” 三位一体核验

在数字身份欺诈频发的背景下,传统单点验证已无法满足高安全需求。探数API推出的“运营商三要素核验API”,通过姓名、身份证号、手机号的三重交叉验证,构建起“铁三角”防线,广泛适用于金融、政务、电商等领域。该API支持一致性验证及基础信息返回(可选),具备高准确性与防伪性,远超单一或双因素验证方式。其调用流程简单,提供Python示例代码及异常处理建议,助力打造更安全的数字身份体系,成为连接多领域的关键桥梁。未来,多因子融合的身份认证将成为趋势,而三要素核验API正是当前可信数字身份的重要基石。

526 2
|
6月前
|
数据采集 机器学习/深度学习 算法
|

别急着上算法,咱先把数据整明白:大数据分析的5个基本步骤,你都搞对了吗?

别急着上算法,咱先把数据整明白:大数据分析的5个基本步骤,你都搞对了吗?

356 4
|
6月前
|
供应链 测试技术
|

产品工作流程 - AxureMost

本文介绍了产品工作流程中的IPD(集成产品开发)流程,强调产品经理对整个产品过程的管控。IPD流程包含六个主要阶段:概念、计划、开发、验证、发布和生命周期管理,每个阶段都有明确目标、活动及决策评审点(DRP),以确保项目按目标推进并适应市场变化,提升产品开发成功率与市场响应速度。

518 0
|
8月前
|
机器学习/深度学习 存储 算法
|

DistilQwen2.5发布:通义千问蒸馏小模型再升级

为解决大语言模型在资源有限环境下的高计算成本和复杂性问题,阿里云推出了基于 Qwen2.5 的轻量化模型系列 DistilQwen2.5。该模型通过双层蒸馏框架、数据优化策略及参数融合技术,在保留性能的同时显著降低计算资源消耗。本文提供了详细的使用教程和代码示例,方便用户在 PAI 平台上调用。

1209 7
来自: 人工智能平台PAI  版块
|
8月前
|
Web App开发 安全 Linux
|

【独家揭秘2025】VMware Workstation Pro虚拟机:免费安装教程大放送,一键解锁操作系统模拟神器!

VMware Workstation Pro 是由威睿(VMware)公司开发的一款功能强大的桌面虚拟化软件,允许用户在同一台物理计算机上同时运行多个操作系统,如Windows、..

579 2
|
8月前
|
人工智能 运维 Cloud Native
|

【技术产品】DS三剑客:DeepSeek、DataSophon、DolphineSchduler浅析

在大数据与云原生技术快速发展的时代,开源技术成为推动行业进步的重要力量。本文深入探讨了三个备受瞩目的开源产品组件:DeepSeek、DataSophon 和 DolphinScheduler。DeepSeek 是专注于自然语言处理的大语言模型,具备多模态交互和高效推理功能;DataSophon 是大数据云原生平台的智能管家,提供快速部署和智能化运维;DolphinScheduler 则是分布式任务调度系统,支持复杂工作流的编排与执行。三者分别在大语言模型、大数据管理和任务调度领域展现了强大的技术实力,并通过技术互补共同推动AI与大数据技术的深度融合。

1148 2
|
9月前
|
安全 网络协议 网络安全
|

解析HTTP代理服务器不稳定致使掉线的关键原因

随着数字化发展,网络安全和隐私保护成为核心需求。HTTP代理服务器掉线原因主要包括:1. 网络问题,如本地网络不稳定、路由复杂;2. 服务器质量差、IP资源不稳定;3. 用户配置错误、超时或请求频率异常;4. IP失效或协议不兼容。这些问题会影响连接稳定性。

381 8
来自: 大数据计算 MaxCompute  版块
|
9月前
|
机器学习/深度学习 存储 数据管理
|

面向强化学习的状态空间建模:RSSM的介绍和PyTorch实现

循环状态空间模型(Recurrent State Space Models, RSSM)由 Danijar Hafer 等人提出,是现代基于模型的强化学习(MBRL)中的关键组件。RSSM 旨在构建可靠的环境动态预测模型,使智能体能够模拟未来轨迹并进行前瞻性规划。本文介绍了如何用 PyTorch 实现 RSSM,包括环境配置、模型架构(编码器、动态模型、解码器和奖励模型)、训练系统设计(经验回放缓冲区和智能体)及训练器实现。通过具体案例展示了在 CarRacing 环境中的应用,详细说明了数据收集、训练过程和实验结果。

456 13
|
12月前
|
存储 人工智能 自然语言处理
|

Github上的十大RAG(信息检索增强生成)框架

信息检索增强生成(RAG)是一种结合了检索系统和生成模型优势的技术,能够显著提升大型语言模型的性能。RAG通过从外部知识库中检索相关信息,增强模型的输入,从而生成更加准确、符合上下文、实时更新的响应。GitHub上涌现出多个开源RAG框架,如Haystack、RAGFlow、txtai等,每个框架都有独特的功能和特性,适用于不同的应用场景。这些框架不仅提高了模型的准确性和可靠性,还增强了过程的透明度和可解释性。

1425 2

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
67317
内容
127
活动
439317
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务