|
11月前
|
机器学习/深度学习 PyTorch 编译器
|

深入解析torch.compile:提升PyTorch模型性能、高效解决常见问题

PyTorch 2.0推出的`torch.compile`功能为深度学习模型带来了显著的性能优化能力。本文从实用角度出发,详细介绍了`torch.compile`的核心技巧与应用场景,涵盖模型复杂度评估、可编译组件分析、系统化调试策略及性能优化高级技巧等内容。通过解决图断裂、重编译频繁等问题,并结合分布式训练和NCCL通信优化,开发者可以有效提升日常开发效率与模型性能。文章为PyTorch用户提供了全面的指导,助力充分挖掘`torch.compile`的潜力。

1147 17
|
11月前
|
数据采集 前端开发 JavaScript
|

Python爬虫如何应对网站的反爬加密策略?

Python爬虫如何应对网站的反爬加密策略?

774 11
|
11月前
|
自动驾驶 5G 网络性能优化
|

5G标准化背后的江湖:技术规范如何塑造未来通信

5G标准化背后的江湖:技术规范如何塑造未来通信

795 19
|
12月前
|
测试技术 语音技术 索引
|

GenPRM:思维链+代码验证,通过生成式推理的过程奖励让大模型推理准确率显著提升

本文提出GenPRM,一种生成式过程奖励模型,通过显式Chain-of-Thought推理与代码验证提升大型语言模型性能。针对传统PRMs的局限,GenPRM结合相对进展估计和监督微调,优化推理评估精度。实验表明,GenPRM在ProcessBench及数学任务中显著优于现有方法,且可通过测试时扩展进一步增强性能。然而,该方法在计算开销和跨领域应用上仍存在局限性。

415 0
|
12月前
|
数据采集 存储 NoSQL
|

如何避免Python爬虫重复抓取相同页面?

如何避免Python爬虫重复抓取相同页面?

483 1
|
人工智能 编解码 自然语言处理
|

VideoMind:Chain-of-LoRA突破时间盲区让AI真正看懂长视频

VideoMind是一种新型视频语言代理,专为解决长视频时间定位理解挑战设计。它通过“Chain-of-LoRA”技术结合四个专业角色(Planner、Grounder、Verifier、Answerer)实现高效推理。Planner分析查询并制定计划;Grounder精确定位视频时刻;Verifier验证候选时刻准确性;Answerer生成最终答案。此架构在14个公共基准上表现出色,尤其在长视频定位任务中超越了现有模型,同时保持高内存效率。VideoMind推动了多模态AI的发展,提供了解决复杂视频理解问题的新方法。

10646 5
|
机器学习/深度学习 算法 大数据
|

京东图片搜索拍立淘 API 接口全攻略

京东图片搜索拍立淘 API 基于先进图像识别技术,支持通过上传图片、提供 URL 或拍摄实物搜索相似商品。依托机器学习与大数据,该接口精准匹配商品特征,覆盖广泛商品库,提供高效便捷的购物体验。其特点包括便捷搜索、精准匹配、智能推荐和广泛数据覆盖。示例代码展示如何使用 Python 调用接口,需根据实际文档调整参数与签名算法,确保请求安全性和准确性。

412 1
|
边缘计算 文字识别 自然语言处理
|

当OCR遇见大语言模型:智能文本处理的进化之路

简介:本文探讨光学字符识别(OCR)技术与大语言模型(LLM)结合带来的革新。传统OCR在处理模糊文本、复杂排版时存在局限,而LLM的语义理解、结构解析和多模态处理能力恰好弥补这些不足。文中通过代码实例展示了两者融合在错误校正、文档解析、多语言处理、语义检索及流程革新上的五大优势,并以财务报表解析为例,说明了该技术组合在实际应用中的高效性。此外,文章也展望了未来的技术发展趋势,包括多模态架构、小样本学习和边缘计算部署等方向,预示着文本处理技术正迈向智能认知的新时代。(240字)

959 1
来自: 人工智能平台PAI  版块
|
存储 分布式计算 物联网
|

美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台

美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台,实现了数据与 AI 技术的有效融合,解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台,最终实现不同场景下整体性能提升50%以上,同时综合成本下降30%。

978 58
|
人工智能 自然语言处理 监控
|

大语言模型的解码策略与关键优化总结

本文系统性地阐述了大型语言模型(LLMs)中的解码策略技术原理及其应用。通过深入分析贪婪解码、束搜索、采样技术等核心方法,以及温度参数、惩罚机制等优化手段,为研究者和工程师提供了全面的技术参考。文章详细探讨了不同解码算法的工作机制、性能特征和优化方法,强调了解码策略在生成高质量、连贯且多样化文本中的关键作用。实例展示了各类解码策略的应用效果,帮助读者理解其优缺点及适用场景。

1311 20
|
人工智能 算法 Cloud Native
|

华为、埃森哲都在用的培训法则:3大战场拆解与8家破局者图谱

但当企业竞争进入“深水区”,当AI技术以周为单位迭代时,堆砌知识量 → 标准化课件 → 单向灌输这套模式注定失效。真正的破局者在哪里?那些能将培训嵌入业务毛细血管,用真实项目倒逼能力跃迁,靠前沿技术直击行业痛点的机构,正在改写游戏规则。

486 40
|
机器学习/深度学习 存储 Python
|

深入剖析SVM核心机制:铰链损失函数的原理与代码实现

铰链损失(Hinge Loss)是支持向量机(SVM)中核心的损失函数,广泛应用于机器学习模型训练。其数学形式为 \( L(y, f(x)) = \max(0, 1 - y \cdot f(x)) \),其中 \( y \) 是真实标签,\( f(x) \) 是预测输出。铰链损失具有凸性、非光滑性和稀疏性等特性,能够最大化分类边际并产生稀疏的支持向量,提高模型泛化能力。它在正确分类、边际内分类和错误分类三种情况下有不同的损失值,适用于线性可分问题且对异常值不敏感。铰链损失通过严格的边际要求和连续梯度信息,提供了高效的优化目标,适合构建鲁棒的分类模型。

894 77
|
供应链 数据挖掘 API
|

1688app 商品详情接口系列(1688API)

1688作为国内知名批发采购平台,提供了一系列商品详情接口(API),助力企业和开发者获取商品基础、价格、库存及供应商信息。通过Python示例代码展示如何调用这些接口,应用场景涵盖采购决策辅助、数据分析与市场调研、电商平台整合及供应链管理系统的优化,为企业和采购商提供有力的数据支持,提升业务效率和竞争力。

526 15
|
缓存 API 开发者
|

京东按图搜索商品(拍立淘)API接口系列(京东API)

京东按图搜索商品(拍立淘)API 接口(.jd.item_search_img)通过上传图片搜索京东平台上的相似商品,基于图像识别技术提供便捷的商品搜索方式。适用于电商平台展示、比价等场景。响应参数包括公共参数、商品信息及搜索结果相关参数,方便分页展示和了解整体搜索规模。Python 请求示例展示了如何使用该接口进行图片搜索。

676 15
|
人工智能 Kubernetes Cloud Native
|

跨越鸿沟:PAI-DSW 支持动态数据挂载新体验

本文讲述了如何在 PAI-DSW 中集成和利用 Fluid 框架,以及通过动态挂载技术实现 OSS 等存储介质上数据集的快速接入和管理。通过案例演示,进一步展示了动态挂载功能的实际应用效果和优势。

813 9
来自: 人工智能平台PAI  版块
|
机器学习/深度学习 人工智能 监控
|

AI在交通管理系统中的应用

AI在交通管理系统中的应用

609 23
|
传感器 人工智能 监控
|

AI与物联网的融合:开启智能化未来的新篇章

AI与物联网的融合:开启智能化未来的新篇章

1945 96
|
SQL 存储 分布式计算
|

Hologres+Paimon构建一体化实时湖仓

Hologres 3.0全新升级,面向未来的一体化实时湖仓。它支持多种Table Format,提供湖仓存储、多模式计算、分析服务和Data+AI一体的能力。Hologres与Paimon结合,实现统一元数据管理、极速查询性能、增量消费及ETL功能。Dynamic Table支持流式、增量和全量三种刷新模式,满足不同业务需求,实现一份数据、一份SQL、一份计算的多模式刷新。该架构适用于高时效性要求的场景,也可用于成本敏感的数据共享场景。

356 1
|
机器学习/深度学习 JSON API
|

淘宝图片搜索接口(Taobao.item_search_img)

淘宝图片搜索接口(Taobao.item_search_img)允许开发者通过上传商品图片或提供图片地址,获取相似的淘宝商品列表。该接口基于深度学习和计算机视觉技术,支持注册账号、申请权限、构造请求参数、调用接口、解析响应数据等步骤。适用于电商平台购物体验提升、商家商品优化与推广、商品推荐系统和图片版权保护等场景。

1551 4
|
存储 算法 数据挖掘
|

重磅发布 | OpenSearch推出向量检索GPU图算法方案并支持GPU规格售卖

OpenSearch向量检索版推出了面向企业开发者的GPU图算法方案(CAGRA算法),支持客户直接购买GPU规格节点,是国内首家支持GPU规格的向量检索产品。

1280 12
|
JSON API 开发者
|

淘宝买家秀数据接口(taobao.item_review_show)丨淘宝 API 实时接口指南

淘宝买家秀数据接口(taobao.item_review_show)可获取买家上传的图片、视频、评论等“买家秀”内容,为潜在买家提供真实参考,帮助商家优化产品和营销策略。使用前需注册开发者账号,构建请求URL并发送GET请求,解析响应数据。调用时需遵守平台规定,保护用户隐私,确保内容真实性。

799 4
|
机器学习/深度学习 人工智能 算法
|

国内首家! 阿里云人工智能平台 PAI 通过 ITU 国际标准测评

阿里云人工智能平台 PAI 顺利通过中国信通院组织的 ITU-T AICP-GA国际标准和《智算工程平台能力要求》国内标准一致性测评,成为国内首家通过该标准的企业。阿里云人工智能平台 PAI 参与完成了智算安全、AI 能力中心、数据工程、模型开发训练、模型推理部署等全部八个能力域,共计220余个用例的测试,并100%通过测试要求,获得了 ITU 国际标准和国内可信云标准评估通过双证书。

1478 14
来自: 人工智能平台PAI  版块
|
存储 分布式计算 大数据
|

【赵渝强老师】阿里云大数据生态圈体系

阿里云大数据计算服务MaxCompute(原ODPS)提供大规模数据存储与计算,支持离线批处理。针对实时计算需求,阿里云推出Flink版。此外,阿里云还提供数据存储服务如OSS、Table Store、RDS和DRDS,以及数据分析平台DataWorks、Quick BI和机器学习平台PAI,构建全面的大数据生态系统。

499 18
|
XML JSON API
|

[1688一件代发]API接口关键词搜索(1688.item_search)

1688 一件代发的关键词搜索 API 接口,可快速从平台海量商品库中查找相关信息。主要参数包括:q(搜索关键字)、start_price 和 end_price(价格区间)、page(页码)、page_size(每页显示数量)、sort(排序方式)及 filter(额外过滤条件)。此接口适用于需要精准定位商品的开发者和商家。

515 3
|
人工智能
|

写歌词的技巧和方法:构建独特歌词结构的策略,妙笔生词AI智能写歌词软件

歌词创作如同搭建艺术殿堂,独特的歌词结构是其基石。掌握构建策略,让你的歌词脱颖而出。开头营造神秘氛围或出人意料的情感,主体部分采用倒叙、插叙或融合矛盾情感,结尾带来情感反转或深邃思考。《妙笔生词智能写歌词软件》提供 AI 智能写词、押韵优化等功能,助你轻松获取灵感,打造独特歌词结构。

1278 6
|
机器学习/深度学习 弹性计算 人工智能
|

大模型进阶微调篇(三):微调GPT2大模型实战

本文详细介绍了如何在普通个人电脑上微调GPT2大模型,包括环境配置、代码实现和技术要点。通过合理设置训练参数和优化代码,即使在无独显的设备上也能完成微调,耗时约14小时。文章还涵盖了GPT-2的简介、数据集处理、自定义进度条回调等内容,适合初学者参考。

2912 6
来自: 人工智能平台PAI  版块
|
编译器 C语言
|

变量的声明与定义区别

变量的声明是指预先告知编译器变量的名称和类型,但不分配内存;而定义则是声明的同时在内存中分配空间,可以初始化。简单来说,声明是告诉编译器“有这么一个东西”,定义是“创建并使用这个东西”。

613 11
|
数据采集 文字识别 数据安全/隐私保护
|

轻松抓取:用 requests 库处理企业招聘信息中的联系方式

本文详细介绍如何利用Python的`requests`库结合代理IP技术,突破Boss直聘的登录验证与反爬虫机制,抓取企业招聘信息中的联系方式。文章首先阐述了Boss直聘数据抓取面临的挑战,随后介绍了代理IP轮换、登录会话保持及请求头伪装等关键技术。通过一个完整的示例代码,展示了从配置代理、模拟登录到解析HTML获取联系方式的具体步骤。此方法不仅适用于Boss直聘,还可扩展至其他需登录权限的网站抓取任务。

1699 0
|
数据采集 机器学习/深度学习 人工智能
|

【大语言模型】人类反馈在大语言模型对齐中的可靠性有多高?

当今的对齐研究大多集中在设计新的学习算法上,使用的是如Anthropic-HH这样的数据集,这些研究假设人类反馈数据本质上是可靠的。然而,对于人类反馈的定性不可靠性及其对对齐的影响,关注甚少。为了填补这一空白,我们进行了一项全面研究,并提供了对人类反馈数据的深入分析。

353 4
|
Web App开发 缓存 前端开发
|

前端RAG:使用Transformers.js手搓纯网页版RAG(二)- 基于qwen1.5-0.5B

本文继续探讨了RAG的后半部分,通过在浏览器中运行qwen1.5-0.5B模型实现了增强搜索全流程。然而,由于浏览器与模型性能限制,该方案更适合研究、离线及高隐私场景。文章提供了完整的前端代码,让读者能够动手尝试。此外,详细介绍了代码框架、知识库准备、模型初始化及问答实现等步骤,并展示了实际运行效果。受限于当前技术,除非在离线或高隐私环境下,网页大模型的应用仍需进一步优化。

885 0
|
数据采集 人工智能 监控
|

揭秘数据治理:七步工作法&十大准则全解析

数据治理的“七步工作法”与“十大准则”为企业构建科学、系统、高效的数据治理体系提供了重要的指导和借鉴。企业应结合自身实际情况,灵活运用这些方法和准则,充分挖掘数据潜能,赋能业务创新,实现数字化转型的稳健推进。

1523 0
|
人工智能 自然语言处理 搜索推荐
|

【云栖实录】大模型驱动,开源融合的AI搜索产品发布

本文介绍了2024云栖大会上,阿里云发布的年度AI搜索产品详情。

1049 8
来自: 智能搜索推荐  版块
|
存储 安全 测试技术
|

如何评估 API 的质量

本文详细介绍了评估API质量的关键指标,包括功能性(功能完整性与准确性)、可靠性(稳定性和错误处理)、性能(响应时间和吞吐量)、易用性(文档质量和接口设计)及安全性(身份验证和数据加密),并提供了具体评估方法与测试建议,帮助开发者全面衡量API质量。通过这些评估,可以确保选择到高质量的API,为软件项目奠定坚实基础。

653 5
|
安全 jenkins Devops
|

Jenkins 安全性和权限管理

【8月更文第31天】随着 DevOps 实践的普及,Jenkins 已经成为许多组织中不可或缺的一部分,用于自动化软件开发生命周期中的构建、测试和部署流程。然而,随着 Jenkins 的广泛应用,其安全性也变得越来越重要。Jenkins 提供了一系列的安全特性,包括访问控制列表(ACL)、认证和授权机制,以确保只有经过适当授权的用户才能访问和操作 Jenkins 系统。本文将详细介绍如何配置 Jenkins 的 ACL 以及其他安全措施,以保护 Jenkins 服务器免受未授权访问和攻击。

1209 0
|
机器学习/深度学习 开发工具 git
|

Jupyter 与版本控制系统的集成

【8月更文第29天】在数据科学和机器学习项目中,Jupyter Notebook 提供了一个强大的环境来编写代码、执行实验和记录结果。然而,随着项目的复杂度增加以及团队规模的扩大,版本控制变得至关重要。Git 是最常用的版本控制系统之一,它可以帮助团队协作、追踪变更历史、管理分支等。本文将探讨如何将 Git 与 Jupyter Notebook 集成起来,从而更好地管理代码和文档。

685 0
|
机器学习/深度学习 存储 人工智能
|

ONNX 与安全:保护模型免受攻击

【8月更文第27天】随着人工智能和机器学习模型的应用越来越广泛,模型的安全性也成为了人们关注的重点。Open Neural Network Exchange (ONNX) 作为一种开放的标准格式,不仅可以促进不同框架之间的模型共享,还面临着如何保护模型不被恶意攻击的风险。本文将探讨 ONNX 在模型安全方面的考虑,以及如何利用 ONNX 和其他技术来保护模型免受攻击。

1118 4
|
机器学习/深度学习 PyTorch 编译器
|

PyTorch 与 TorchScript:模型的序列化与加速

【8月更文第27天】PyTorch 是一个非常流行的深度学习框架,它以其灵活性和易用性而著称。然而,当涉及到模型的部署和性能优化时,PyTorch 的动态计算图可能会带来一些挑战。为了解决这些问题,PyTorch 引入了 TorchScript,这是一个用于序列化和优化 PyTorch 模型的工具。本文将详细介绍如何使用 TorchScript 来序列化 PyTorch 模型以及如何加速模型的执行。

867 4
|
机器学习/深度学习 并行计算 PyTorch
|

PyTorch与DistributedDataParallel:分布式训练入门指南

【8月更文第27天】随着深度学习模型变得越来越复杂,单一GPU已经无法满足训练大规模模型的需求。分布式训练成为了加速模型训练的关键技术之一。PyTorch 提供了多种工具来支持分布式训练,其中 DistributedDataParallel (DDP) 是一个非常受欢迎且易用的选择。本文将详细介绍如何使用 PyTorch 的 DDP 模块来进行分布式训练,并通过一个简单的示例来演示其使用方法。

2451 2
|
安全 关系型数据库 分布式数据库
|

PolarDB 的安全性和合规性措施

【8月更文第27天】随着云计算技术的不断发展,企业对云数据库的安全性和合规性的需求日益增长。阿里云的 PolarDB 作为一款高度兼容 MySQL、PostgreSQL 和 Oracle 的关系型数据库服务,提供了强大的安全保护和合规性支持。本文将详细探讨 PolarDB 如何确保数据安全,并符合各种法规要求。

578 0
|
SQL Java Apache
|

实时计算 Flink版操作报错合集之本地启动时,如何处理报错:The file STDOUT does not exist on the TaskExecutor

在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。

1558 1
来自: 实时计算 Flink  版块
|
算法 物联网 Serverless
|

一键打造你的定制化AIGC文生图工具

【8月更文挑战第2天】一键打造你的定制化AIGC文生图工具

731 0
来自: 人工智能平台PAI  版块
|
Kubernetes Java 索引
|

Elasticsearch on K8S 开启慢日志

本文档指导如何在Elasticsearch on PaaS环境中手动配置慢日志。首先通过API设置索引的慢日志阈值,接着创建`log4j2.properties`的ConfigMap以定义日志滚动策略,并修改Elasticsearch配置引入此ConfigMap。最后,通过Kubernetes命令检查Pod内的`logs`目录以查看生成的慢日志文件。需注意,不当配置可能会影响系统性能。[官方文档](https://www.elastic.co/guide/en/elasticsearch/reference/6.8/logging.html)提供更多细节。

541 3
|
机器学习/深度学习 人工智能 算法
|

深入了解AI算法及其实现过程

人工智能(AI)已经成为现代技术发展的前沿,广泛应用于多个领域,如图像识别、自然语言处理、智能推荐系统等。本文将深入探讨AI算法的基础知识,并通过一个具体的实现过程来展示如何将AI算法应用于实际问题。

2076 0
|
SQL 存储 安全
|

SQL安全深度剖析:守护数据安全的坚固防线

展望未来,随着技术的不断进步和攻击手段的不断翻新,SQL安全将面临更多的挑战。因此,我们需要持续关注SQL安全领域的最新动态和技术发展,并不断更新和完善我们的防护措施。同时,加强国际合作与信息共享也是提升全球SQL安全性的重要途径。让我们共同努力,为构建一个更加安全、可靠的数字化环境而奋斗。

790 1
|
存储 监控 数据安全/隐私保护
|

ERP系统中的文档管理与版本控制

【7月更文挑战第25天】 ERP系统中的文档管理与版本控制

603 2
|
Shell iOS开发 MacOS
|

入职必会-开发环境搭建04-IDEA激活

本方法是市面上最简单、方便的JetBrains全家桶激活方法,包含IDEA、PyCharm、CLion、DataGrip、GoLand、PhpStorm、WebStorm均可激活并且支持最新的2023版本。

454 0
|
人工智能 固态存储
|

直播基地、SCN机构对于AI数字人直播独立部署的需求量暴增!

青否数字人提供低成本、高效率的数字人直播解决方案,适合直播基地和SCN机构构建直播矩阵。只需几万块,商家可独立部署源码(zhibo175),实现真人1:1克隆,包括形象和声音。操作简单,通过绿幕视频和声音样本即可快速克隆数字人主播。此外,青否的直播专业版仅需云服务器,降低运营成本,相比其他厂商,服务每个商家成本低至1元。商家还能享受私有化部署带来的品牌独立性和数据安全性。

562 3
|
人工智能 搜索推荐 API
|

一键解锁:快速上手文心一言指令编程实践

【7月更文第18天】随着人工智能技术的飞速发展,对话式AI已经成为连接人与信息的新桥梁。百度的“文心一言”(ERNIE)作为国内领先的预训练语言模型,以其强大的语义理解和生成能力,正逐步改变我们获取信息和交互的方式。本文旨在为开发者提供一份快速上手指南,通过实际代码示例,深入浅出地介绍如何利用文心一言API进行指令编程,解锁AI对话新体验。

877 7
|
机器学习/深度学习 缓存 分布式计算
|

我们来看一个简单的Python代码示例,它使用`joblib`模块来并行执行一个函数:

我们来看一个简单的Python代码示例,它使用`joblib`模块来并行执行一个函数:

589 0
|
机器学习/深度学习 数据采集 搜索推荐
|

Python基于深度学习算法实现图书推荐系统项目实战

Python基于深度学习算法实现图书推荐系统项目实战

962 3
来自: 人工智能平台PAI  版块

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
69314
内容
128
活动
439802
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务