|
机器学习/深度学习 JSON 数据可视化
|

YOLO11-pose关键点检测:训练实战篇 | 自己数据集从labelme标注到生成yolo格式的关键点数据以及训练教程

本文介绍了如何将个人数据集转换为YOLO11-pose所需的数据格式,并详细讲解了手部关键点检测的训练过程。内容涵盖数据集标注、格式转换、配置文件修改及训练参数设置,最终展示了训练结果和预测效果。适用于需要进行关键点检测的研究人员和开发者。

2561 0
|
存储 人工智能 并行计算
|

Pai-Megatron-Patch:围绕Megatron-Core打造大模型训练加速生态

Pai-Megatron-Patch(https://github.com/alibaba/Pai-Megatron-Patch)是阿里云人工智能平台PAI研发的围绕Nvidia MegatronLM的大模型开发配套工具,旨在帮助开发者快速上手大模型,完成大模型(LLM)相关的高效分布式训练,有监督指令微调,下游任务评估等大模型开发链路。最近一年来,我们持续打磨Pai-Megatron-Patch的性能和扩展功能,围绕Megatron-Core(以下简称MCore)进一步打造大模型训练加速技术生态,推出更多的的训练加速、显存优化特性。

1684 8
来自: 人工智能平台PAI  版块
|
监控 大数据 Java
|

使用Apache Flink进行大数据实时流处理

Apache Flink是开源流处理框架,擅长低延迟、高吞吐量实时数据流处理。本文深入解析Flink的核心概念、架构(包括客户端、作业管理器、任务管理器和数据源/接收器)和事件时间、窗口、状态管理等特性。通过实战代码展示Flink在词频统计中的应用,讨论其实战挑战与优化。Flink作为大数据处理的关键组件,将持续影响实时处理领域。

2174 5
|
存储 数据可视化 前端开发
|

数仓常用分层与维度建模

本文介绍了数据仓库的分层结构和维度建模。数仓通常分为ODS、DIM、DWD、DWS和ADS五层,各层负责不同的数据处理阶段。维度建模是数据组织方法,包括星型和雪花模型。星型模型简单直观,查询性能高,适合简单查询;雪花模型则通过规范化减少冗余,提高数据一致性和结构复杂性,但可能影响查询效率。选择模型需根据业务需求和数据复杂性来定。

2950 0
|
机器学习/深度学习 人工智能 自然语言处理
|

阿里通义千问大语言模型在人工智能教育领域的应用探索

阿里通义千问,阿里集团的大型预训练语言模型,应用于AI教育,实现个性化教学、自适应学习系统和智能答疑。通过AIGC,它生成个性化内容,适应不同学生需求,优化教育资源配置,推动教育创新。在教育场景中,模型提供实时反馈,定制学习路径,促进教学质量提升。随着技术进步,AI在教育领域的应用将更加深入,但也需关注伦理与安全。

3603 1
|
消息中间件 Kafka Apache
|

Flink CDC+Kafka 加速业务实时化

阿里巴巴开发工程师,Apache Flink Committer 任庆盛,在 9 月 24 日 Apache Flink Meetup 的分享。

23527 1
来自: 实时计算 Flink  版块
|
存储 SQL 缓存
|

Hologres揭秘:深度解析高效率分布式查询引擎

从阿里集团诞生到云上商业化,随着业务的发展和技术的演进,Hologres也在持续不断优化核心技术竞争力,为了让大家更加了解Hologres,我们计划持续推出Hologers底层技术原理揭秘系列,从高性能存储引擎到高效率查询引擎,高吞吐写入到高QPS查询等,全方位解读Hologers,请大家持续关注!

12736 4
来自: 实时数仓 Hologres  版块
|
2月前
|
存储 数据采集 搜索推荐
|

Python+淘宝API:3步爬取10万条商品评论(附反爬破解技巧)

本文介绍淘宝商品评论爬取技术,涵盖环境配置、接口分析、反爬破解及数据存储。使用Python模拟请求,动态代理与签名绕过风控,结合Flask中转降低封禁风险,实现高效合规的数据采集,适用于竞品分析与用户画像构建。(238字)

381 1
|
2月前
|
机器学习/深度学习 人工智能 物联网
|

AR技术融入到产品质量检测:提升效率与精度的未来趋势

元幂境认为,AR技术正革新产品质量检测,通过虚实融合提升精度、降低门槛、强化培训与协作,广泛应用于制造、电子、医疗及航空航天领域,未来结合AI将迈向智能检测新阶段。

402 0
|
4月前
|
人工智能 自然语言处理 安全
|

Milvus x n8n :自动化拆解Github文档,零代码构建领域知识智能问答

本文介绍了在构建特定技术领域问答机器人时面临的四大挑战:知识滞后性、信息幻觉、领域术语理解不足和知识库维护成本高。通过结合Milvus向量数据库和n8n低代码平台,提出了一种高效的解决方案。该方案利用Milvus的高性能向量检索和n8n的工作流编排能力,构建了一个可自动更新、精准回答技术问题的智能问答系统,并介绍了部署过程中的可观测性和安全性实现方法。

667 0
|
11月前
|
存储 人工智能 自然语言处理
|

阿里云 AI 搜索方案解读:大模型驱动下的智能搜索,助力企业数字化转型

本解读了阿里云 AI搜索整体方案。

1940 41
|
监控 安全 API
|

使用PaliGemma2构建多模态目标检测系统:从架构设计到性能优化的技术实践指南

本文详细介绍了PaliGemma2模型的微调流程及其在目标检测任务中的应用。PaliGemma2通过整合SigLIP-So400m视觉编码器与Gemma 2系列语言模型,实现了多模态数据的高效处理。文章涵盖了开发环境构建、数据集预处理、模型初始化与配置、数据加载系统实现、模型微调、推理与评估系统以及性能分析与优化策略等内容。特别强调了计算资源优化、训练过程监控和自动化优化流程的重要性,为机器学习工程师和研究人员提供了系统化的技术方案。

1071 77
|
机器学习/深度学习 算法 安全
|

从方向导数到梯度:深度学习中的关键数学概念详解

方向导数衡量函数在特定方向上的变化率,其值可通过梯度与方向向量的点积或构造辅助函数求得。梯度则是由偏导数组成的向量,指向函数值增长最快的方向,其模长等于最速上升方向上的方向导数。这两者的关系在多维函数分析中至关重要,广泛应用于优化算法等领域。

965 36
|
算法 API Apache
|

Flink CDC:新一代实时数据集成框架

本文源自阿里云实时计算团队 Apache Flink Committer 任庆盛在 Apache Asia CommunityOverCode 2024 的分享,涵盖 Flink CDC 的概念、版本历程、内部实现及社区未来规划。Flink CDC 是一种基于数据库日志的 CDC 技术实现的数据集成框架,能高效完成全量和增量数据的实时同步。自 2020 年以来,Flink CDC 经过多次迭代,已成为功能强大的实时数据集成工具,支持多种数据库和数据湖仓系统。未来将进一步扩展生态并提升稳定性。

4377 3
来自: 实时计算 Flink  版块
|
SQL 存储 NoSQL
|

基于 Flink 构建大规模实时风控系统在阿里巴巴的落地

阿里云实时计算产品经理李佳林(风元)在 Flink 峰会的演讲。

4039 0
来自: 实时计算 Flink  版块
|
SQL 运维 DataWorks
|

DataWorks数据服务介绍及最佳实践 | 《一站式大数据开发治理DataWorks使用宝典》

DataWorks作为一站式大数据开发治理平台,构建了从数据集成、数据开发、数据服务到应用开发的全链路解决方案。在整个大数据链路中,数据服务将数仓、数据库和数据应用进行串联,形成了一座数据与应用之间的桥梁。数据服务通过将数据封装成数据API的方式,可以为个人、团队及企业提供全面的数据开放及共享能力。借助这个平台,用户能够统一管理面向内外部的API服务。数据服务提供了向下对接数据源、向上支撑业务应用的有效连接。

3880 1
|
SQL 搜索推荐 TensorFlow
|

【最佳实践】阿里云 Elasticsearch 向量检索4步搭建“以图搜图”搜索引擎

“图片搜索”是作为导购类网站,比较常见的一种功能,其实现的方式也有多种。但如何做到快速、精准、简单等特性,本文给你答案。

12640 1
|
1天前
|
消息中间件 自然语言处理 供应链
|

Pandabuy复制指南:淘宝1688代购系统搭建

Pandabuy以“反向海淘”模式为核心,助力海外用户代购中国商品,主打欧美市场。通过物流收费、佣金、汇率差等多元盈利,两年营收达40亿元。依托网红营销、低价策略与社区运营,实现高速增长。系统搭建推荐微服务架构,对接淘宝1688 API,强化合规与供应链管理,结合SEO、社媒营销及风控体系,打造高效安全的国际代购平台。

40 1
|
1月前
|
人工智能 Cloud Native 数据可视化
|

PyCharm 2025.1 完整教程:下载安装 + 中文设置 + 激活,一步到位,附安装包

PyCharm 2025.1 发布,重磅升级AI代码补全、类型推断与ruff集成,提升开发效率。支持渐进式补全、智能提交信息生成、冲突可视化解决,优化启动速度与内存占用,全面增强云原生及现代Python开发体验。

562 5
|
4月前
|
人工智能 监控 搜索推荐
|

使用LangGraph从零构建多智能体AI系统:实现智能协作的完整指南

本文将通过构建AI研究助手的完整案例,展示如何使用LangGraph框架实现这种架构转变,从理论基础到具体实现,帮助你掌握下一代AI系统的构建方法。

973 0
|
7月前
|
人工智能 安全 Shell
|

Jupyter MCP服务器部署实战:AI模型与Python环境无缝集成教程

Jupyter MCP服务器基于模型上下文协议(MCP),实现大型语言模型与Jupyter环境的无缝集成。它通过标准化接口,让AI模型安全访问和操作Jupyter核心组件,如内核、文件系统和终端。本文深入解析其技术架构、功能特性及部署方法。MCP服务器解决了传统AI模型缺乏实时上下文感知的问题,支持代码执行、变量状态获取、文件管理等功能,提升编程效率。同时,严格的权限控制确保了安全性。作为智能化交互工具,Jupyter MCP为动态计算环境与AI模型之间搭建了高效桥梁。

535 2
|
8月前
|
机器学习/深度学习 存储 缓存
|

加速LLM大模型推理,KV缓存技术详解与PyTorch实现

大型语言模型(LLM)的推理效率是AI领域的重要挑战。本文聚焦KV缓存技术,通过存储复用注意力机制中的Key和Value张量,减少冗余计算,显著提升推理效率。文章从理论到实践,详细解析KV缓存原理、实现与性能优势,并提供PyTorch代码示例。实验表明,该技术在长序列生成中可将推理时间降低近60%,为大模型优化提供了有效方案。

1565 15
|
9月前
|
人工智能 运维 安全
|

AI大模型运维开发探索第四篇:智能体分阶段演进路线

本文探讨了智能体工程的演进历程,从最初的思维链(智能体1.0)到实例化智能体(智能体2.0),再到结构化智能体(智能体3.0),最终展望了自演进智能体(智能体4.0)。文章详细分析了各阶段遇到的问题及解决策略,如工具调用可靠性、推理能力提升等,并引入了大模型中间件的概念以优化业务平台与工具间的协调。此外,文中还提到了RunnableHub开源项目,为读者提供了实际落地的参考方案。通过不断迭代,智能体逐渐具备更强的适应性和解决问题的能力,展现了未来AI发展的潜力。

1035 3
来自: 大数据运维SREWorks  版块
|
9月前
|
数据采集 JSON API
|

深入解析:使用 Python 爬虫获取淘宝店铺所有商品接口

本文介绍如何使用Python结合淘宝开放平台API获取指定店铺所有商品数据。首先需注册淘宝开放平台账号、创建应用并获取API密钥,申请接口权限。接着,通过构建请求、生成签名、调用接口(如`taobao.items.search`和`taobao.item.get`)及处理响应,实现数据抓取。代码示例展示了分页处理和错误处理方法,并强调了调用频率限制、数据安全等注意事项。此技能对开发者和数据分析师极具价值。

1374 3
|
10月前
|
JSON API 开发者
|

闲鱼商品详情API接口(闲鱼API系列)

闲鱼商品详情API为开发者提供便捷、高效且合规的途径,获取闲鱼平台上特定商品的详细信息,如标题、价格、描述和图片等。该接口采用GET请求方式,需传入app_key、item_id、timestamp和sign等参数,返回JSON格式数据。示例代码展示了如何使用Python调用此API,包括生成签名和处理响应。开发者需替换实际的app_key、app_secret和商品ID,并关注官方文档以确保接口使用的准确性。

3306 1
|
11月前
|
存储 SQL NoSQL
|

Doris 架构原理及核心特性详解

Doris 是百度内部孵化的OLAP项目,现已开源并广泛应用。它采用MPP架构、向量化执行引擎和列存储技术,提供高性能、易用性和实时数据处理能力。系统由FE(管理节点)和BE(计算与存储节点)组成,支持水平扩展和高可用性。Doris 适用于海量数据分析,尤其在电商、游戏等行业表现出色,但资源消耗较大,复杂查询优化有局限性,生态集成度有待提高。

1736 15
|
Web App开发 移动开发 安全
|

h5页面的优缺点(浅谈)

H5页面优点包括:跨平台性,易于传播,丰富的多媒体支持,开发成本低,更新便捷,良好的交互性。缺点则有:性能受限,功能受限,高度依赖网络,存在安全风险,用户体验一致性差。确保H5页面在不同设备上的兼容性,需遵循HTML5标准,使用响应式设计,并进行多设备测试。优化H5页面性能的方法包括减少HTTP请求,压缩文件大小,利用缓存机制,优化代码执行效率等。

1705 4
|
自然语言处理 资源调度 前端开发
|

前端大模型入门(四):不同文本分割器对比和效果展示-教你如何根据场景选择合适的长文本分割方式

本文详细介绍了五种Langchain文本分割器:`CharacterTextSplitter`、`RecursiveCharacterTextSplitter`、`TokenTextSplitter`、`MarkdownTextSplitter` 和 `LatexTextSplitter`,从原理、优缺点及适用场景等方面进行了对比分析,旨在帮助开发者选择最适合当前需求的文本分割工具,提高大模型应用的处理效率和效果。

2432 1
|
并行计算 PyTorch 编译器
|

pytorch 安装 + 搭配PyCharm

pytorch + pycharm

2911 1
|
人工智能 数据可视化 定位技术
|

DataV AI助手小技巧-如何制作PPT数据地图

“数据地图”是PPT汇报地区业务数据的最佳形式之一;以往制作数据地图需要用户有一定的编程和数据处理基础,制作门槛较高;随着DataV整合通义千问大模型能力之后,不懂编程和设计的用户也可以借助AI助手“零代码”制作数据地图,真正实现了人人可用的地图数据可视化。 进入大模型AI时代,人人可以变成职场跨界多面手!

12337 3
来自: 数据可视化DataV  版块
|
机器学习/深度学习 算法 数据挖掘
|

深度学习中常用损失函数介绍

选择正确的损失函数对于训练机器学习模型非常重要。不同的损失函数适用于不同类型的问题。本文将总结一些常见的损失函数,并附有易于理解的解释、用法和示例

1174 0
|
人工智能 运维 DataWorks
|

语雀+通义千问+DataWorks,让AI定期推送每周总结

DataWorks 数据开发提供强大的工作流及调度能力,且近期上线了数据推送节点,这篇文章简单利用 Shell + AI + 数据推送节点来完成每周工作内容总结。

1513 7
|
机器学习/深度学习 人工智能 安全
|

「随笔」开源大模型与闭源大模型,你更看好哪一方?

开源与闭源AI模型各有利弊。开源促进创新、透明度和学习,但可能有安全风险和质量不一;闭源则保护IP、提供定制服务,但可能限制创新和透明度。混合策略,如基础开源加高级服务闭源,成为平衡点。选择取决于创新、产权、透明度和商业目标。

1015 0
|
人工智能 自然语言处理 搜索推荐
|

文本向量化模型新突破——acge_text_embedding勇夺C-MTEB榜首

在人工智能的浪潮中,大型语言模型(LLM)无疑是最引人注目的潮头。在支撑这些大型语言模型应用落地方面,文本向量化模型(Embedding Model)的重要性也不言而喻。 近期,我在浏览huggingface发现,国产自研文本向量化模型acge_text_embedding(以下简称“acge模型”)已经在业界权威的中文语义向量评测基准C-MTEB(Chinese Massive Text Embedding Benchmark)中获得了第一名。

4152 1
|
存储 传感器 数据可视化
|

3D目标检测数据集 KITTI(标签格式解析、3D框可视化、点云转图像、BEV鸟瞰图)

本文介绍在3D目标检测中,理解和使用KITTI 数据集,包括KITTI 的基本情况、下载数据集、标签格式解析、3D框可视化、点云转图像、画BEV鸟瞰图等,并配有实现代码。

4133 1

如何在cmd中打开指定文件夹路径

如何在cmd中打开指定文件夹路径

2100 0
|
PyTorch 算法框架/工具 Python
|

【Pycharm配置】在Pycharm中配置Jupyter环境

在Pycharm中使用Jupyter,并配置自定义的Conda环境

3919 0
|
人工智能 监控 算法
|

打造算法在线服务领域极致开发体验与性能 — 阿里TPP图化框架技术实践

TPP图化致力于打造一个算法在线服务领域易用、性能极致、迭代效率远超普通方式的产品。本文将介绍TPP图化以及2021年在性能、开发体验上的改进,并介绍未来TPP图化的规划。

3823 2
来自: 智能搜索推荐  版块
|
SQL 分布式计算 关系型数据库
|

DataWorks百问百答69:有哪些数据集成报错(数据集成报错归类)?

数据集成报错归类

10964 5
|
机器学习/深度学习 SQL 人工智能
|

Flink 如何支持特征工程、在线学习、在线预测等 AI 场景?

人工智能应用场景中,Flink 在包括特征工程,在线学习,在线预测等方面都有一些独特优势,为了更好的支持人工智能的使用场景,Flink 社区以及各个生态都在努力。

3619 0
来自: 实时计算 Flink  版块
|
2月前
|
人工智能 自然语言处理 算法
|

【2025云栖大会】AI 搜索智能探索:揭秘如何让搜索“有大脑”

2025云栖大会上,阿里云高级技术专家徐光伟在云栖大会揭秘 Agentic Search 技术,涵盖低维向量模型、多模态检索、NL2SQL及DeepSearch/Research智能体系统。未来,“AI搜索已从‘信息匹配’迈向‘智能决策’,阿里云将持续通过技术创新与产品化能力,为企业构建下一代智能信息获取系统。”

405 9
来自: 智能搜索推荐  版块
|
6月前
|
人工智能 分布式计算 大数据
|

构建AI时代的大数据基础设施-MaxCompute多模态数据处理最佳实践

本文介绍了大数据与AI一体化架构的演进及其实现方法,重点探讨了Data+AI开发全生命周期的关键步骤。文章分析了大模型开发中的典型挑战,如数据管理混乱、开发效率低下和运维管理困难,并提出了解决方案。同时,详细描述了MaxCompute在构建AI时代数据基础设施中的作用,包括其强大的计算能力、调度能力和易用性特点。此外,还展示了MaxCompute在多模态数据处理中的应用实践以及具体客户案例,最后提供了体验MaxFrame解决方案的方式。

763 2
来自: 大数据计算 MaxCompute  版块
|
7月前
|
数据采集 运维 监控
|

Serverless爬虫架构揭秘:动态IP、冷启动与成本优化

随着互联网数据采集需求的增长,传统爬虫架构因固定IP易封禁、资源浪费及扩展性差等问题逐渐显现。本文提出基于Serverless与代理IP技术的新一代爬虫方案,通过动态轮换IP、弹性调度任务等特性,显著提升启动效率、降低成本并增强并发能力。架构图与代码示例详细展示了其工作原理,性能对比数据显示采集成功率从71%提升至92%。行业案例表明,该方案在电商情报与价格对比平台中效果显著,未来有望成为主流趋势。

281 0
|
8月前
|
数据采集 机器学习/深度学习 人工智能
|

面向 MoE 和推理模型时代:阿里云大数据 AI 产品升级发布

2025 AI 势能大会上,阿里云大数据 AI 平台持续创新,贴合 MoE 架构、Reasoning Model 、 Agentic RAG、MCP 等新趋势,带来计算范式变革。多款大数据及 AI 产品重磅升级,助力企业客户高效地构建 AI 模型并落地 AI 应用。

1175 13
|
8月前
|
缓存 并行计算 PyTorch
|

PyTorch CUDA内存管理优化:深度理解GPU资源分配与缓存机制

本文深入探讨了PyTorch中GPU内存管理的核心机制,特别是CUDA缓存分配器的作用与优化策略。文章分析了常见的“CUDA out of memory”问题及其成因,并通过实际案例(如Llama 1B模型训练)展示了内存分配模式。PyTorch的缓存分配器通过内存池化、延迟释放和碎片化优化等技术,显著提升了内存使用效率,减少了系统调用开销。此外,文章还介绍了高级优化方法,包括混合精度训练、梯度检查点技术及自定义内存分配器配置。这些策略有助于开发者在有限硬件资源下实现更高性能的深度学习模型训练与推理。

1608 0
|
12月前
|
机器学习/深度学习 人工智能 数据处理
|

[python 技巧] 快速掌握Streamlit: python快速原型开发工具

本文旨在快速上手python的streamlit库,包括安装,输入数据,绘制图表,基础控件,进度条,免费部署。

1406 64
来自: 人工智能平台PAI  版块
|
机器学习/深度学习 人工智能 算法
|

深入解析图神经网络:Graph Transformer的算法基础与工程实践

Graph Transformer是一种结合了Transformer自注意力机制与图神经网络(GNNs)特点的神经网络模型,专为处理图结构数据而设计。它通过改进的数据表示方法、自注意力机制、拉普拉斯位置编码、消息传递与聚合机制等核心技术,实现了对图中节点间关系信息的高效处理及长程依赖关系的捕捉,显著提升了图相关任务的性能。本文详细解析了Graph Transformer的技术原理、实现细节及应用场景,并通过图书推荐系统的实例,展示了其在实际问题解决中的强大能力。

1610 30
|
机器学习/深度学习 Serverless 定位技术
|

深入理解多重共线性:基本原理、影响、检验与修正策略

本文将深入探讨多重共线性的本质,阐述其重要性,并提供有效处理多重共线性的方法,同时避免数据科学家常犯的陷阱。

830 3
|
数据采集 机器学习/深度学习 人工智能
|

云栖实录 | GenAI 时代 AI Infra 工程技术趋势与平台演进

本文根据2024云栖大会实录整理而成,演讲信息如下: 演讲人:林伟 | 阿里云智能集团研究员、阿里云人工智能平台 PAI 负责人;黄博远|阿里云智能集团资深产品专家、阿里云人工智能平台 PAI 产品负责人 活动:2024 云栖大会 - AI Infra 核心技术专场、人工智能平台 PAI 年度发布专场

2523 1
来自: 人工智能平台PAI  版块
|
机器学习/深度学习 PyTorch TensorFlow
|

ONNX 与量化:提高模型效率

【8月更文第27天】随着人工智能技术的广泛应用,模型部署变得越来越重要。为了在资源受限的设备上运行复杂的机器学习模型,模型量化技术成为了一种有效的手段。Open Neural Network Exchange (ONNX) 作为一种开放格式,支持在不同框架之间交换训练好的模型,同时也支持模型量化。本文将探讨如何结合 ONNX 和模型量化技术来提高模型的效率,减少模型大小并加快推理速度。

2430 2

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
67674
内容
128
活动
439488
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务