|
6月前
|
机器学习/深度学习 人工智能 API
|

AI 发展 && MCP

AI发展——计算机视觉、ChatGPT、Sora、DeepSeek、生成式AI。什么是MCP,Prompt、LLM、Function Call、Agent、MCP是什么,各自区别;MCP如何工作,MCP架构、MCP Server工作原理,Cursor如何使用MCP,自定义MCP Server

975 46
|
7月前
|
人工智能 分布式计算 大数据
|

构建AI时代的大数据基础设施-MaxCompute多模态数据处理最佳实践

本文介绍了大数据与AI一体化架构的演进及其实现方法,重点探讨了Data+AI开发全生命周期的关键步骤。文章分析了大模型开发中的典型挑战,如数据管理混乱、开发效率低下和运维管理困难,并提出了解决方案。同时,详细描述了MaxCompute在构建AI时代数据基础设施中的作用,包括其强大的计算能力、调度能力和易用性特点。此外,还展示了MaxCompute在多模态数据处理中的应用实践以及具体客户案例,最后提供了体验MaxFrame解决方案的方式。

832 2
来自: 大数据计算 MaxCompute  版块
|
7月前
|
搜索推荐 安全 API
|

聚合电商API:一键连接多平台数据

聚合电商API接口平台整合淘宝、天猫、京东等多平台API,提供一站式数据服务。核心功能包括数据整合、多平台搜索、详细解析与定制化服务,助力商家高效管理订单、优化商品推荐及支持数据驱动决策。平台注重智能化、个性化与全渠道发展,保障数据安全,推动业务增长。

637 2
|
8月前
|
SQL 存储 NoSQL
|

Flink x Paimon 在抖音集团生活服务的落地实践

本文整理自抖音集团数据工程师陆魏与流式计算工程冯向宇在Flink Forward Asia 2024的分享,聚焦抖音生活服务业务中的实时数仓技术演变及Paimon湖仓实践。文章分为三部分:背景及现状、Paimon湖仓实践与技术优化。通过引入Paimon,解决了传统实时数仓开发效率低、资源浪费、稳定性差等问题,显著提升了开发运维效率、节省资源并增强了任务稳定性。同时,文中详细探讨了Paimon在维表实践、宽表建设、标签变更检测等场景的应用,并介绍了其核心技术优化与未来规划。

785 10
来自: 实时计算 Flink  版块
|
9月前
|
数据采集 存储 Web App开发
|

如何避免爬虫因Cookie过期导致登录失效

如何避免爬虫因Cookie过期导致登录失效

875 7
|
9月前
|
人工智能 Linux 定位技术
|

使用 Godot 开发游戏的通用流程

使用 Godot 开发游戏的通用流程

1069 3
|
9月前
|
移动开发 人工智能 定位技术
|

用 Godot 开发像素风《饥荒》的流程

用 Godot 开发像素风《饥荒》的流程

598 6
|
10月前
|
机器学习/深度学习 JavaScript PyTorch
|

9个主流GAN损失函数的数学原理和Pytorch代码实现:从经典模型到现代变体

生成对抗网络(GAN)的训练效果高度依赖于损失函数的选择。本文介绍了经典GAN损失函数理论,并用PyTorch实现多种变体,包括原始GAN、LS-GAN、WGAN及WGAN-GP等。通过分析其原理与优劣,如LS-GAN提升训练稳定性、WGAN-GP改善图像质量,展示了不同场景下损失函数的设计思路。代码实现覆盖生成器与判别器的核心逻辑,为实际应用提供了重要参考。未来可探索组合优化与自适应设计以提升性能。

826 7
|
10月前
|
存储 JSON 分布式计算
|

StarRocks + Paimon 在阿里集团 Lakehouse 的探索与实践

阿里集团在推进湖仓一体化建设过程中,依托 StarRocks 强大的 OLAP 查询能力与 Paimon 的高效数据入湖特性,实现了流批一体、存储成本大幅下降、查询性能数倍提升的显著成效: A+ 业务借助 Paimon 的准实时入湖,显著降低了存储成本,并引入 StarRocks 提升查询性能。升级后,数据时效提前60分钟,开发效率提升50%;JSON列化存储减少50%,查询性能提升最高达10倍;OLAP分析中,非JOIN查询快1倍,JOIN查询快5倍。 饿了么升级为准实时Lakehouse架构后,在时效性仅损失1-5分钟的前提下,实现Flink资源缩减、StarRocks查询性能提升(仅5%

871 60
|
10月前
|
编解码 人工智能 并行计算
|

基于 Megatron 的多模态大模型训练加速技术解析

Pai-Megatron-Patch 是一款由阿里云人工智能平台PAI 研发的围绕英伟达 Megatron 的大模型训练配套工具,旨在帮助开发者快速上手大模型,打通大模型相关的高效分布式训练、有监督指令微调、下游任务评估等大模型开发链路。本文以 Qwen2-VL 为例,从易用性和训练性能优化两个方面介绍基于 Megatron 构建的 Pai-Megatron-Patch 多模态大模型训练的关键技术

1395 8
来自: 人工智能平台PAI  版块
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
|

AI如何预测体育比赛结果

AI预测体育比赛结果依赖于历史数据、球员表现、球队状态等多因素。通过数据收集与处理、机器学习模型(如回归分析、神经网络)、模拟与蒙特卡洛方法、实时数据分析及自然语言处理等技术,AI能识别影响比赛的关键模式,评估胜负概率,并结合统计学与优化算法不断调整预测,提升准确性。

1080 1
|
12月前
|
存储 监控 算法
|

Flink 四大基石之 Checkpoint 使用详解

Flink 的 Checkpoint 机制通过定期插入 Barrier 将数据流切分并进行快照,确保故障时能从最近的 Checkpoint 恢复,保障数据一致性。Checkpoint 分为精确一次和至少一次两种语义,前者确保每个数据仅处理一次,后者允许重复处理但不会丢失数据。此外,Flink 提供多种重启策略,如固定延迟、失败率和无重启策略,以应对不同场景。SavePoint 是手动触发的 Checkpoint,用于作业升级和迁移。Checkpoint 执行流程包括 Barrier 注入、算子状态快照、Barrier 对齐和完成 Checkpoint。

2404 20
来自: 实时计算 Flink  版块
|
算法 数据处理 Python
|

高精度保形滤波器Savitzky-Golay的数学原理、Python实现与工程应用

Savitzky-Golay滤波器是一种基于局部多项式回归的数字滤波器,广泛应用于信号处理领域。它通过线性最小二乘法拟合低阶多项式到滑动窗口中的数据点,在降噪的同时保持信号的关键特征,如峰值和谷值。本文介绍了该滤波器的原理、实现及应用,展示了其在Python中的具体实现,并分析了不同参数对滤波效果的影响。适合需要保持信号特征的应用场景。

1478 11
|
并行计算 PyTorch 编译器
|

pytorch 安装 + 搭配PyCharm

pytorch + pycharm

2998 1
|
人工智能 自然语言处理 搜索推荐
|

阿里云Elasticsearch AI搜索实践

本文介绍了阿里云 Elasticsearch 在AI 搜索方面的技术实践与探索。

20065 21
|
网络安全 图形学 Android开发
|

Unity与安卓丨AS报错:SSL peer shut down incorrectly

Unity与安卓丨AS报错:SSL peer shut down incorrectly

1045 1
|
存储 SQL 数据可视化
|

阿里云 EMR Serverless StarRocks3.x,极速统一的湖仓新范式

EMR StarRocks 线上公开课第1期 ,直播主题:EMR Serverless StarRocks3.x,极速统一的湖仓新范式。

1432 1
|
Java 关系型数据库 数据库连接
|

实时计算 Flink版操作报错之遇到错误org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'jdbc',该如何解决

在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。

3990 2
来自: 实时计算 Flink  版块
|
算法 自动驾驶 开发者
|

Cityscapes数据集(智能驾驶场景的语义分割)

面向智能驾驶(辅助驾驶、自动驾驶)场景下的语义分割任务,由于非结构化场景的复杂性,是一个非常具有挑战性的任务,所以有许多研究者和研究机构公开了很多相关的数据集推动语义分割领域的发展。本文主要介绍Cityscapes数据集。

1510 0
|
编解码 图形学 C++
|

如何在Blender中压缩/减小GLTF模型的大小

Blender是一款功能强大的开源软件,旨在创建3D图形,动画和视觉效果。它支持多种文件格式的导入和导出,包括GLB,GLTF,DAE,OBJ,ABC,USD,BVH,PLY,STL,FBX和X3D。这种适应性使其成为各种3D项目和工作流程的宝贵工具。(https://www.blender.org/download/)。

1388 0
|
存储 分布式计算 搜索推荐
|

OpenSearch图搜图、文搜图向量检索最佳实践

本文介绍如何通过OpenSearch【向量检索版】帮助企业在没有向量数据的情况下快速搭建图像搜索服务,解决图片向量化、向量搜索等检索难题,实现以图搜图、以文搜图等多种图像检索能力。并通过数据压缩功能,降低存储空间,降低业务成本,为企业提供效果、性能双保障。

3927 3
来自: 智能搜索推荐  版块
|
机器学习/深度学习 SQL 算法
|

中原银行实时风控体系建设实践

中原银行数据平台中心开发工程师陈玉强在 FFA 2021 的演讲。

2731 1
来自: 实时计算 Flink  版块
|
SQL 存储 分布式计算
|

Flink 和 Iceberg 如何解决数据入湖面临的挑战

4.17 上海站 Meetup 胡争老师分享内容:数据入湖的挑战有哪些,以及如何用 Flink + Iceberg 解决此类问题。

3534 0
来自: 实时计算 Flink  版块
|
机器学习/深度学习 人工智能 自然语言处理
|

淘宝千人千面背后的秘密:搜索推荐广告三位一体的在线服务体系AI·OS

揭晓三位一体的在线服务体系AI·OS,及其技术架构演进,技术概况,云原生产品与实践。

8586 0
来自: 智能搜索推荐  版块
|
机器学习/深度学习 存储 消息中间件
|

推荐系统基本概念和架构

阿里巴巴技术专家傲海为大家带来推荐系统基本概念和架构的介绍。内容包括什么是推荐系统和企业级推荐系统架构两部分。

7738 0
来自: 人工智能平台PAI  版块
|
SQL 搜索推荐 TensorFlow
|

【最佳实践】阿里云 Elasticsearch 向量检索4步搭建“以图搜图”搜索引擎

“图片搜索”是作为导购类网站,比较常见的一种功能,其实现的方式也有多种。但如何做到快速、精准、简单等特性,本文给你答案。

12701 1
|
DataWorks 机器人
|

欢迎加入DataWorks产品钉钉交流群

欢迎加入DataWorks产品钉钉交流群,该群每日有值班针对dataworks问题进行讲解

38212 0
|
2天前
|
XML 算法 安全
|

详解RAG五种分块策略,技术原理、优劣对比与场景选型之道

RAG通过检索与生成结合,提升大模型在企业场景的准确性与安全性。分块策略是其核心,直接影响检索效果与答案质量。本文系统解析五种主流分块方法——固定大小、语义、递归、基于结构及LLM分块,对比优缺点与适用场景,助力构建高效、可靠的RAG系统。

30 0
|
2天前
|
Java Sentinel 微服务
|

服务保护、分布式事务

本课程聚焦微服务保护核心技能,涵盖雪崩问题、熔断降级、限流隔离等机制,学习Sentinel实现熔断、降级、限流策略配置,掌握FallbackFactory降级逻辑编写,理解CAP原理与Seata分布式事务,全面提升微服务高可用设计能力。

30 0
|
2月前
|
人工智能 安全 算法
|

数据共享又怕泄露?聊聊隐私计算:让数据“可用不可见”的绝活儿

数据共享又怕泄露?聊聊隐私计算:让数据“可用不可见”的绝活儿

390 15
|
2月前
|
搜索推荐 JavaScript 关系型数据库
|

基于用户评论分析挖掘的旅游景点推荐系统

本研究基于用户评论分析,构建个性化旅游景点推荐系统。融合自然语言处理与情感分析技术,挖掘游客真实偏好,结合Django、Vue.js与MySQL等技术实现系统开发,提升旅游决策效率与体验质量,推动旅游产业智能化发展。

204 6
|
4月前
|
搜索推荐 算法 JavaScript
|

基于springboot的健康饮食营养管理系统

本系统基于Spring Boot、Vue与MySQL技术,融合大数据与AI算法,构建个性化健康饮食管理平台。结合用户身体状况、目标需求,智能推荐营养方案,助力科学饮食与健康管理。

391 2
|
4月前
|
机器学习/深度学习 负载均衡 网络架构
|

Mixture of Experts架构的简要解析

Mixture of Experts(MoE)架构起源于1991年,其核心思想是通过多个专门化的“专家”网络处理输入的不同部分,并由门控网络动态组合输出。这种架构实现了稀疏激活,仅激活部分专家,从而在模型规模与计算成本之间取得平衡。MoE的关键在于门控机制的设计,如线性门控、噪声Top-K门控等,确保模型能根据输入特征自适应选择专家。

517 8
|
4月前
|
机器学习/深度学习 存储 资源调度
|

Transformer架构的简要解析

Transformer架构自2017年提出以来,彻底革新了人工智能领域,广泛应用于自然语言处理、语音识别等任务。其核心创新在于自注意力机制,通过计算序列中任意两个位置的相关性,打破了传统循环神经网络的序列依赖限制,实现了高效并行化与长距离依赖建模。该架构由编码器和解码器组成,结合多头注意力、位置编码、前馈网络等模块,大幅提升了模型表达能力与训练效率。从BERT到GPT系列,几乎所有现代大语言模型均基于Transformer构建,成为深度学习时代的关键技术突破之一。

674 7
|
4月前
|
存储 人工智能 监控
|

LangGraph实战:从零构建智能交易机器人,让多个AI智能体像投资团队一样协作

如今的量化交易已远超传统技术指标,迈向多智能体协作的新时代。本文介绍了一个基于 **LangGraph** 构建的多智能体交易系统,模拟真实投资机构的运作流程:数据分析师收集市场情报,研究员展开多空辩论,交易员制定策略,风险团队多角度评估,最终由投资组合经理做出决策。系统具备记忆学习能力,通过每次交易积累经验,持续优化决策质量。

796 8
|
5月前
|
存储 测试技术 开发者
|

NVFP4量化技术深度解析:4位精度下实现2.3倍推理加速

本文深入解析NVIDIA推出的NVFP4量化技术,探讨其在Blackwell GPU架构下的性能优势。通过对比主流4位量化方法,分析NVFP4在精度、内存和推理吞吐量方面的表现,结合LLM-Compressor与vLLM框架展示量化与部署实践,验证其在消费级与企业级应用中的高效性与实用性。

849 15
|
6月前
|
人工智能 数据可视化 Java
|

性能提升 10 倍, DIFY 模式迁移至 Spring AI Alibaba 模式 零改造实现

将 Dify 应用迁移至 Spring AI Alibaba,可兼顾可视化开发效率与代码工程灵活性,显著提升系统性能与扩展能力,适用于复杂 AI 业务场景。

888 0
|
8月前
|
数据采集 Web App开发 JavaScript
|

Python爬虫如何获取JavaScript动态渲染后的网页内容?

Python爬虫如何获取JavaScript动态渲染后的网页内容?

829 6
|
8月前
|
机器学习/深度学习 网络架构
|

PINN应用案例:神经网络求解热扩散方程高质量近似解

本文探讨了物理信息神经网络(PINN)在求解一维热扩散方程中的应用,对比分析了多层感知器(MLP)、残差网络(ResNet)和Wang2020架构的性能。PINN通过构建损失函数整合偏微分方程残差、边界条件和初始条件,实现对物理系统的近似求解。实验结果表明,传统架构如MLP和ResNet虽能大致还原解析解,但在部分区域存在显著偏差;而Wang2020架构因专门设计以应对PINN训练挑战,表现更为优越,与解析解高度一致。研究还揭示了PINN训练中“平台期后突变”的优化特性,并提出通过构造满足约束条件的网络架构以简化多目标优化问题,为未来研究提供了新方向。

734 3
|
9月前
|
Ubuntu Linux Windows
|

Ventoy 是一款开源的多系统启动U盘工具

Ventoy是一款开源多系统启动U盘工具,支持Legacy BIOS和UEFI模式,可直接启动多个ISO文件(无需解压),兼容Windows、Linux等系统。只需下载安装Ventoy到U盘,拷贝ISO文件即可实现多系统启动。官网:https://www.ventoy.net,GitHub:https://github.com/ventoy/Ventoy。制作需8GB以上U盘及Win7以上系统。

1406 154
|
10月前
|
监控 数据挖掘 开发工具
|

淘宝天猫商品详情数据接口采集攻略

本文详细介绍如何通过淘宝天猫商品详情数据接口采集商品信息。首先概述了常用接口(如taobao.item.get、tmall.item.get)的功能,可获取商品基础信息、描述及评价等。接着说明接入准备,包括注册认证、创建应用与申请权限,以及开发环境配置。最后提供采集流程指引,如通过商品链接或搜索接口获取ID,并以Python示例展示接口调用方法,助力开发者高效挖掘电商数据价值。

910 1
|
10月前
|
机器学习/深度学习 存储 人工智能
|

SEARCH-R1: 基于强化学习的大型语言模型多轮搜索与推理框架

SEARCH-R1是一种创新的强化学习框架,使大型语言模型(LLM)具备多轮搜索与推理能力。它通过强化学习自主生成查询并优化基于检索结果的推理,无需人工标注数据。相比传统RAG或工具使用方法,SEARCH-R1显著提升问答性能,在多个数据集上实现26%以上的相对性能提升。其核心优势在于强化学习与搜索的深度融合、交错式多轮推理机制及令牌级损失屏蔽技术,推动了LLM在复杂推理和实时知识获取方面的边界。尽管存在奖励函数设计简化等局限性,SEARCH-R1为构建更智能的交互系统提供了重要参考。

912 7
|
10月前
|
存储 分布式计算 负载均衡
|

数据分布式存储:在海量数据面前,我们如何站稳脚跟?

数据分布式存储:在海量数据面前,我们如何站稳脚跟?

1406 1
|
11月前
|
SQL 人工智能 数据可视化
|

数据团队必读:智能数据分析文档(DataV Note)五种高效工作模式

数据项目复杂,涉及代码、数据、运行环境等多部分。随着AI发展,数据科学团队面临挑战。协作式数据文档(如阿里云DataV Note)成为提升效率的关键工具。它支持跨角色协同、异构数据处理、多语言分析及高效沟通,帮助创建知识库,实现可重现的数据科学过程,并通过一键分享报告促进数据驱动决策。未来,大模型AI将进一步增强其功能,如智能绘图、总结探索、NLP2SQL/Python和AutoReport,为数据分析带来更多可能。

660 142
来自: 数据可视化DataV  版块
|
12月前
|
存储 分布式计算 Hadoop
|

MPP 架构与 Hadoop 架构技术选型指南

MPP架构与Hadoop架构是处理海量数据的两大选择。MPP通过大规模并行处理实现快速查询响应,适用于企业级数据仓库和OLAP应用;Hadoop则以分布式存储和计算为核心,擅长处理非结构化数据和大数据分析。两者各有优劣,MPP适合结构化数据和高性能需求场景,而Hadoop在扩展性和容错性上表现更佳。选择时需综合考虑业务需求、预算和技术能力。

1311 14
|
12月前
|
存储 人工智能 自然语言处理
|

阿里云 AI 搜索方案解读:大模型驱动下的智能搜索,助力企业数字化转型

本解读了阿里云 AI搜索整体方案。

2018 41
|
12月前
|
缓存 监控 负载均衡
|

HTTP代理配置中的常见错误及其解决方案

随着互联网发展,使用HTTP动态代理IP的需求日益增加。配置HTTP代理时常见问题及解决方法包括:1) 代理服务器无法连接:检查网络、防火墙和代理服务状态;2) 认证失败:确认凭据和配置;3) 请求超时:增加超时时间、检查后端服务和网络延迟;4) 缓存问题:清理缓存、设置缓存控制或禁用缓存;5) SSL/TLS问题:正确配置证书并确保客户端信任;6) 访问控制问题:检查ACL和日志;7) 性能问题:监控资源、负载均衡和优化配置;8) 日志记录与分析问题:启用详细日志、设置轮换策略和使用分析工具。通过解决这些问题,可以更有效地管理HTTP代理。

1505 13
来自: 大数据计算 MaxCompute  版块
|
12月前
|
机器学习/深度学习 人工智能 算法
|

机器学习算法的优化与改进:提升模型性能的策略与方法

机器学习算法的优化与改进:提升模型性能的策略与方法

2140 13
|
12月前
|
并行计算 PyTorch 算法框架/工具
|

阿里云PAI-部署Qwen2-VL-72B

阿里云PAI-部署Qwen2-VL-72B踩坑实录

4826 1
来自: 人工智能平台PAI  版块
|
搜索推荐 数据安全/隐私保护 UED
|

产品经理-B 端与C端

B端与C端是IT互联网产品经理的类型划分,分别面向企业和个人消费者。C端产品如微信、淘宝,注重用户体验和快速迭代;B端产品如CRM系统、ERP软件,强调功能复杂性和定制化服务。此外,还有G端产品,主要服务于政府机构,注重数据安全和合规性。产品经理起源于20世纪20年代末的美国宝洁公司,随着互联网的发展,该角色在IT领域变得愈加重要。

1587 12

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

5
今日
68597
内容
128
活动
439564
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务