|
分布式计算 算法 大数据
|

分布式快照算法: Chandy-Lamport

Spark 的 Structured Streaming 的 Continuous Processing Mode 的容错处理使用了分布式快照(Distributed Snapshot)算法 Chandy-Lamport 算法,那么分布式快照算法可以用来解决什么问题呢?

24844 70
|
2月前
|
数据采集 人工智能 搜索推荐
|

大模型入门指南:从看懂原理到动手微调,一步步打造你的专属AI

本文深入浅出地讲解大模型核心技术:从Token、Embedding到上下文窗口,揭秘AI如何理解语言;通过提示词工程、RAG与微调,教你打造专属智能助手。零基础也能学会,让AI真正为你所用,开启个性化智能时代。

427 1
|
7月前
|
人工智能 JSON 监控
|

从零开始构建AI Agent评估体系:12种LangSmith评估方法详解

AI Agent的评估需覆盖其整个生命周期,从开发到部署,综合考量事实准确性、推理路径、工具选择、结构化输出、多轮对话及实时性能等维度。LangSmith作为主流评估平台,提供了一套全面的评估框架,支持12种评估技术,包括基于标准答案、程序性分析及观察性评估。这些技术可有效监控Agent各组件表现,确保其在真实场景中的稳定性和可靠性。

3084 0
|
2月前
|
数据采集 人工智能 文字识别
|

PDF 转 Markdown 神器:MinerU 2.5 (1.2B) 部署全攻略

MinerU是由OpenDataLab推出的开源PDF解析工具,支持精准布局分析、公式识别与表格提取。本文详解其2.5-2509-1.2B版本在Linux下的部署流程,涵盖环境搭建、模型下载、核心配置及实战应用,助你高效处理复杂PDF文档,提升AI数据清洗效率。

1005 3
|
7天前
|
人工智能 自然语言处理 前端开发
|

AI生成网站入门指南:从零基础到专业建站的路径

零基础建站难?AI生成网站成新选择!无需代码、低成本,三步搞定:①明确目标场景;②用自然语言生成页面与前后端代码(如LynxCode);③优化交互与适配。AI不替代开发者,而是降低门槛、提升效率,助创业者快速验证想法。

151 3
来自: 人工智能平台PAI  版块
|
12月前
|
数据可视化 固态存储 图形学
|

解锁3D创作新姿势!Autodesk 3ds Max 2022中文版安装教程(附官方下载渠道)

Autodesk 3ds Max 2022 是一款专业三维建模、动画和渲染软件,广泛应用于影视、游戏、建筑等领域。其特点包括智能建模工具、高效Arnold渲染引擎、跨平台协作及多语言支持。安装需满足Win10/11系统、i5以上处理器、8GB内存等要求。正版安装流程包括下载官方程序、配置组件、激活许可证并验证功能。常见问题如安装失败、中文乱码等提供了解决方案。扩展学习资源推荐Forest Pack、V-Ray等插件,助力用户深入掌握软件功能。

2979 24
|
SQL 分布式计算 数据库
|

离线数仓--大数据技术之DolphinScheduler

离线数仓--大数据技术之DolphinScheduler

2162 2
|
弹性计算 分布式计算 Hadoop
|

[大数据新手上路]“零基础”系列课程--如何将ECS上的Hadoop数据迁移到阿里云数加·MaxCompute

 想用阿里云数加·大数据计算服务(MaxCompute),但是现在数据还在hadoop上,怎么办?   别烦恼,跟着我们走,来一次MaxCompute零基础数据迁移之旅~Let’s Go!

16548 0
来自: 大数据计算 MaxCompute  版块
|
10天前
|
机器学习/深度学习 算法
|

标签脏了,模型再牛也白搭:聊聊训练样本标签质量的评估与修正(把信噪比狠狠干上去)

标签脏了,模型再牛也白搭:聊聊训练样本标签质量的评估与修正(把信噪比狠狠干上去)

225 14
|
分布式计算 MaxCompute
|

MaxCompute执行作业慢的原因排查

大家在平时开发过程中经常遇到作业(SQL、MR等)执行慢的原因,今天带大家一起学习自排查方法。 1、wait wait ,job querying 遇到这个提示,就是资源出现了排队,如果你是后付费用户,那就是整个后付费的共享池已经没有富余的资源了,要等前一个作业处理完。

25770 4
来自: 大数据计算 MaxCompute  版块
|
5天前
|
Java 调度 开发者
|

Java AQS:JUC 并发体系的底层同步框架基石

AQS(AbstractQueuedSynchronizer)是Java并发包(JUC)的底层核心,以volatile state + CLH双向队列统一实现同步控制。支持独占(如ReentrantLock)与共享(如Semaphore、CountDownLatch)两种模式,通过模板方法封装排队、阻塞/唤醒等通用逻辑,是理解与定制高性能同步组件的关键基石。(239字)

101 7
|
2月前
|
存储 人工智能 数据库
|

2026 AI Agent 搭建师职业全景指南:从技术基石到商业闭环

2026年,AI职业迎来范式变革,“AI Agent搭建师”取代提示词工程师,成为集架构设计、系统集成与智能协同于一体的“数字流程总设计师”。他们构建具备感知-思考-行动闭环的智能体,推动企业从“聊天机器人”迈向“行动中心”与“数字员工团队”。通过异构模型路由、多智能体编排、MCP工具协议与GraphRAG记忆系统等核心技术,实现业务流程自动化与决策智能化。该职业融合技术、业务与战略,人才缺口巨大,薪酬领先,被誉为AI时代的“黄金职业”,并持续向AI架构师与伦理治理等方向演进。

915 1
|
9月前
|
存储 安全 Java
|

2025 最新史上最全 Java 面试题独家整理带详细答案及解析

本文从Java基础、面向对象、多线程与并发等方面详细解析常见面试题及答案,并结合实际应用帮助理解。内容涵盖基本数据类型、自动装箱拆箱、String类区别,面向对象三大特性(封装、继承、多态),线程创建与安全问题解决方法,以及集合框架如ArrayList与LinkedList的对比和HashMap工作原理。适合准备面试或深入学习Java的开发者参考。附代码获取链接:[点此下载](https://pan.quark.cn/s/14fcf913bae6)。

4992 50
|
消息中间件 Kafka Apache
|

Flink CDC+Kafka 加速业务实时化

阿里巴巴开发工程师,Apache Flink Committer 任庆盛,在 9 月 24 日 Apache Flink Meetup 的分享。

24392 1
来自: 实时计算 Flink  版块
|
存储 数据采集 DataWorks
|

2万字揭秘阿里巴巴数据治理平台DataWorks建设实践

阿里巴巴一直将数据作为自己的核心资产与能力之一,从最早的淘宝、天猫等电商业务,到后续的优酷、高德、菜鸟等板块,DataWorks、MaxCompute、Hologres等产品用一套技术体系来支持不同业务的发展与创新,为企业带来整体的“数据繁荣”。 数据繁荣为我们带来了红利,同时也带动了各类数据治理需求的井喷,特别是降本等需求的不断出现,阿里云DataWorks团队将13年的产品建设经验整理成最佳实践,从数据生产规范性治理、数据生产稳定性治理、数据生产质量治理、数据应用提效治理、数据安全管控治理、数据成本治理、数据治理组织架构及文化建设等7个方面为大家揭秘数据治理平台建设实践

33631 15
|
11月前
|
Linux 虚拟化 Docker
|

win11怎么安装docker的必要设置自学软硬件工程师778天

win11怎么安装docker的必要设置自学软硬件工程师778天

1117 4
|
3月前
|
数据挖掘 C++ 计算机视觉
|

Python:ImportError:DLL loadfailed while importing onnxruntime_pybind11_state: 动态链接库(DLL)初始化例程失败 报错解决

在进行文件夹内人脸识别与对比聚类时,遇到onnxruntime库报错,通常因版本不兼容或环境冲突导致。本文整理了五种解决方案:降级onnxruntime至1.14.1、重装库、区分GPU/CPU版本、安装Visual C++运行库、创建Python虚拟环境。通过版本匹配与环境隔离,有效解决DLL初始化失败等问题,提升项目稳定性。

1268 8
|
4月前
|
机器学习/深度学习 人工智能 算法
|

PAIFuser:面向图像视频的训练推理加速框架

阿里云PAI推出PAIFuser框架,专为视频生成模型设计,通过模型并行、量化优化、稀疏运算等技术,显著提升DiT架构的训练与推理效率。实测显示,推理耗时最高降低82.96%,训练时间减少28.13%,助力高效低成本AI视频生成。

922 22
|
SQL XML JavaScript
|

【若依Java】15分钟玩转若依二次开发,新手小白半小时实现前后端分离项目,springboot+vue3+Element Plus+vite实现Java项目和管理后台网站功能

摘要: 本文档详细介绍了如何使用若依框架快速搭建一个基于SpringBoot和Vue3的前后端分离的Java管理后台。教程涵盖了技术点、准备工作、启动项目、自动生成代码、数据库配置、菜单管理、代码下载和导入、自定义主题样式、代码生成、启动Vue3项目、修改代码、以及对代码进行自定义和扩展,例如单表和主子表的代码生成、树形表的实现、商品列表和分类列表的改造等。整个过程详细地指导了如何从下载项目到配置数据库,再到生成Java和Vue3代码,最后实现前后端的运行和功能定制。此外,还提供了关于软件安装、环境变量配置和代码自动生成的注意事项。

30476 73
|
11月前
|
人工智能 自然语言处理 DataWorks
|

DataWorks Copilot 集成Qwen3-235B-A22B混合推理模型,数据开发与分析效率再升级!

阿里云DataWorks平台正式接入Qwen3模型,支持最大235B参数量。用户可通过DataWorks Copilot智能助手调用该模型,以自然语言交互实现代码生成、优化、解释及纠错等功能,大幅提升数据开发与分析效率。Qwen3作为最新一代大语言模型,具备混合专家(MoE)和稠密(Dense)架构,适应多种应用场景,并支持MCP协议优化复杂任务处理。目前,用户可通过DataWorks Data Studio新版本体验此功能。

1276 23
|
2月前
|
人工智能 PyTorch Linux
|

GLM-4V-9B 视觉多模态模型本地部署教程【保姆级教程】

本教程详细介绍如何在Linux服务器上本地部署智谱AI的GLM-4V-9B视觉多模态模型,涵盖环境配置、模型下载、推理代码及4-bit量化、vLLM加速等优化方案,助力高效实现图文理解与私有化应用。

767 2
|
人工智能 自然语言处理 搜索推荐
|

国内可用的 Web Search API,可以平替Bing Search API

近期人们发现,AI对搜索引擎的需求远远超过人类。这个团队专为AI打造搜索引擎,上线仅60天就已被调用超30万次。

4689 1
|
人工智能 安全 数据库
|

AiCodeAudit-基于Ai大模型的自动代码审计工具

本文介绍了基于OpenAI大模型的自动化代码安全审计工具AiCodeAudit,通过图结构构建项目依赖关系,提高代码审计准确性。文章涵盖概要、整体架构流程、技术名词解释及效果演示,详细说明了工具的工作原理和使用方法。未来,AI大模型有望成为代码审计的重要工具,助力软件安全。项目地址:[GitHub](https://github.com/xy200303/AiCodeAudit)。

4896 9
|
搜索推荐 API 对象存储
|

10分钟学会构建端到端的图片搜索服务

本文介绍在没有向量数据的情况下,怎样通过OpenSearch-向量检索版快速从零搭建图像搜索服务。

84295 69
来自: 智能搜索推荐  版块
|
11月前
|
数据采集 SQL 人工智能
|

长文详解|DataWorks Data+AI一体化开发实战图谱

DataWorks是一站式智能大数据开发治理平台,内置阿里巴巴15年大数据建设方法论,深度适配阿里云MaxCompute、EMR、Hologres、Flink、PAI 等数十种大数据和AI计算服务,为数仓、数据湖、OpenLake湖仓一体数据架构提供智能化ETL开发、数据分析与主动式数据资产治理服务,助力“Data+AI”全生命周期的数据管理。

1906 5
|
4月前
|
人工智能 Cloud Native IDE
|

超详细!JetBrains Rider 2025.1 安装到能用,激活 + 安装步骤—附安装包

JetBrains Rider 2025.1 是全能型跨平台全栈 IDE,深度集成 AI 编码助手,支持 .NET 9、Unity 2025、Blazor 等最新技术,覆盖 C#、Python、Go 等 20+ 语言,赋能游戏、云原生与微服务开发,实现 AI 辅助生成、调试、测试与文档一体化。

1038 2
|
自然语言处理 搜索推荐 机器人
|

阿里巴巴的通义千问大模型

阿里巴巴通义千问是基于Transformer的大型语言模型,预训练于多样化数据集,支持18亿至720亿参数规模。在多模态英文任务中表现出色,且具备多语言对话及图片文本识别能力。可应用于搜索引擎、问答系统和对话交互,提供智能体验。然而,模型在逻辑题和指令理解上存在不足,需在特定领域进行优化。

5400 1
|
10天前
|
人工智能 自然语言处理 机器人
|

2026数字助理时代真的要来临了——直接自然语言操作AI助理,马斯克预言真的来了

AI自动开浏览器抢12306车票!这不仅是聊天机器人,而是能“看屏、点鼠、敲键”的数字员工——绕过API限制,直接操作任何GUI软件。马斯克力推的MacroHard(Digital Optimus),正颠覆传统软件逻辑,宣告“数字助理时代”真正来临。

147 1
|
5天前
|
数据采集 人工智能 监控
|

Amazon竞品调价实时预警系统:OpenClaw AI Agent + Pangolinfo API 企业级落地实践

本方案为跨境电商打造实时竞品价格监控系统:通过Pangolinfo API每10分钟采集ASIN数据,OpenClaw AI Agent智能分析降价威胁并生成应对建议,飞书/Slack即时推送富文本告警。响应速度从24小时提升至10分钟(加速144倍),年ROI超10倍,开发仅需1–2天。(239字)

83 3
|
2月前
|
存储 JSON 自然语言处理
|

十一年实战沉淀:淘宝商品评论数据深度解析与落地技巧

深耕淘宝评论分析11年,亲历数据结构迭代与解析挑战。本文详解评论数据核心字段、解析难点及破局技巧,分享实战验证的标准化流程,涵盖字符处理、动态规则、高效存储等关键环节,助力精准情感分析与用户洞察。

335 1
|
5天前
|
Java
|

java工具:Long转String(时间毫秒数转日期格式字符串)

java工具:Long转String(时间毫秒数转日期格式字符串)

81 2
|
2月前
|
人工智能
|

大模型产生幻觉的原因,如何解决?

大模型“幻觉”指AI生成看似合理但错误或虚构的信息,源于其概率预测机制、训练数据缺陷及缺乏事实核查能力。可通过RAG、微调、联网检索、自我核查等方法降低幻觉风险,提升输出准确性与可靠性。(238字)

546 3
|
2天前
|
数据采集 缓存 自然语言处理
|

acbuy模式反向海淘淘宝1688系统搭建经验

Acbuy是面向海外用户的反向海淘平台,整合淘宝/1688代购与集运服务:用户粘贴链接下单→平台批量采购→国内仓验货合箱→专线物流清关直达。支持多语言、多支付、自动换算与风控合规,主打高性价比、一站式跨境购物体验。(239字)

80 7
|
3月前
|
JSON 监控 API
|

1688搜索店铺列表API使用指南

1688开放平台提供搜索店铺列表API,支持按关键词、行业、地区等条件检索店铺信息,适用于市场调研、竞品监控等场景。本文详解接口摘要、参数说明及Python调用示例,助力开发者高效接入。

582 1
|
SQL 分布式计算 Oracle
|

数据同步工具DataX的安装

数据同步工具DataX的安装

4103 0
|
2月前
|
机器学习/深度学习 移动开发 人工智能
|

大模型应用:庖丁解牛:QKV机制详解,大模型的注意力之眼.4

QKV机制是Transformer注意力的核心:Query(提问)、Key(标识)、Value(信息)三者通过点积计算相似度,Softmax归一化后加权融合Value,实现动态上下文感知。它能捕捉长程依赖,解决代词消解、一词多义等问题,支撑大模型强大语言理解能力。

556 7
|
5月前
|
Cloud Native 算法 API
|

Python API接口实战指南:从入门到精通

🌟蒋星熠Jaxonic,技术宇宙的星际旅人。深耕API开发,以Python为舟,探索RESTful、GraphQL等接口奥秘。擅长requests、aiohttp实战,专注性能优化与架构设计,用代码连接万物,谱写极客诗篇。

973 1
|
3月前
|
前端开发 安全 JavaScript
|

网站代码 网站源代码 网页源代码 网页代码网站

本文深入解析网站源代码与网页源代码的核心概念及区别,阐述其作为互联网技术基石的关键作用。通过剖析PageAdmin等典型源码案例,揭示源代码在技术学习、网站优化、安全维护等方面的核心价值,并探讨如何高效利用代码网站资源进行创新开发。文章强调在尊重版权的前提下,开发者可借助源码资源提升能力,推动网页技术持续发展。

1164 10
来自: 大数据计算 MaxCompute  版块
|
9月前
|
人工智能 前端开发 搜索推荐
|

LangGraph实战教程:构建会思考、能记忆、可人工干预的多智能体AI系统

本文介绍了使用LangGraph和LangSmith构建企业级多智能体AI系统的完整流程。从简单的ReAct智能体开始,逐步扩展至包含身份验证、人工干预、长期内存管理和性能评估的复杂架构。文章详细讲解了状态管理、工具集成、条件流程控制等关键技术,并对比了监督者架构与群体架构的优劣。通过系统化的方法,展示了如何构建可靠、可扩展的AI系统,为现代AI应用开发提供了坚实基础。*作者:Fareed Khan*

2052 0
|
11月前
|
机器学习/深度学习 JSON 监控
|

国内最大的MCP中文社区来了,4000多个服务等你体验

国内最大的MCP中文社区MCPServers来了!平台汇聚4000多个服务资源,涵盖娱乐、监控、云平台等多个领域,为开发者提供一站式技术支持。不仅有丰富的中文学习资料,还有详细的实战教程,如一键接入MCP天气服务等。MCPServers专注模块稳定性和实用性,经过99.99% SLA认证,是高效开发的理想选择。立即访问mcpservers.cn,开启你的开发之旅!

13482 16
|
11月前
|
传感器 人工智能 物联网
|

智能鞋:从脚下开始的科技革命

智能鞋:从脚下开始的科技革命

1095 6
|
存储 监控 druid
|

Druid、ClickHouse、Doris、StarRocks 的区别与分析

本文对比了 Druid、ClickHouse、Doris 和 StarRocks 四款大数据分析引擎。它们均为 OLAP 引擎,采用列式存储和分布式架构,适用于海量数据分析。Druid 擅长实时分析与高并发查询;ClickHouse 以超高性能著称,适合复杂查询;Doris 提供易用的 SQL 接口,性能均衡;StarRocks 则以其极速查询和实时更新能力脱颖而出。各引擎在数据模型、查询性能、数据更新和存储方面存在差异,适用于不同的业务场景。选择时需根据具体需求综合考虑。

6768 20
|
人工智能 JSON 自然语言处理
|

基于阿里云通义千问的AI模型应用开发指南

阿里云通义千问是阿里巴巴集团推出的多模态大语言模型平台,提供了丰富的API和接口,支持多种AI应用场景,如文本生成、图像生成和对话交互等。本文将详细介绍阿里云通义千问的产品功能,并展示如何使用其API来构建一个简单的AI应用,包括程序代码和具体操作流程,以帮助开发者快速上手。

4227 3
|
1天前
|
机器学习/深度学习 编解码 JSON
|

从踩坑到高效落地:淘宝拍立淘图片搜索API的实操心得

淘宝拍立淘API提供高精度以图搜品服务,支持Base64/URL传图,基于MobileNet/ResNet提取200+图像特征,毫秒级匹配相似商品。关键需控主体占比≥70%、签名严格ASCII排序、阈值设0.8,单次返回50条结构化结果。(239字)

76 3
|
7月前
|
人工智能 分布式计算 DataWorks
|

大数据AI产品月刊-2025年7月

大数据& AI 产品技术月刊【2025年7月】,涵盖7月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。

1039 2
|
DataWorks 大数据
|

云上一指禅:大数据产品DataWorks每日问答

每天,阿里巴巴集团数万名数据/算法开发工程师正在使用DataWorks,承载阿里巴巴集团99%数据业务构建。

2106 0
|
机器学习/深度学习 算法 PyTorch
|

深度强化学习中SAC算法:数学原理、网络架构及其PyTorch实现

软演员-评论家算法(Soft Actor-Critic, SAC)是深度强化学习领域的重要进展,基于最大熵框架优化策略,在探索与利用之间实现动态平衡。SAC通过双Q网络设计和自适应温度参数,提升了训练稳定性和样本效率。本文详细解析了SAC的数学原理、网络架构及PyTorch实现,涵盖演员网络的动作采样与对数概率计算、评论家网络的Q值估计及其损失函数,并介绍了完整的SAC智能体实现流程。SAC在连续动作空间中表现出色,具有高样本效率和稳定的训练过程,适合实际应用场景。

4785 7
|
SQL 机器学习/深度学习 分布式计算
|

MaxCompute产品使用合集之如何设置每次返回超过10000行记录

MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

417 10
来自: 大数据计算 MaxCompute  版块
|
DataWorks
|

DataWorks售前咨询

DataWorks售前咨询

15259 8
|
2月前
|
分布式计算 Serverless 测试技术
|

有奖实践:EMR Serverless StarRocks × Serverless Spark x DLF 共探 TPC 极致性能

免费试用 EMR Serverless StarRocks 与 EMR Serverless Spark,体验“实时分析冠军”与“批处理之神”的极致性能表现!

432 1

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
69168
内容
128
活动
439734
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务