|
机器学习/深度学习 Unix Docker
|

开发专题 | 2:如何在 docker 容器内部运行 docker命令

有些场景在容器内部需要调用 `docker` 命令。为此,本文梳理2种可以在容器内部执行`docker`命令的方法。

2503 0
|
存储 SQL 运维
|

流批一体在 AI 核心电商领域的探索与实践

搜索、推荐、广告等核心电商领域,涉及海量的电商、用户行为等数据,需要支持大规模深度模型参数更新,是一个典型的批次/实时计算结合的场景,阿里智能引擎事业部基于大数据存储和计算引擎技术(Flink),针对复杂业务特点,简化用户 ETL 开发流程。

1760 1
来自: 实时计算 Flink  版块
|
存储 运维 大数据
|

大数据上云存算分离演进思考与探讨-2022

当前大数据上云与存算分离的技术趋势越来越成为行业标准与发展方向。作为大数据商业化的践行者,从存算分离的演进/定义/价值/架构应用/实践/对比等多个维度来分析与探讨其发展历程与组成体系。为大数据存算分离技术整体发展添砖加瓦。

3746 2
|
机器学习/深度学习 自然语言处理 并行计算
|

全面支持 PyTorch 2.0:BladeDISC 5月~11月新功能发布

BladeDISC 上一次更新主要发布了 GPU AStitch 优化,方法来源于我们发表在 ASPLOS 2022上的论文AStitch。这一次,我们发布了 0.3.0 版本。

1010 0
来自: 人工智能平台PAI  版块
|
存储 SQL 缓存
|

使用实践:Hologres对接MaxCompute常见问题排查

本文总结了Hologres对接MaxCompute时的常见问题与处理方法。

3932 3
来自: 实时数仓 Hologres  版块
|
机器学习/深度学习 人工智能 搜索推荐
|

序列特征在推荐算法中的应用

行为序列特征在推荐,广告等领域中有着广泛应用,最近几年涌现了很多有关行为序列的研究论文,讲解如何将行为序列应用到实际场景中。但是论文中的实际思想距离落地还有一段距离,因此本文先介绍一些论文中的序列特征的用法,然后介绍一下在大规模分布式推荐系统框架 EasyRec 中如何将序列特征快速落地,提升实际场景效果。

2609 0
来自: 人工智能平台PAI  版块
|
存储 SQL 分布式计算
|

Lakehouse 架构解析与云上实践

本文整理自 DataFunCon 2021大会上,阿里云数据湖构建云产品研发陈鑫伟的分享,主要介绍了 Lakehouse 的架构解析与云上实践。

3113 57
|
存储 监控 OLAP
|

【ClickHouse 技术系列】- 在 ClickHouse 物化视图中使用 Join

本文翻译自 Altinity 针对 ClickHouse 的系列技术文章。面向联机分析处理(OLAP)的开源分析引擎 ClickHouse,因其优良的查询性能,PB级的数据规模,简单的架构,被国内外公司广泛采用。本系列技术文章,将详细展开介绍 ClickHouse。

3892 0
|
SQL 机器学习/深度学习 监控
|

搜索引擎新架构:与SQL不得不说的故事

本话题将围绕阿里巴巴搜索引擎HA3架构,和大家详细阐述搜索引擎在面对架构深度学习和数据规模的挑战时,如何以数据库SQL的执行方式来应对解决。

16402 0
来自: 智能搜索推荐  版块
|
数据采集 搜索推荐 算法
|

全托管推荐引擎服务:智能推荐AIRec

本文是《飞天大数据产品价值解读系列》之《全托管推荐引擎服务——智能推荐》的视频分享精华总结,主要由阿里巴巴搜索推荐事业部的栀露向大家分享智能推荐的相关知识,包括为什么要使用推荐,推荐的价值所在,以及智能推荐的重点服务和功能。

3299 0
来自: 智能搜索推荐  版块
|
分布式计算 DataWorks Kubernetes
|

MaxCompute Spark与Spark SQL对比分析及使用注意事项

本文详细对比了Spark on MaxCompute与开源Spark模式在使用中的差异。本次分享主要从功能特性,代码开发,以及Spark on MaxCompute在DataWorks中部署的操作流程等方面进行详细讲解。

3621 0
来自: 大数据计算 MaxCompute  版块
|
SQL API Apache
|

速度收藏!看完这份知识图谱,才算搞懂 Flink!

社区整理了这样一份知识图谱,由 Apache Flink Committer 执笔,四位 PMC 成员审核,将 Flink 9 大技术版块详细拆分,突出重点内容并搭配全面的学习素材。看完这份图谱,才算真的搞懂 Flink!

67541 0
来自: 实时计算 Flink  版块
|
DataWorks 机器人
|

欢迎加入DataWorks产品钉钉交流群

欢迎加入DataWorks产品钉钉交流群,该群每日有值班针对dataworks问题进行讲解

38182 0
|
SQL 流计算 消息中间件
|

Flink 1.9 实战:使用 SQL 读取 Kafka 并写入 MySQL

《Flink SQL 1.9.0 技术内幕和最佳实践》,许多小伙伴对演示环节的 Demo 代码非常感兴趣,迫不及待地想尝试下,所以写了这篇文章分享下这份代码。

13601 0
来自: 实时计算 Flink  版块
|
分布式计算 MaxCompute 存储
|

MaxCompute技术人背后的故事:从ApacheORC到AliORC

2019大数据技术公开课第一季《技术人生专访》来袭,本季将带领开发者们探讨大数据技术,分享不同国家的工作体验。本文整理自阿里巴巴计算平台事业部高级技术吴刚的专访,将为大家介绍Apache ORC开源项目、主流的开源列存格式ORC和Parquet的区别以及MaxCompute选择ORC的原因。

3676 0
来自: 大数据计算 MaxCompute  版块
|
28天前
|
API 开发者
|

1688买家/卖家店铺订单API接口指南

1688店铺订单API提供订单查询、详情获取、状态更新等功能,支持与ERP、CRM系统集成。可按条件筛选订单、获取商品及收货信息,同步发货与物流状态,并进行取消订单等操作。使用时需注意密钥授权、调用频率及异常处理,提升订单管理效率。

132 1
|
1月前
|
存储 人工智能 运维
|

云计算的下半场:资源是底座,智能才是灵魂

云计算的下半场:资源是底座,智能才是灵魂

116 10
|
1月前
|
机器学习/深度学习 JSON 搜索推荐
|

淘宝拍立淘API助力电商比价与同款搜索

淘宝图片搜索API(拍立淘)基于深度学习技术,支持通过图片URL、Base64或本地上传,在海量商品中查找相似款。适用于比价、同款识别、穿搭推荐等场景,提升购物效率与体验。

119 1
|
1月前
|
搜索推荐 JavaScript 关系型数据库
|

基于用户评论分析挖掘的旅游景点推荐系统

本研究基于用户评论分析,构建个性化旅游景点推荐系统。融合自然语言处理与情感分析技术,挖掘游客真实偏好,结合Django、Vue.js与MySQL等技术实现系统开发,提升旅游决策效率与体验质量,推动旅游产业智能化发展。

176 6
|
1月前
|
SQL 人工智能 API
|

LangChain 不只是“拼模型”:教你从零构建可编程的 AI 工作流

LangChain 不只是“拼模型”:教你从零构建可编程的 AI 工作流

221 8
|
2月前
|
Cloud Native Serverless API
|

微服务架构实战指南:从单体应用到云原生的蜕变之路

🌟蒋星熠Jaxonic,代码为舟的星际旅人。深耕微服务架构,擅以DDD拆分服务、构建高可用通信与治理体系。分享从单体到云原生的实战经验,探索技术演进的无限可能。

391 4
|
3月前
|
人工智能 JSON 测试技术
|

AI智能体开发实战:从提示工程转向上下文工程的完整指南

曾被热捧的提示工程正逐渐退潮,本文揭示其局限性,并提出“上下文工程”新范式:通过结构化提示、精准上下文管理、工具调用与统一状态,构建可扩展、可恢复、生产级的智能体工作流,推动AI系统迈向工程化与可控化。

463 9
|
4月前
|
人工智能 监控 算法
|

构建时序感知的智能RAG系统:让AI自动处理动态数据并实时更新知识库

本文系统构建了一个基于时序管理的智能体架构,旨在应对动态知识库(如财务报告、技术文档)在问答任务中的演进与不确定性。通过六层设计(语义分块、原子事实提取、实体解析、时序失效处理、知识图构建、优化知识库),实现了从原始文档到结构化、时间感知知识库的转化。该架构支持RAG和多智能体系统,提升了推理逻辑性与准确性,并通过LangGraph实现自动化工作流,强化了对持续更新信息的处理能力。

654 5
|
4月前
|
人工智能 测试技术 芯片
|

AMD Ryzen AI Max+ 395四机并联:大语言模型集群推理深度测试

本文介绍了使用四块Framework主板构建AI推理集群的过程,并基于AMD Ryzen AI Max+ 395处理器进行大语言模型推理性能测试,重点评估其并行推理能力及集群表现。

376 0
|
4月前
|
编解码 文字识别 自然语言处理
|

Dots.ocr:告别复杂多模块架构,1.7B参数单一模型统一处理所有OCR任务22

Dots.ocr 是一款仅1.7B参数的视觉语言模型,正在重塑文档处理技术。它将布局检测、文本识别、阅读顺序理解和数学公式解析等任务统一于单一架构,突破传统OCR多模块流水线的限制。在多项基准测试中,其表现超越大参数模型,展现出“小而精”的实用价值,标志着OCR技术向高效、统一、灵活方向演进。

611 0
|
4月前
|
人工智能 Rust IDE
|

计算机相关的软硬件开发工具分类

本文系统梳理了现代开发工具图谱,涵盖软件、硬件、AI等六大领域。软件开发部分对比了传统工具(如IntelliJ IDEA、SpringBoot)与新兴工具(如AI代码助手Cursor、边缘计算框架Workers),并列出国产替代方案(华为CodeArts、阿里OpenSumi)。硬件开发突出开源EDA工具KiCad和物联网OS Zephyr。AI领域对比了TensorFlow与JAX框架,推荐本地LLM工具Ollama。文章特别设置工具选型指南,针对不同场景推荐方案,如国产化需求建议PaddlePaddle

496 0
|
4月前
|
人工智能 自然语言处理 Java
|

面向 Java 开发者:2024 最新技术栈下 Java 与 AI/ML 融合的实操详尽指南

Java与AI/ML融合实践指南:2024技术栈实战 本文提供了Java与AI/ML融合的实操指南,基于2024年最新技术栈(Java 21、DJL 0.27.0、Spring Boot 3.2等)。主要内容包括: 环境配置:详细说明Java 21、Maven依赖和核心技术组件的安装步骤 图像分类服务:通过Spring Boot集成ResNet-50模型,实现REST接口图像分类功能 智能问答系统:展示基于RAG架构的文档处理与向量检索实现 性能优化:利用虚拟线程、GraalVM等新技术提升AI服务性能 文

503 0
|
5月前
|
机器学习/深度学习 自然语言处理 搜索推荐
|

搜索结果太乱?5种重排序模型让你的搜索系统准确率提升40%

本文将系统性地分析重排序模型的技术原理,深入探讨从传统学习排序方法到基于Transformer架构的前沿解决方案。

625 0
|
5月前
|
数据采集 存储 JSON
|

网页快照结构化处理方法笔记:以 Common Crawl 为例

本文介绍了如何利用 Common Crawl 项目获取历史网页快照,并通过 Python 实现快照下载、HTML 解析与结构化提取。结合爬虫代理和请求设置,帮助用户高效稳定地进行历史网页数据分析,适用于品牌追踪、内容对比等场景。

322 2
|
5月前
|
分布式计算 Java 大数据
|

springboot项目集成dolphinscheduler调度器 可拖拽spark任务管理

springboot项目集成dolphinscheduler调度器 可拖拽spark任务管理

356 2
|
6月前
|
传感器 数据采集 人工智能
|

AI是如何收集体育数据的?从摄像头到算法,揭秘赛场背后的“数字间谍网“!

⚽ 你是否好奇:AI如何知道哈兰德每秒跑多快?教练的平板为何比裁判还清楚谁偷懒?本文揭秘AI收集体育数据的“黑科技”:视觉追踪、传感器网络、数据清洗与高阶分析。从高速摄像机捕捉梅西肌肉抖动,到GPS背心记录姆巴佩冲刺速度;从表情识别判断装伤,到量子计算模拟战术可能,AI正让体育更透明、精准。未来已来,2030年世界杯或将实现AI替代球探、裁判甚至教练!你认为AI数据收集算侵犯隐私吗?最想统计哪些奇葩指标?留言互动吧!

363 0
|
6月前
|
Cloud Native Java 微服务
|

Spring Boot 3.x 现代化应用开发实战技巧与最佳实践

本指南基于Spring Boot 3.x,融合微服务、云原生与响应式编程等前沿技术,打造现代化应用开发实践。通过构建智能电商平台案例,涵盖商品、订单、用户等核心服务,展示Spring WebFlux、OAuth 2.0认证、Spring Cloud Gateway路由、GraalVM原生编译等技术实现。同时提供Docker/Kubernetes部署方案及性能优化策略,助您掌握从开发到生产的全流程。代码示例详实,适合进阶开发者参考。

669 2
|
6月前
|
SQL 分布式计算 API
|

Apache Spark详解

Apache Spark 是一个开源、分布式计算引擎,专为大规模数据处理设计。它以高速、易用和通用为核心目标。通过内存计算、DAG 执行引擎和惰性求值等特性,大幅提升数据处理效率。其核心组件包括 Spark Core、Spark SQL、Spark Streaming、MLlib 和 GraphX,支持批处理、实时流处理、机器学习和图计算。Spark 提供统一编程模型,支持多语言(Scala/Java/Python/R),并拥有强大的 Catalyst 优化器和类型安全的 Dataset API,广泛应用于大数据分析和处理场景。

886 8
|
7月前
|
数据采集 文字识别 JavaScript
|

视觉分析开发范例:Puppeteer截图+计算机视觉动态定位

本文介绍了在现代互联网中,传统DOM爬虫难以应对动态加载和视觉驱动内容的问题,并提出了“视觉爬虫”的解决方案。通过Puppeteer实现浏览器自动化,结合计算机视觉技术完成页面元素的动态定位与信息提取。文章对比了DOM爬虫与视觉爬虫的技术特点,展示了基于Node.js的核心代码示例,用于小红书平台的视频搜索、播放及截图处理。最后指出,视觉爬虫能够突破传统限制,在强JS渲染和动态内容场景中更具优势,为数据采集提供了新方向。

313 1
|
7月前
|
人工智能 开发框架 自然语言处理
|

企业级AI搜索解决方案:阿里云AI搜索开放平台

本文介绍了 阿里云 AI 搜索开放平台作提供丰富的 AI 搜索组件化服务,兼容主流开发框架 LangChain和 LlamaIndex,支持搜索专属大模型、百炼等大模型服务,以及 Elasticsearch、Havenask 等开源引擎。用户可灵活调用多模态数据解析、大语言模型、效果测评等数十个服务,实现智能搜索、检索增强生成(RAG)、多模态搜索等场景的搭建。

595 0
来自: 智能搜索推荐  版块
|
7月前
|
数据采集 数据可视化 API
|

QUIC协议优化:HTTP/3环境下的超高速异步抓取方案

本文介绍了一种基于QUIC和HTTP/3的异步爬虫方案,用于抓取知乎热榜数据并生成趋势图。通过HTTPX与aioquic结合实现高性能连接复用,配合代理IP绕过反爬限制,提取标题、热度等信息。利用Python代码示例展示了异步抓取流程,并借助Matplotlib绘制话题热度变化图表。分析显示突发热点生命周期短,而深度话题热度更稳定。此方案可优化内容运营策略,快速捕捉潜在爆款话题。

347 4
|
8月前
|
机器学习/深度学习 算法 PyTorch
|

10招立竿见影的PyTorch性能优化技巧,让模型训练速度翻倍

本文系统总结了PyTorch性能调优的关键技术,涵盖混合精度训练、PyTorch 2.0编译功能、推理模式优化、Channels-Last内存格式、图优化与变换、cuDNN基准测试、内存使用优化等多个方面。通过实证测试,文章详细分析了各技术的实现细节、优势及适用场景,如混合精度训练可显著提升计算效率和内存利用率,torch.compile()能自动优化代码生成以加速模型运行。此外,还探讨了推理模式的选择、卷积操作优化及模型构建的最佳实践。这些方法结合良好的编码习惯,有助于开发者构建高效、可扩展的深度学习应用。

632 3
|
8月前
|
人工智能 搜索推荐 自然语言处理
|

大模型落地的关键:如何用 RAG 打造更智能的 AI 搜索——阿里云 AI 搜索开放平台

本文分享了大模型落地的关键:如何用阿里云 AI 搜索开放平台 打造更智能的 AI 搜索。

628 8
来自: 智能搜索推荐  版块
|
9月前
|
机器学习/深度学习 人工智能 算法
|

分位数回归+共形预测:Conformalized Quantile Regression实现更可靠的预测区间

预测不确定性量化在数据驱动决策中至关重要,分位数回归(QR)虽能生成自适应预测区间,但缺乏严格覆盖保证;共形预测(CP)则提供覆盖保证但缺乏强自适应性。Conformalized Quantile Regression (CQR)融合两者优势,通过校准分位数回归模型,生成既适应数据特性又具备统计保证的预测区间。本文深入探讨CQR理论、实现与应用,展示其在医疗、金融等领域提升预测可靠性的潜力,为高风险决策提供更精确和可信的支持。

342 0
|
9月前
|
人工智能 自然语言处理 搜索推荐
|

阿里云 AI 搜索产品荣获 Elastic Innovation Award 2024

在新加坡 ElasticON 2025 的 Elastic 合作伙伴峰会上,阿里云 AI 搜索产品荣获 Elastic Innovation Award 2024!

499 1
|
9月前
|
机器学习/深度学习 数据可视化 PyTorch
|

深入解析图神经网络注意力机制:数学原理与可视化实现

本文深入解析了图神经网络(GNNs)中自注意力机制的内部运作原理,通过可视化和数学推导揭示其工作机制。文章采用“位置-转移图”概念框架,并使用NumPy实现代码示例,逐步拆解自注意力层的计算过程。文中详细展示了从节点特征矩阵、邻接矩阵到生成注意力权重的具体步骤,并通过四个类(GAL1至GAL4)模拟了整个计算流程。最终,结合实际PyTorch Geometric库中的代码,对比分析了核心逻辑,为理解GNN自注意力机制提供了清晰的学习路径。

677 7
|
10月前
|
人工智能 Java 程序员
|

一文彻底拿下,赶紧本地部署DeepSeek体验一下最牛的大模型

本文介绍如何本地化部署DeepSeek大模型(deepseek-r1)及open-webui的安装过程,包括命令行操作、版本兼容性处理等详细步骤。DeepSeek号称“国运级”大模型,性能媲美OpenAI,支持直接对话,降低使用门槛。通过本教程,读者可以快速上手体验这一强大的推理模型。

700 0
来自: 人工智能平台PAI  版块
|
10月前
|
存储 供应链 物联网
|

区块链技术的未来发展趋势:革新、挑战与机遇

区块链技术的未来发展趋势:革新、挑战与机遇

556 8
|
10月前
|
人工智能 运维 自然语言处理
|

Elasticsearch AI Assistant 集成 DeepSeek,1分钟搭建智能运维助手

Elasticsearch 新支持 DeepSeek 系列模型,使用 AI 助手,通过自然语言交互,为可观测性分析、安全运维管理及数据智能处理提供一站式解决方案。

1205 3
|
10月前
|
供应链 搜索推荐 API
|

亚马逊商品列表数据接口(亚马逊 API 系列)

亚马逊的商品列表数据接口为电商从业者、数据分析人员和开发者提供了宝贵的市场洞察。通过该接口,用户可以批量获取商品的关键信息,包括基本信息、价格、销售排名和库存状态等,助力市场分析、竞品研究和商品推荐。开发者需在亚马逊开发者中心注册并申请API权限,使用安全凭证进行认证,支持HTTP/HTTPS协议的GET和POST请求。Python示例展示了如何调用接口获取商品列表,并解析响应数据。应用场景涵盖市场趋势分析、竞品对比、个性化推荐及库存管理,帮助商家优化策略,提升竞争力。

584 13
|
10月前
|
人工智能 Java 开发者
|

豆包MarsCode “一键Apply”功能测评:编程效率革新利器

豆包MarsCode的“一键Apply”功能旨在提升开发者编程效率,通过AI自动生成和应用代码,简化重复操作、精准修复错误、助力新项目开发及快速生成注释。安装插件后,在VSCode中与AI对话生成代码并点击Apply按钮即可完成应用,过程流畅高效。适用于C++、Java、Python等多语言环境,极大节省开发时间,降低手动操作风险。无论是资深开发者还是新手,都能从中受益,显著提升编程体验。

822 9
|
10月前
|
机器学习/深度学习 人工智能 并行计算
|

图机器学习调研洞察:PyG与DGL

图神经网络(GNN)是人工智能领域的研究热点,广泛应用于社交网络、电商推荐、欺诈检测等。主流开源图学习引擎如DGL、PyG、GraphScope等在性能和社区活跃度上各有优劣。基于ogbn-products数据集的测试显示,DGL性能最优、内存占用最低,PyG次之。在AI for Science领域,PyG应用更广泛,尤其在小分子和晶体结构预测中表现突出。DGL采用Graph Centric方式,保留图结构;PyG则采用Tensor Centric方式,适合小图场景。

458 1
|
11月前
|
自然语言处理 调度 决策智能
|

Coconut:基于连续潜在空间推理,提升大语言模型推理能力的新方法

Coconut提出了一种新的大语言模型推理范式,通过在潜在空间中运算,利用隐藏层生成的连续思维状态取代传统文本推理。该方法采用广度优先搜索探索多条路径,避免单一路径局限,显著提升逻辑任务性能并减少token消耗。 Coconut结合“语言模式”和“潜在模式”动态切换,通过多阶段课程学习优化推理能力,在复杂规划任务中表现卓越,尤其在GSM8k和ProsQA等任务中优于传统模型。实验表明,Coconut能有效捕获中间变量,减少幻觉错误,具备更强的推理规划能力。

493 2
|
11月前
|
传感器 监控 数据挖掘
|

Flink 四大基石之 Time (时间语义) 的使用详解

Flink 中的时间分为三类:Event Time(事件发生时间)、Ingestion Time(数据进入系统时间)和 Processing Time(数据处理时间)。Event Time 通过嵌入事件中的时间戳准确反映数据顺序,支持复杂窗口操作。Watermark 机制用于处理 Event Time,确保数据完整性并触发窗口计算。Flink 还提供了多种迟到数据处理方式,如默认丢弃、侧输出流和允许延迟处理,以应对不同场景需求。掌握这些时间语义对编写高效、准确的 Flink 应用至关重要。

703 21
来自: 实时计算 Flink  版块
|
11月前
|
数据采集 JavaScript 前端开发
|

京东商品详情 API 接口指南(Python 篇)

本简介介绍如何使用Python抓取京东商品详情数据。首先,需搭建开发环境并安装必要的库(如requests、BeautifulSoup和lxml),了解京东反爬虫机制,确定商品ID获取方式。通过发送HTTP请求并解析HTML,可提取价格、优惠券、视频链接等信息。此方法适用于电商数据分析、竞品分析、购物助手及内容创作等场景,帮助用户做出更明智的购买决策,优化营销策略。

975 0

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

1
今日
67752
内容
128
活动
439519
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务