|
弹性计算 分布式计算 大数据
|

阿里云计算平台大数据基础工程技术论文入选 VLDB 2023

近日,在 VLDB 2023 上,由阿里云计算平台大数据基础工程技术团队主导,与计算平台 MaxCompute 团队、华东师范大学数据科学与工程学院、达摩院合作的论文入选 Industrial Track

921 0
来自: 大数据计算 MaxCompute  版块
|
机器学习/深度学习 数据采集 弹性计算
|

阿里云机器学习平台PAI论文入选 SIGMOD 2023

阿里云机器学习平台PAI和北京大学杨智老师团队合作的论文被SIGMOD 2023录用。

794 0
来自: 人工智能平台PAI  版块
|
分布式计算 监控 算法
|

Pregel模型原理

Pregel模型原理

794 0
|
SQL 机器学习/深度学习 人工智能
|

LLM系列 | 14: 实测OpenAI函数调用功能:以数据库问答为例

今天这篇小作文以数据库问答(Text2SQL)为例进一步介绍ChatGPT的函数调用。本文将介绍如何将模型生成的结果输入到自定义的函数中,并利用该功能实现数据库问答功能。

1404 1
|
机器学习/深度学习 人工智能 物联网
|

玩转AIGC | 5分钟使用PAI一键部署Stable Diffusion AI绘画应用

本文将展示如何通过阿里云机器学习PAI 快速部署SD文生图模型并启动WebUI 进行推理服务。

16884 7
来自: 人工智能平台PAI  版块
|
存储 分布式计算 搜索推荐
|

OpenSearch图搜图、文搜图向量检索最佳实践

本文介绍如何通过OpenSearch【向量检索版】帮助企业在没有向量数据的情况下快速搭建图像搜索服务,解决图片向量化、向量搜索等检索难题,实现以图搜图、以文搜图等多种图像检索能力。并通过数据压缩功能,降低存储空间,降低业务成本,为企业提供效果、性能双保障。

4073 3
来自: 智能搜索推荐  版块
|
存储 分布式计算 运维
|

阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-3月刊

开源大数据EMR产品技术月刊,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解开源大数据最新动态。

48865 4
|
存储 SQL 运维
|

流批一体在 AI 核心电商领域的探索与实践

搜索、推荐、广告等核心电商领域,涉及海量的电商、用户行为等数据,需要支持大规模深度模型参数更新,是一个典型的批次/实时计算结合的场景,阿里智能引擎事业部基于大数据存储和计算引擎技术(Flink),针对复杂业务特点,简化用户 ETL 开发流程。

1907 1
来自: 实时计算 Flink  版块
|
存储 机器学习/深度学习 人工智能
|

阿里云大数据AI产品年度盘点

阿里云大数据AI产品年度盘点,涵盖2022技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据AI方面最新动态。

2166 8
来自: 人工智能平台PAI  版块
|
消息中间件 SQL 大数据
|

37手游云平台基于Flink+Hologres大数据建设实践

本文介绍37手游云平台基于Flink+Hologres大数据建设实践

3602 2
来自: 实时数仓 Hologres  版块
|
人工智能 分布式计算 Cloud Native
|

《阿里云云原生一体化数仓新能力解读》电子书重磅来袭!六大能力,助力企业构建全托管的现代化数仓!

离线实时一体、分析服务一体、湖仓一体、数据安全、数据建模、数据治理,六大热门主题,六位大数据专家,带你了解当前炙手可热的云数仓产品最新演进趋势。

2135 0
来自: 大数据计算 MaxCompute  版块
|
数据采集 分布式计算 DataWorks
|

阿里云云原生一体化数仓发布

高雪峰 阿里云计算平台产品与解决方案总经理

2139 0
来自: 大数据计算 MaxCompute  版块
|
存储 JSON 应用服务中间件
|

【Elastic Engineering】Elasticsearch 中的一些重要概念: cluster, node, index, document, shards 及 replica

Elasticsearch 中的一些重要概念: cluster, node, index, document, shards 及 replica

20227 0
|
SQL 消息中间件 分布式计算
|

流批一体生产应用!Bigo 实时计算平台建设实践

本文由 Bigo 计算平台负责人徐帅分享,主要介绍 Bigo 实时计算平台建设实践的介绍

2843 0
来自: 实时计算 Flink  版块
|
DataWorks 分布式计算 MaxCompute
|

DataWorks OpenAPI 示例(元数据模块)

DataWorks OpenAPI 示例

5794 0
|
SQL 分布式计算 运维
|

双11史上作业数最多,人工干预最少—MaxCompute 自适应执行引擎DAG2.0为1.5亿分布式作业提供自动化保障

阿里巴巴双11史上作业数最多,但人工干预最少的一次双11技术保障: 从动态并发调整带来的单日10亿计算节点的节省,到数据智能编排带来的高级基线单个作业数十个小时执行时间的缩短,再到全新Bubble执行模式在百万作业获取的30%以上的性能提升。 本文为大家介绍,在2020年阿里巴巴集团双11海量作业数目与突变的数据特性面前,阿里云MaxCompute 新一代 DAG 2.0 执行引擎,通过其自适应的动态执行能力和新架构上的全新计算模式,如何为双11大促数据的及时产出提供自动化保障。

6767 0
来自: 大数据计算 MaxCompute  版块
|
存储 SQL 分布式计算
|

Hologres+MaxCompute数据仓库服务化详解

介绍如何基于Hologres和MaxCompute产品组合,支撑高并发、快响应的数据服务化场景,替换HBase开发模式,实现数据资产服务化在线化能力。

21547 0
来自: 实时数仓 Hologres  版块
|
SQL 数据采集 运维
|

阿里巴巴飞天大数据平台智能开发云平台DataWorks最新特性

自2009年DataWorks立项,伴随着阿里巴巴集团登月计划、公共云和专有云的发布,直到2018年V2.0的发布,DataWorks已经走过了十年的历程。本文主要分享了DataWorks商业化增值版本中高级功能,分别介绍了DataWorks基础版,标准版,专业版和企业版中具备的特色功能和每个功能点所适应的场景,帮助用户选择适合的DataWorks版本,更好的解决所面临的问题。

2772 0
来自: 大数据计算 MaxCompute  版块
|
SQL 存储 分布式计算
|

阿里云EMR计算速度提升2.2倍 连续两年打破大数据领域最难竞赛世界纪录!

4月26日,大数据领域权威竞赛TPC-DS公布了最新结果,阿里云作为全球唯一入选的云计算公司获得第一。值得一提的是,去年阿里云EMR首次打破该竞赛纪录,成为全球首个通过TPC认证的公共云产品。今年在这一基础上,EMR的计算速度提升了2.2倍,连续两年打破了这项大数据领域最难竞赛的世界纪录。

3693 0
|
机器学习/深度学习 存储 人工智能
|

阿里巴巴开源GNN框架Graph-Learn

项目地址:https://github.com/alibaba/graph-learn 阿里巴巴近期开源了面向图神经网络(GNN)的框架Graph-Learn(GL,原AliGraph)。框架由阿里内部团队研发,研发同学分别来自计算平台事业部-PAI团队,新零售智能引擎事业群-智能计算实验室,以及安全部-数据与算法团队。

4485 0
来自: 人工智能平台PAI  版块
|
存储 自然语言处理 分布式计算
|

【Elasticsearch 入门公开课】如何配置 ES-Mapping/Analyzer 及多种聚合分析介绍-回顾篇(5)

本周课程(19~22讲)阮一鸣老师详细的讲解如何设置Elasticsearch Mapping,并通过配置 Mapping 实现自定义Analyzer,同时运用 Index Template 和 Dynamic Template 更方便的设计Mapping 索引,还简单介绍了 Elasticsearch 多种聚合分析方式。

5992 0
|
SQL 存储 分布式计算
|

MaxCompute Information Schema功能详解

阿里云的技术专家为大家带来MaxCompute新功能Information Schema的详细介绍。内容包括Information Schema的简介,安装,使用场景,以及对此新功能的使用建议。

2338 1
来自: 大数据计算 MaxCompute  版块
|
消息中间件 存储 缓存
|

有赞实时任务优化:Flink Checkpoint 异常解析与应用实践

本文结合 Flink 1.9 版本,重点讲述 Flink Checkpoint 原理流程以及常见原因分析,让用户能够更好的理解 Flink Checkpoint,从而开发出更健壮的实时任务。

2230 0
来自: 实时计算 Flink  版块
|
数据可视化 计算机视觉 机器学习/深度学习
|

手绘稿如何1秒变身数据大屏?深度学习让人人成为可视化专家

想在1天内快速搞定实时业务数据大屏吗?想用最短路径逆袭成为数据可视化大神吗?想在除了PRD外什么都没有的情况下,体验职场真人版绝境求生吗?

12379 0
来自: 数据可视化DataV  版块
|
流计算 资源调度 Java
|

Apache Flink 零基础入门(二):开发环境搭建和应用的配置、部署及运行

本文主要面向于初次接触 Flink、或者对 Flink 有了解但是没有实际操作过的同学。希望帮助大家更顺利地上手使用 Flink,并着手相关开发调试工作。

8976 0
来自: 实时计算 Flink  版块
|
分布式计算 Spark 容器
|

Spark on Kubernetes原生支持浅析

概述 Kubernetes自推出以来,以其完善的集群配额、均衡、故障恢复能力,成为开源容器管理平台中的佼佼者。从设计思路上,Spark以开放Cluster Manager为理念,Kubernetes则以多语言、容器调度为卖点,二者的结合是顺理成章的。

5027 0
|
分布式计算 MaxCompute Python
|

在PyODPS DataFrame自定义函数中使用pandas、scipy和scikit-learn

背景 [PyODPS DataFrame]http://pyodps.readthedocs.io/zh_CN/latest/) 提供了类似 pandas 的接口,来操作 ODPS 数据,同时也支持在本地使用 pandas,和使用数据库来执行。

15001 2
来自: 大数据计算 MaxCompute  版块
|
负载均衡 微服务 Perl
|

istio网络转发分析

通过demo分析istio的网络转发流程,从而对istio实现原理有更为直观的认识。本文先介绍了涉及到的相关概念和背景知识,然后对具体应用进行分析。背景知识概念分散,参考文章较多,敬请谅解。

9011 0
来自: 智能搜索推荐  版块
|
SQL 分布式计算 MaxCompute
|

MaxCompute - ODPS重装上阵 第一弹 - 善用MaxCompute编译器的错误和警告

MaxCompute (ODPS) ( __注1__ )是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 ODPS2.0除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。

4887 0
来自: 大数据计算 MaxCompute  版块
|
SQL 分布式计算 Java
|

MaxCompute - ODPS重装上阵 第二弹 - 新的基本数据类型与内建函数

MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。

7476 0
来自: 大数据计算 MaxCompute  版块
|
SQL 分布式计算 算法
|

SQL优化器原理 - Join重排

这是MaxCompute有关SQL优化器原理的系列文章之一。我们会陆续推出SQL优化器有关优化规则和框架的其他文章。添加钉钉群“关系代数优化技术”(群号11719083)可以获取最新文章发布动态。 本文的目标是解释Join重排这个特性的基础概念和算法,如果想快速了解并在MaxCompute上使用这个特性,请直接跳到“总结”。

12636 1
来自: 大数据计算 MaxCompute  版块
|
机器学习/深度学习 算法 搜索推荐
|

【玩转数据系列十三】机器学习算法基于信用卡消费记录做信用评分

机器学习算法基于信用卡消费记录做信用评分 背景 如果你是做互联网金融的,那么一定听说过评分卡。评分卡是信用风险评估领域常用的建模方法,评分卡并不简单对应于某一种机器学习算法,而是一种通用的建模框架,将原始数据通过分箱后进行特征工程变换,继而应用于线性模型进行建模的一种方法。

15471 1
来自: 人工智能平台PAI  版块
|
存储 JSON 分布式计算
|

标签分类理论

最近在做DMP,负责设计一套标签管理系统。在对现有标签进行整理的过程中,整理出了这套东西。 0. 标签的定义:标签分类学(Taxonomy) 对于标签(tag),很难列出一个公认的定义,指明这个概念的种差与属概念。所以为了把握这个概念,就需要采取定义另一种办法:分类与枚举。 我们要解决的第一个

13531 1
来自: 大数据计算 MaxCompute  版块
|
12天前
|
安全 物联网
|

LoRA 不是“免费午餐”:你省下的算力,往往会在别的地方还回去

LoRA因轻量、易上手成为新手微调首选,但它并非“零代价”方案:虽节省显存与算力,却无法规避目标模糊、数据偏差、行为过拟合、表达能力受限等本质问题。它适合快速验证方向,而非替代系统性微调设计。

60 2
|
12天前
|
搜索推荐 机器人 API
|

市场调研:智能体助力,智创未来客户转化率提升 70%

在CAC飙升时代,传统MA难破转化瓶颈。智能体(Agent)以意图识别、情绪共鸣、24/7个性化服务与工具调用能力,实现从“骚扰”到“服务”的跃迁,实测转化率提升70%+,打造触达→成交无缝闭环。(239字)

54 0
|
12天前
|
人工智能 自然语言处理 自动驾驶
|

智能体来了,智创未来,让科技梦想照进现实

本文畅谈智能体(Agent)技术如何将《钢铁侠》中Jarvis般的科幻梦想变为现实:从被动应答到主动执行,从虚拟对话到具身操作,赋能创作、破除知识壁垒,并以自然语言消融技术门槛。智能体,正成为人人可及的“超能力外挂”。

35 0
|
14天前
|
存储 SQL 人工智能
|

数据语义层 vs 宽表模式:哪种架构更适合 AI 时代的数据分析?

用户零等待指标交付,逻辑变更分钟级生效,无需 ETL;100%一致口径,所有人与 AI 通过同一语义层访问数据;无缝对接 AI,语义层为 AI 提供标准化查询 API。

84 1
|
15天前
|
人工智能
|

当智能体开始长期运行,AI智能体运营工程师在系统中负责哪些关键决策?

在智能体逐步进入真实业务并开始长期运行的背景下,问题不再是是否需要智能体,而是如何保障其作为系统的稳定与可持续运行。随着运行周期拉长,目标调整、任务规划失效、成本与收益评估、异常处理以及能力复用等问题不断显现,这些问题往往无法通过一次性开发或模型训练解决。 在此过程中AI智能体运营工程师承担着关键的系统决策职责,其核心工作并非持续开发新功能,而是在智能体生命周期的多个关键节点上,对目标边界、执行路径、运行价值和风险进行判断与调整。通过这些系统层面的决策,运营工程师保障智能体从短期试验走向长期可用,避免因失控、低效或高成本而被淘汰。该角色的价值体现在对智能体整体运行质量的把控,是智能体实现规模化

57 4
|
16天前
|
XML 供应链 API
|

1688店铺公司档案信息API接口开发全指南

本文系统讲解1688店铺公司档案信息API开发,涵盖接口认知、接入准备、调用实战、数据解析与合规风控五方面,助力企业高效获取供应商资质、产能、信用等核心数据,提升供应链数字化水平。通过第三方合规接口,实现ERP系统对接、供应商分级与风险预警,推动采购智能化升级。(239字)

83 0
|
17天前
|
存储 传感器 缓存
|

边缘到云:数据不是“搬家”,而是一场精打细算的流动博弈

边缘到云:数据不是“搬家”,而是一场精打细算的流动博弈

73 8
|
18天前
|
消息中间件 分布式计算 监控
|

数据一边跑,隐私不能裸奔:聊聊流处理里的差分隐私怎么玩

数据一边跑,隐私不能裸奔:聊聊流处理里的差分隐私怎么玩

96 6
|
27天前
|
搜索推荐 BI API
|

流式聚合不慢才怪?窗口、触发器和内存这三板斧你真用对了吗

流式聚合不慢才怪?窗口、触发器和内存这三板斧你真用对了吗

88 12
|
28天前
|
机器学习/深度学习 人工智能 自然语言处理
|

AI大模型面试宝典

【AI大模型面试宝典】聚焦Transformer核心架构,拆解自注意力、多头机制、位置编码等高频考点,配代码实现与面试真题解析,助你快速掌握大模型面试关键知识点,无痛拿下offer!

100 0
来自: 人工智能平台PAI  版块
|
28天前
|
XML JSON 算法
|

淘宝商品详情API接口指南

淘宝商品详情API(taobao.item.get)可获取商品标题、价格、图片、库存、销量等核心信息。支持POST/GET请求,返回JSON格式数据。需提供app_key、timestamp、sign等参数,常见响应码包括200(成功)、401(权限不足)、403(签名错误)等,适用于电商数据对接与分析。

129 0
|
2月前
|
存储 C++
|

C++变量类型

C++变量类型包括基本类型如bool、char、int、float、double等,支持整数、浮点数、字符和布尔值的存储。还包含指针、数组、结构体、类、共用体等复合类型。变量命名由字母、数字、下划线组成,首字符须为字母或下划线。支持变量声明与定义分离,局部变量需显式初始化,静态变量自动初始化为0。

93 1
|
2月前
|
SQL 关系型数据库 MySQL
|

MySQL 高效学习指南:从入门到优化的科学路径

本文提供MySQL高效学习三阶段路径:入门(1周)掌握基础操作与数据思维;核心深化(2周)突破多表关联、事务等复杂场景;优化进阶(2周)理解索引、执行计划与性能调优。结合实操案例与资源推荐,助力从新手到精通,真正掌握解决实际问题的数据库能力。

92 0
|
2月前
|
SQL 关系型数据库 MySQL
|

MySQL 并发控制核心原理与实践技巧

本文深入解析MySQL并发控制核心原理,涵盖事务隔离级别、锁机制与乐观锁实现,结合电商秒杀、订单重复等高并发场景,提供实战解决方案与优化技巧,助你平衡数据一致性与系统性能。

99 0
|
2月前
|
缓存 前端开发 JavaScript
|

Vue开发进阶:从初级到前端架构师的能力提升路径

Vue开发者需突破“只会写组件”瓶颈,构建组件设计、状态管理、性能优化与工程化复合能力。从初级到架构师,分三阶段进阶:夯实工程化基础、掌握性能与稳定性优化、具备全链路架构设计与团队赋能能力,最终实现技术驱动业务。

94 0
|
2月前
|
JSON 监控 API
|

京东商品评论API使用指南

京东商品评论API是京东开放平台提供的核心接口,用于查询指定SKU的用户评论数据,涵盖评分、内容、晒单图片、追评等信息。适用于电商分析、口碑监控等场景。需通过京东联盟申请appkey/appsecret授权调用,遵循平台规则与频率限制,严禁非合规爬取。

143 0
|
2月前
|
消息中间件 Java 数据安全/隐私保护
|

RabbitMQ集群部署

本文介绍了RabbitMQ集群的部署与高可用方案,涵盖普通集群、镜像模式及仲裁队列。通过Docker搭建3节点集群,配置Erlang Cookie和rabbitmq.conf实现节点通信;利用镜像模式实现队列高可用,支持exactly、all、nodes三种策略;并重点讲解RabbitMQ 3.8+推荐的仲裁队列,简化高可用配置,提升系统容错能力。

60 0

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

2
今日
68973
内容
128
活动
439673
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务