|
SQL 大数据 对象存储
|

E-MapReduce的Presto组件默认支持访问oss数据

阿里云E-MapReduce从EMR-2.1.0版本镜像开始,Presto组件默认就支持访问oss数据了,不再需要引导操作额外支持。

2899 0
|
分布式计算 大数据 Hadoop
|

开源大数据周刊-第8期

阿里云李津谈布局专有云的深层用意,2016年杭州第四次spark meetup见闻

3030 0
|
人工智能 分布式计算 MaxCompute
|

巴黎科技展:“中国技术太厉害了,我们得赶紧学学!”

猜猜我在哪儿?   没错,这里是巴黎VivaTech科技展现场!阿里云携众多黑科技亮相,并宣布年内在欧洲节点部署MaxCompute服务,为同类技术出海之最!   ET城市大脑、ET工业大脑、ET医疗大脑和ET环境大脑这些人工智能领域的新案例,老外问的问题差点答不完!     远在时尚之都的国际友人,纷纷忍不住纷纷点赞,请看大屏幕: (小编外语不好,如下字幕如有雷同,纯属巧合。

2769 0
来自: 大数据计算 MaxCompute  版块
|
分布式计算 监控 大数据
|

开源大数据周刊-第35期

2746 0
|
算法 大数据 测试技术
|

京信通信:数据智能为生产调试“增效瘦身”

“数据驱动测试优化,突破自动测试边界,赋能智慧测试新模式。”——京信智能制造副总经理葛鑫 “进入车间,映入眼帘的是一条长约20 米的 O 型生产线,产线前三名工人和几个机器人正协同工作,将各种元器件的印刷线路板(PCBA 板)与产品壳体组装起来。

2940 0
来自: 大数据计算 MaxCompute  版块
|
分布式计算 Shell MaxCompute
|

如何制作可以在 MaxCompute 上使用的 crcmod

之前我们介绍过在 PyODPS DataFrame 中使用三方包。对于二进制包而言,MaxCompute 要求使用包名包含 cp27-cp27m 的 Wheel 包。但对于部分长时间未更新的包,例如 oss2 依赖的 crcmod,PyPI 并未提供 Wheel 包,因而需要自行打包。

3857 0
来自: 大数据计算 MaxCompute  版块
|
流计算 API SQL
|

修改代码150万行!与 Blink 合并后的 Apache Flink 1.9.0 究竟有哪些重大变更?

早在今年1月,阿里便宣布将内部过去几年打磨的大数据处理引擎 Blink 进行开源并向 Apache Flink 贡献代码。Flink 1.9.0 版本在结构上有重大变更,修改代码达 150 万行,本文将梳理 Flink 1.9.0 中非常值得关注的重大变更与新增功能特性。

4998 0
来自: 实时计算 Flink  版块
|
机器学习/深度学习 分布式计算 大数据
|

开源大数据周刊-第57期

ECM功能上线北京region,用户可以通过EMR-3.2.0版本创建新集群体验,ECM提供组件的配置修改/起停等操作

2507 0
|
算法
|

ALS算法实现用户音乐打分预测

很多人在决定是否看一部电影之前都会去豆瓣看下评分作为参考,看完电影也会给一个自己的分数。每个人对每个商品或者电影或是音乐都有一个心理的分数,这个分数标明用户是否对这个内容满意。作为内容的提供方,如果可以预测出每个用户对于内容的心理分数,就能更好的理解用户,并给用户提供好的内容推荐。

4290 2
来自: 人工智能平台PAI  版块
|
监控 算法 大数据
|

【阿里内部应用】基于Blink构建搜索全链路debug系统快速定位搜索问题

一、背景介绍 以往在处理用户投诉或者开发过程中遇到的(特定商品在淘宝搜索中搜不到,排序靠后,价格不正确,打标不准,结果不准确等)问题或线上故障时,分析定位此类问题的过程非常繁琐: 根据用户或者搜索标识提交ODPS离线任务,捞取用户的搜索日志信息; 人工构造搜索串,重新请求引擎得到搜索复现数据; 解.

4432 0
来自: 实时计算 Flink  版块
|
SQL 分布式计算 调度
|

一条SQL在 MaxCompute 分布式系统中的旅程

2019杭州云栖大会大数据技术专场,由阿里云资深技术专家侯震宇、阿里云高级技术专家陈颖达以及阿里云资深技术专家戴谢宁共同以“SQL在MaxCompute分布式系统中的旅程 ”为题进行了演讲。本文首先介绍了MaxCompute计算平台及其特点、超大规模企业级SQL引擎和其功能。然后讲解了如何构建企业级分布式智能调度执行框架。最后介绍了新一代列式存储引擎AliOrc及优化方式。

3977 0
来自: 大数据计算 MaxCompute  版块
|
SQL 消息中间件 存储
|

小米流式平台架构演进与实践

小米业务线众多,从信息流,电商,广告到金融等覆盖了众多领域,小米流式平台为小米集团各业务提供一体化的流式数据解决方案,主要包括数据采集,数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条,实时同步任务 1.5 万,实时计算的数据 1 万亿条。

3012 0
来自: 实时计算 Flink  版块
|
SQL 消息中间件 分布式计算
|

通过Spark SQL实时归档SLS数据

我在前一篇文章介绍过基于Spark SQL实现对HDFS操作的实时监控报警。今天,我再举例说明一下如何使用Spark SQL进行流式应用的开发。

2951 0
|
算法 搜索推荐 Python
|

Graphical Model在收藏夹作弊行为识别上的应用

Graphical Model通常应用在问题本身带有多个相互联系的变量的场景,并提供了一种基于图的表达方式让你去建模这些联系从而挖掘潜在的因果关系。在本文中,我们创新性地将概率图模型应用到了淘宝平台收藏作弊行为检测的任务中,取得了远超传统分类模型的结果(Top1%记录中召回60%的作弊行为)。

2907 0
来自: 智能搜索推荐  版块
|
分布式计算 安全 MaxCompute
|

MaxCompute 多租户数据安全体系

很多用户对MaxCompute多租户数据安全体系感兴趣,我们将对其进行系统介绍。

2887 0
来自: 大数据计算 MaxCompute  版块
|
缓存 前端开发 rax
|

浅析CPU结构对程序的影响以及熔断原理

## CPU 结构简介 ### CPU 指令结构 * 下表列出了CPU关键技术的发展历程以及代表系列,每一个关键技术的诞生都是环环相扣的,处理器这些技术发展历程都围绕着如何不让“CPU闲下来”这一个核心目标展开。

3123 0
来自: 智能搜索推荐  版块
|
SQL 分布式计算 Spark
|

钉钉群直播【Spark Relational Cache 原理和实践】

主要介绍Relational Cache/物化视图的历史和背景,以及EMR Spark基于Relational Cache加速Spark查询的技术方案,及如何通过基于Relational Cache的数据预计算和预组织,使用Spark支持亚秒级响应的交互式分析使用场景。

2759 0
|
SQL 分布式计算 大数据
|

基于Spark SQL实现对HDFS操作的实时监控报警

E-MapReduce计划从EMR-3.18.1版本开始提供Spark Streaming SQL的预览版功能。Spark Streaming SQL是在Spark Structured Streaming的基础上做了进一步封装,方便用户使用SQL语言进行Spark流式分析开发。

3043 0
|
SQL 分布式计算 Spark
|

【译】SQL Pivot介绍

本文介绍SQL Pivot以及如何使用该功能

2894 0
|
机器学习/深度学习 负载均衡 算法
|

开源大数据周刊-第87期

1888 0

利用PAI-DSW访问Github, 快速获取最新的学习资源

PAI-DSW(Data science workshop)是专门为数据科学探索者们准备的云端深度学习开发环境,用户可以登录 DSW 进行代码的开发并运行工作。目前 DSW 支持了Github下载,让我们可以更加便捷的访问上面的资源.

5999 0
来自: 人工智能平台PAI  版块
|
分布式计算 MaxCompute Shell
|

MaxCompute问答整理之10月

飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。

2455 0
来自: 大数据计算 MaxCompute  版块
|
并行计算 算法 搜索推荐
|

并行正则采样排序算法及在 Mars 中的应用

相信大家对排序算法都非常熟悉了,快速排序、堆排序、归并排序等等。如果我们想在一个很大的数据集上进行排序,能利用上多核,甚至是分布式集群,有什么办法么? 本文就介绍一种并行排序算法:并行正则采样排序算法(Parallel Sorting by Regular Sampling),简称 PSRS 算法。

2265 0
来自: 大数据计算 MaxCompute  版块
|
存储 机器学习/深度学习 分布式计算
|

如何从根源上解决 HDFS 小文件问题

我们知道,HDFS 被设计成存储大规模的数据集,我们可以在 HDFS 上存储 TB 甚至 PB 级别的海量数据。而这些数据的元数据(比如文件由哪些块组成、这些块分别存储在哪些节点上)全部都是由 NameNode 节点维护,为了达到高效的访问, NameNode 在启动的时候会将这些元数据全部加载到内存中。

3648 0
|
SQL 消息中间件 缓存
|

Apache Flink 进阶(十二):深度探索 Flink SQL

文章将从用户的角度来讲解 Flink 1.9 版本中 SQL 相关原理及部分功能变更,希望加深大家对 Flink 1.9 新功能的理解,在使用上能够有所帮助。

3274 0
来自: 实时计算 Flink  版块
|
存储 SQL 大数据
|

列式存储系列(一)C-Store

列式存储系列(一)概述 序 本文是列式存储系列的第一篇。在这个系列中,我们将介绍几个典型的列式存储系统。这些列式系统的出现都有各自的时代背景。在介绍这些系统的同时,我们也尽量介绍一下它们的背景,以便大家有一个更宏观的认识,理解这个系统为什么会出现,它要解决的问题,以及它如何影响后来类似系统的发展。

3966 0
|
1月前
|
JSON 程序员 数据格式
|

最新版Notepad++下载、安装、配置保姆级教程(附官网安装包)

Notepad++ 是一款免费开源、轻量快速的 Windows 文本编辑器,支持多标签、语法高亮、代码折叠与宏录制,体积小、启动快、资源占用低,兼容 x64/x32/ARM 架构,是程序员和文字工作者的高效利器。

6326 2
|
机器学习/深度学习
|

混合循环发电场输出电力预测

前言 机器学习很多时候在工业场景下也会有非常好的应用。本次实验,我们就会以一个综合循环发电厂的发电数据来展示机器学习是如何应用到工业生产的实际场景中的。 本实验数据采集自 UCI 机器学习数据集中的 混合发电厂数据。

2526 0
来自: 人工智能平台PAI  版块
|
分布式计算 监控 NoSQL
|

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。 本文以LogHub为数据源,收集ECS上的日志数据,通过Spark Streaming SQL进行聚合后,将流计算结果数据实时写入Tablestore,展示一个简单的日志监控场景。

1850 0
|
消息中间件 大数据 测试技术
|

Apache Avro as a Built-in Data Source in Apache Spark 2.4

Apache Avro 是一种流行的数据序列化格式。它广泛用于 Apache Spark 和 Apache Hadoop 生态系统,尤其适用于基于 Kafka 的数据管道。从 Apache Spark 2.

1731 0
|
消息中间件 存储 安全
|

Flink kafka source & sink 源码解析

本文基于 Flink 1.9.0 和 Kafka 2.3 版本,对 Flink Kafka source 和 sink 端的源码进行解析,主要分为 Flink-kafka-source 源码解析、Flink-kafka-sink 源码解析两部分。

4170 0
来自: 实时计算 Flink  版块
|
存储 消息中间件 NoSQL
|

Flink State 最佳实践

本文主要分享与交流 Flink 状态使用过程中的一些经验与心得,当然标题取了“最佳实践”之名,希望文章内容能给读者带去一些干货。本文内容首先是回顾 state 相关概念,并认识和区别不同的 state backend;之后将分别对 state 使用访问以及 checkpoint 容错相关内容进行详细讲解,分享一些经验和心得。

2832 0
来自: 实时计算 Flink  版块
|
1月前
|
安全 Linux 芯片
|

【万字长文】Ollama下载、安装、配置、使用保姆级教程(2026最新图解)

Ollama 是一款免费开源的本地大模型运行工具,支持 DeepSeek、Qwen 等主流模型,一条命令即可下载运行。2026 最新版 v0.35.1 官方安装包(1.47GB)已提供国内直连下载,纯本地、离线可用、无广告、无隐私泄露风险。

3181 6
|
流计算 SQL 监控
|

Apache Flink 在同程艺龙实时计算平台的研发与应用实践

本文主要介绍 Apache Flink 在同程艺龙的应用实践,从当前同程艺龙实时计算平台现状、建设过程、易用性提升、稳定性优化四方面分享了同城艺龙实时计算平台的建设经验,供大家参考。

2243 0
来自: 实时计算 Flink  版块
|
SQL 机器学习/深度学习 缓存
|

Flink Weekly | 每周社区动态更新-20200520

本期主要内容包括:近期社区开发进展、邮件问题答疑、Flink 最新社区动态及技术文章推荐等。

1198 0
来自: 实时计算 Flink  版块

Multisim14.0中文下载安装步骤教程

Multisim14.0是由美国NI公司开发的EDA工具,适用于电路设计与仿真。本文提供详细中文安装步骤:下载安装包后解压,运行安装程序并设置路径,填写用户信息,选择安装位置,接受协议完成安装。随后安装NILicense激活器及中文语言包,最终实现软件汉化与正常运行。附带网盘下载链接,方便国内用户获取资源。

22010 17
|
数据可视化 数据库 关系型数据库
|

千呼万唤始出来——DataV私有部署功能

私有部署功能上线啦!

4776 0
来自: 数据可视化DataV  版块
|
12月前
|
Python Windows
|

Miniconda 安装与环境配置全流程图解(2025 最新版)

Miniconda 可以看作是 Anaconda 的“轻装版”,只自带 conda 包管理器与基础的 Python 运行时。它体积小、部署速度快,特别适合按需创建与管理虚拟环境的用户。与 Anaconda 相比,Miniconda 不会预先安装一大堆科学计算库,你可以根据项目需求再单独选择、安装需要的包,因此整体更轻巧、更灵活。 本文将手把手演示在 Windows 下安装 Miniconda 的全过程:从下载安装器、完成向导配置、设置环境变量,到最后的基础验证与简单示例,帮助你迅速把 Miniconda 用起来。

12828 12
来自: 人工智能平台PAI  版块
|
10月前
|
人工智能 API
|

智能体来了从 0 到 1:为什么一开始必须划清智能体的任务边界?

智能体开发切忌“全能幻想”!本文指出:任务边界(输入范围、工具权限、决策规则)是智能体从Demo走向落地的生命线——它不设限能力,而是将LLM的概率输出转化为可控、稳定、可评估的工程系统。边界清晰,方能降幻觉、控成本、提准确率。

2269 6
|
12月前
|
人工智能 UED Windows
|

Egde卸载教程!edge浏览器卸载工具!EdgeRemover v18.38新版本,单文件便携版!

Edge浏览器虽功能强大,却常因无法彻底卸载让用户体验困扰。本文推荐一款专清工具——Edge Remover,支持一键移除Edge及WebView2运行时,两种模式灵活选择,操作简单,无需专业技能,彻底清理不留残留,释放C盘空间,提升系统纯净度,是Windows用户必备的卸载利器。

12360 2
|
DataWorks 大数据
|

云上一指禅:大数据产品DataWorks每日问答

每天,阿里巴巴集团数万名数据/算法开发工程师正在使用DataWorks,承载阿里巴巴集团99%数据业务构建。

3656 1
|
2月前
|
存储 JavaScript 前端开发
|

不用“利息÷本金÷年限”:如何用现金流 IRR 计算贷款真实年化率

本文详解如何用现金流IRR替代简单“利息÷本金÷年限”,精准计算贷款真实年化利率。揭示等额本息下本金动态减少、手续费时点影响等关键因素,演示JavaScript二分法求解月IRR并换算有效年化率(非简单×12),指出XIRR适用不规则还款、避免多解陷阱,助你识破名义利率误导。(239字)

980 0
来自: 实时计算 Flink  版块
|
4月前
|
人工智能 缓存 负载均衡
|

一文说明白 AI API中转站是什么?

AI API中转站是连接国内开发者与海外大模型(如OpenAI、Claude)的代理平台,破解网络、支付、注册三重壁垒。支持微信/支付宝充值、统一OpenAI格式调用、智能路由与自建号池,以“倍率”计费(官方价×倍率)。适合中小团队降本提效,但需警惕低价掺水、数据安全与服务稳定性。

3591 1
来自: 人工智能平台PAI  版块
|
6月前
|
安全 机器人 Windows
|

OpenClaw + QQ 机器人!保姆级图文教程,一步到位

2026年OpenClaw+QQ机器人保姆级教程:7步完成接入——扫码登录QQ开放平台→创建机器人→复制AppID/AppSecret→OpenClaw安装插件→填参并启用→保存配置→发消息测试,零代码、全图文、20分钟速成!

1870 1
|
9月前
|
开发者 UED
|

开发者必看:HTTP 2xx 响应码的正确理解与运用

HTTP 2xx状态码表示请求成功,涵盖200(成功)、201(已创建)、202(已接受)、204(无内容)和206(部分内容)五类。开发者需准确识别以优化调试与用户体验。

2967 10
|
5月前
|
运维 安全 网络协议
|

精选 5 款基于 .NET 开源免费、功能强大的 Windows 系统优化工具

本文精选5款基于.NET开源免费的Windows优化工具:Optimizer(全能系统调优)、SophiApp(Win10/11深度微调)、WinMemoryCleaner(智能内存清理)、ZyperWin++(轻量美观全系适配)和Winhance(一站式环境定制),助你提升性能、保障隐私、简化运维。

1239 0
|
人工智能 UED
|

【下载安装】Adobe XD 免费下载与安装教程

Adobe XD 2025是一款专业的UI/UX设计工具,支持矢量绘图、交互原型制作与响应式布局,兼容PS、AI及Jira、Slack等协作平台。内置动画、语音交互功能,提升设计效率。安装前需关闭杀毒软件,解压后以管理员身份运行安装程序即可。

8706 0
|
5月前
|
数据采集 人工智能 文字识别
|

2026企业AI如何真正落地?深度拆解60+全球案例

2026年企业AI应用已告别“大模型万能论”。本文基于斯坦福《企业AI实战手册》及16家头部企业案例,提炼7条落地共性:AI须嵌入核心业务流程;高风险行业坚持“人先于AI”;数据质量决定成效上限;行业分化加剧,通用方案失效;价值重心从个人提效转向组织决策;AI需持续运营而非一次性项目;推荐以8周闭环验证真实场景,本质是经营能力的竞争。

7248 0
来自: 人工智能平台PAI  版块

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

0
今日
71001
内容
128
活动
440375
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 日志服务
  • 检索分析服务 Elasticsearch版