|
29天前
|
分布式计算 搜索推荐 MaxCompute
|

基于OpenSearch向量检索版的多主体识别最佳实践

本文将介绍如何通过OpenSearch向量检索版,在图像搜索服务中进行多主体识别。

135553 2
来自: 智能搜索推荐  版块
|
1月前
|
存储 消息中间件 监控
|

基于 Hologres+Flink 的曹操出行实时数仓建设

本文主要介绍曹操出行实时计算负责人林震,基于 Hologres+Flink 的曹操出行实时数仓建设的解决方案分享。

108929 1
来自: 实时计算 Flink  版块
|
分布式计算 大数据 MaxCompute
|

阿里巴巴飞天大数据平台MaxCompute(原名ODPS)全套攻略(持续更新20200109)

10年老兵带你看尽MaxCompute大数据运算挑战与实践

129837 9
来自: 大数据计算 MaxCompute  版块
|
存储 关系型数据库 MySQL
|

阿里云开源离线同步工具DataX3.0介绍

阿里云开源离线同步工具DataX3.0介绍 一. DataX3.0概览 ​ DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

100893 4
来自: 大数据计算 MaxCompute  版块
|
5月前
|
存储 分布式计算 MaxCompute
|

Hologres RoaringBitmap实践,千亿级画像数据秒级分析

本文将会分享Hologres RoaringBitmap 方案在画像分析的应用实践,实现更快更准的画像分析。

47578 1
来自: 实时数仓 Hologres  版块
|
分布式计算 Hadoop 分布式数据库
|

阿里封神谈hadoop生态学习之路

在大数据时代,要想个性化实现业务的需求,还是得操纵各类的大数据软件,如:hadoop、hive、spark等。笔者(阿里封神)混迹Hadoop圈子多年,经历了云梯1、ODPS等项目,目前base在E-Mapreduce。在这,笔者尽可能梳理下hadoop的学习之路。

48386 5
|
机器学习/深度学习 算法 对象存储
|

【玩转数据系列十】利用阿里云机器学习在深度学习框架下实现智能图片分类

伴随着今日阿里云机器学习PAI在云栖大会的重磅发布,快来感受下人工智能的魅力。 一、背景 随着互联网的发展,产生了大量的图片以及语音数据,如何对这部分非结构化数据行之有效的利用起来,一直是困扰数据挖掘工程师的一到难题。

47269 1
来自: 人工智能平台PAI  版块
|
SQL 算法 安全
|

odps是什么?

ODPS(Open Data Processing Service),原是阿里云从 09年开始自研的大规模批量计算引擎,2016 年更名为MaxCompute。2022云栖大会上,阿里云ODPS全新升级为一体化大数据平台,存储、调度、元数据一体化融合 ,从 Processing 升级为 Platform,即 Open Data Platform and Service。提供了离线计算、实时交互式分析、机器学习等可扩展的智能计算引擎,满足用户多元化数据计算需求。

65000 2
来自: 大数据计算 MaxCompute  版块
|
机器学习/深度学习 算法 计算机视觉
|

拍立淘-以图搜图中的图像搜索算法

移动端的以图搜图是一代又一代的图像人,搜索人的梦想。从90年代开始,学术界,工业界做了很多的努力和尝 试。拍立淘-以图搜图,从14年正式立项开始,通过算法/工程/产品的不断打磨,以及兄弟部门的紧密合作,在业务指标的增长的同时,沉淀下来了业界领先的图搜算法。

35513 0
来自: 智能搜索推荐  版块
|
消息中间件 存储 供应链
|

数据仓库介绍与实时数仓案例

1.数据仓库简介 数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。

38676 7
来自: 实时计算 Flink  版块
|
分布式计算 MaxCompute
|

MaxCompute执行作业慢的原因排查

大家在平时开发过程中经常遇到作业(SQL、MR等)执行慢的原因,今天带大家一起学习自排查方法。 1、wait wait ,job querying 遇到这个提示,就是资源出现了排队,如果你是后付费用户,那就是整个后付费的共享池已经没有富余的资源了,要等前一个作业处理完。

23852 0
来自: 大数据计算 MaxCompute  版块

优酷背后的大数据秘密

大家好,我是门德亮,现在在优酷数据中台做数据相关的事情。很荣幸,我正好见证了优酷从没有MaxCompute到有的这样一个历程,因为刚刚好我就是入职优酷差不多5年的时间,我们正好是在快到5年的时候,去做了从Hadoop到MaxCompute的这样一个升级。

21698 0
来自: 大数据计算 MaxCompute  版块
|
机器学习/深度学习 算法 大数据
|

权威详解 | 阿里新一代实时计算引擎 Blink,每秒支持数十亿次计算

阿里巴巴需要研发世界级一流的流式计算引擎,实时处理海量数据,提供在线统计、学习和预测能力,不仅支持阿里巴巴自己的核心电商场景,同时也能通过阿里云向外部中小企业提供流式计算服务,输出实时计算能力,这就是我今天要分享的最新一代阿里巴巴实时计算引擎Blink。

21244 0
来自: 实时计算 Flink  版块
|
SQL 消息中间件 大数据
|

OPPO数据中台之基石:基于Flink SQL构建实数据仓库

本文整理自 2019 年 4 月 13 日在深圳举行的 Flink Meetup 会议,分享嘉宾张俊,目前担任 OPPO 大数据平台研发负责人,也是 Apache Flink contributor。

20391 1
来自: 实时计算 Flink  版块
|
监控 数据可视化 数据挖掘
|

Kibana:数据分析的可视化利器

阿里云Elastisearch集成了可视化工具Kibana,用户可以使用Kibana的开发工具便捷的查询和分析存储在Elastisearch中的数据。除了柱状图、线状图、饼图、环形图等经典可视化功能外,还拥有地理位置分析、数据图谱分析、时序数据分析等高级功能。

19341 0
|
SQL 分布式计算 Java
|

使用 odps-jdbc 接入 ODPS,不再从零开始

还在为传统 DBMS 的性能问题而烦恼?想借助 ODPS 的分布计算能力?但是你又不想学习官方的 SDK ?如果你恰好在老项目中用了 JDBC 访问 Oracle 或 MySQL?那么你可能对这篇文章感兴趣。本文将结合几种常见的使用场景(数据查询、数据导入、第三方客户端工具)来介绍odps-jdbc

22318 0
来自: 大数据计算 MaxCompute  版块
|
数据采集 分布式计算 监控
|

品《阿里巴巴大数据实践-大数据之路》一书(上)

7月有人推荐阿里巴巴刚出的这本书《阿里巴巴大数据实践-大数据之路》,到亚马逊一看才是预售状态,拍下直到8月才拿到。 翻看目录一看,欢喜的很,正好出差两天就带在身边,由于在机场滞留超过12个小时,就把它读完了。

17788 0
来自: 大数据计算 MaxCompute  版块
|
弹性计算 分布式计算 Hadoop
|

[大数据新手上路]“零基础”系列课程--如何将ECS上的Hadoop数据迁移到阿里云数加·MaxCompute

 想用阿里云数加·大数据计算服务(MaxCompute),但是现在数据还在hadoop上,怎么办?   别烦恼,跟着我们走,来一次MaxCompute零基础数据迁移之旅~Let’s Go!

15529 0
来自: 大数据计算 MaxCompute  版块
|
存储 SQL 运维
|

流计算StreamCompute

背景 每年的双十一除了“折扣”,全世界(特别是阿里人)都关注的另一个焦点是面向媒体直播的“实时大屏”(如下图所示)。包括总成交量在内的各项指标,通过数字维度展现了双十一狂欢节这一是买家,卖家及物流小二一起创造的奇迹! 双十一媒体直播大屏 这一大屏背后需要实时处理海量的庞大电商系统各个模块产生的

18092 0
来自: 实时计算 Flink  版块
|
分布式计算 关系型数据库 大数据
|

[ETL实践指南]基于Kettle的MaxCompute插件实现数据上云

本文用到的 阿里云数加-大数据计算服务MaxCompute产品地址:https://www.aliyun.com/product/odps 简介 Kettle是一款开源的ETL工具,纯java实现,可以运行于Windows, Unix, Linux上运行,提供图形化的操作界面,可以通过拖拽控件的方式,方便地定义数据传输的拓扑。

19827 0
来自: 大数据计算 MaxCompute  版块
|
分布式计算 监控 大数据
|

【大数据干货】数据进入阿里云数加-大数据计算服务MaxCompute(原ODPS)的N种方式

想用阿里云大数据技术服务MaxCompute对于大多数人首先碰到的问题就是数据如何迁移到MaxCompute中。按照数据迁移场景大致可以分为批量数据、实时数据、本地文件、日志文件等的迁移下面我们针对每种场景分别介绍几种常用方案。

15959 1
来自: 大数据计算 MaxCompute  版块
|
消息中间件 关系型数据库 Kafka
|

如何使用Kafka Connect实现同步RDS binlog数据

本文介绍如何在E-MapReduce上使用Kafka Connect实现同步RDS binlog数据

15427 0
|
分布式计算 大数据 调度
|

10年老兵带你看尽MaxCompute大数据运算挑战与实践

在大流量高并发互联网应用实践在线峰会上,阿里云大数据计算平台资深架构师林伟带来了题为《MaxCompute大数据运算挑战与实践》的分享。分享中,他主要介绍了在大数据、大流量、高并发情况下MaxCompute所面临的挑战,以及应对这些挑战的实践经验。

15882 1
来自: 大数据计算 MaxCompute  版块
|
运维 流计算
|

阿里云实时计算产品案例&解决方案汇总

阿里云实时计算产品案例&解决方案汇总页

23564 0
来自: 实时计算 Flink  版块
|
安全 数据中心 分布式计算
|

如何有效降低大数据平台安全风险

在2019杭州云栖大会大数据企业级服务专场,由阿里云智能计算平台事业部资深技术专家李雪峰带来以“如何有效降低大数据平台安全风险”为题的演讲。本文首先概括了企业在大数据上云过程中会产生的安全顾虑。接着,在大数据平台中要处理的安全风险中,对数据中心物理安全与网络安全、大数据平台系统安全以及数据应用安全三部分做了详细的介绍。最后,描述了阿里云飞天大数据平台的安全体系。

13376 1
来自: 大数据计算 MaxCompute  版块
|
存储 分布式计算 监控
|

梨视频:基于阿里云E-MapReduce搭建视频推荐系统的实践

梨视频由前澎湃新闻掌门人邱兵创立。 在上线之前,它就获得了黎瑞刚华人文化近1亿美元投资,旗下《微辣》栏目总播放量已经超过4亿,并在上线1个月后获得“年度视频新媒体”大奖。 这样一款脱胎于传统媒体的创业型短视频软件,在视频领域异军突起,不仅让内人士在感叹梨视频内容生产力之强大的同时,也诧异于是谁在

13319 0
|
分布式计算 大数据 MaxCompute
|

阿里云数加MaxCompute购买咨询钉钉群

为企业解答阿里云MaxCompute大数据计算产品购买问题。

13863 0
来自: 大数据计算 MaxCompute  版块
|
数据采集 分布式计算 大数据
|

企业大数据平台下数仓建设思路

介然(李金波),阿里云高级技术专家,现任阿里云大数据数仓解决方案总架构师。8年以上互联网数据仓库经历,对系统架构、数据架构拥有丰富的实战经验,曾经数据魔方、淘宝指数的数据架构设计专家。 与阿里云大数据数仓结缘 介然之前在一家软件公司给企业客户做软件开发和数仓开发实施,数仓开发和实施都是基于传统的

13984 1
来自: 大数据计算 MaxCompute  版块
|
机器学习/深度学习 SQL 关系型数据库
|

MySQL超时参数以及相关数据集成、DataX数据同步案例分享

一、背景 MySQL系统变量提供关于服务器的一些配置和能力信息,大部分变量可在mysqld服务进程启动时设置,部分变量可在mysqld服务进程运行时设置。合理的系统变量设值范围,是保障MySQL稳定提供服务的重要因素。

15020 0
来自: 大数据计算 MaxCompute  版块
|
分布式计算 数据处理 API
|

流计算精品翻译: The Dataflow Model

我们提出了Dataflow模型,并详细地阐述了它的语义,设计的核心原则,以及在实践开发过程中对模型的检验。

17921 1
来自: 实时计算 Flink  版块
|
SQL 分布式计算 Hadoop
|

如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue

目前Aliyun E-MapReduce支持了zeppelin和hue,在Aliyun E-MapReduce集群上可以很方便的使用zeppelin和hue。本文将详细介绍如何在Aliyun E-MapReduce玩转Zeppelin和Hue!

12670 0
|
流计算 Apache 人工智能
|

回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾(附PPT下载)

8 月最后一天,由 Apache Kafka 与 Apache Flink 联合举办的 Meetup 深圳站圆满落幕,现场站无虚席,来自 Confluent 、中国农业银行 、虎牙直播、数见科技以及阿里巴巴的五位技术专家带来了丰富精彩的分享,全场干货满满!

13389 0
来自: 实时计算 Flink  版块
|
SQL 分布式计算 大数据
|

HIVE MapJoin异常问题处理总结

HIVE被很广泛的使用,使用过程中也会遇到各种千奇百怪的问题。这里就遇到的MapJoin Local 内存不足的问题进行讨论,从问题描述、mapjion原理以及产生该问题的原因,解决方案做一下介绍,最后对该问题进行了进一步的思考,希望对解决该类问题的朋友有所帮助。

14393 0
|
机器学习/深度学习 分布式计算 数据可视化
|

实践!如何用阿里云的机器学习得出泰坦尼克号沉船事件中谁有更大的概率获救

阿里云机器学习平台该平台沉淀了阿里巴巴的机器学习算法体系和经验,从数据的预处理、到机器学习算法、模型的评估和预测动能。

12971 0
来自: 人工智能平台PAI  版块
|
SQL 存储 分布式计算
|

MaxCompute上如何处理非结构化数据

0. 前言 MaxCompute作为阿里云大数据平台的核心计算组件,拥有强大的计算能力,能够调度大量的节点做并行计算,同时对分布式计算中的failover,重试等均有一套行之有效的处理管理机制。 而MaxCompute SQL能在简明的语义上实现各种数据处理逻辑,在集团内外更是广为应用,在其上实现

12790 0
来自: 大数据计算 MaxCompute  版块
|
算法 机器学习/深度学习 数据处理
|

【玩转数据系列三】利用图算法实现金融行业风控

本文将针对阿里云平台上图算法模块来进行实验。图算法一般被用来解决关系网状的业务场景。与常规的结构化数据不同,图算法需要把数据整理成首尾相连的关系图谱。图算法更多的是考虑边和点的概念。阿里云机器学习平台上提供了丰富的图算法组件,包括K-Core、最大联通子图、标签传播聚类等。

12724 0
来自: 人工智能平台PAI  版块
|
人工智能 分布式计算 大数据
|

倒计时1天!相约杭州云栖,相遇数据智能

2016杭州云栖大会盛大开启,与阿里云大数据一起相约杭州云栖,相遇数据智能!我们精心准备了四大智能看点,等你用一颗大数据的心,鞠一捧智能的“水”。

11001 0
来自: 大数据计算 MaxCompute  版块
|
存储 运维 监控
|

阿里云大数据计算平台的自动化、精细化运维之路

作者简介:     范伦挺   阿里巴巴 基础架构事业群-技术专家   花名萧一,2010年加入阿里巴巴,现任阿里巴巴集团大数据计算平台运维负责人。团队主要负责阿里巴巴各类离在线大数据计算平台(如MaxCompute、AnalyticDB、StreamComput

11466 0
来自: 大数据计算 MaxCompute  版块
|
存储 SQL 物联网
|

首次揭秘|为6.4亿人次出行提供无线网络的技术架构

借助“互联网+大数据+机场”三轮驱动,掌慧纵盈每年为6.4亿人次出行提供无线网络连接服务。 随着业务的拓展,随之后来的挑战是数据量的暴增。 2016年,掌慧纵盈(股票代码:835736)通过阿里云产品,率先构建了业界领先的大数据平台。 本文阐述了一家物联网企业的业务架构和数据架构,以及技术选型

10375 0
|
存储 分布式计算 大数据
|

阿里封神-大数据处理技术漫谈

以前一篇博客,从宏观描述了云梯1当时整体生态,年底了,笔者再梳理下软件栈,主要以开源软件为主,闭源不谈。大数据发展至今,开源软件层出不穷,也去解决了不同的问题,笔者试图去弄清楚这些,分门别类,后面也可以参照下。由于笔者知识面有限,难免会出现一些偏颇,不全,不正确,还请指正。后面也会有很多新的软件出现

11493 0
|
机器学习/深度学习 算法 搜索推荐
|

【玩转数据系列五】农业贷款发放预测

很多农民因为缺乏资金,在每年耕种前会向相关机构申请贷款来购买种地需要的物资,等丰收之后偿还。农业贷款发放问题是一个典型的数据挖掘问题。贷款发放人通过往年的数据,包括贷款人的年收入、种植的作物种类、历史借贷信息等特征来构建经验模型,通过这个模型来预测受贷人的还款能力。

11055 1
来自: 人工智能平台PAI  版块
|
存储 Java 分布式数据库
|

海量数据实时计算利器Tec

引子 在刚刚过去的2015年双11大促中,搜索事业部的实时计算和在线学习系统Pora经受住了前所未有的双11巨量用户行为消息的冲击,在流入实时消息量持续超过300w/s,甚至峰值飙升至501w/s的压力下始终保持了端到端秒级实时效果,助力相关的搜索和推荐实时业务取得了很好的效果。 Pora如何能

11536 0
来自: 智能搜索推荐  版块
|
Web App开发 SQL 分布式计算
|

Amazon Redshift数据迁移到MaxCompute

Amazon Redshift数据迁移到MaxCompute

9923 0
来自: 大数据计算 MaxCompute  版块
|
算法 搜索推荐 双11
|

实时离线平台Pora介绍@2015

10761 0
来自: 智能搜索推荐  版块
|
运维 监控 数据挖掘
|

重磅首发 |《Elasticsearch 中国开发者调查报告》探索开发者的现状和未来

为了了解Elasticsearch 中国开发者群体,结合1186位开发者的调研数据和18位社区专家的深度访谈,Elastic 技术社区、阿里巴巴 Elasticsearch 技术团队和阿里云开发者社区联合发布了《Elasticsearch 中国开发者调查报告》。免费下载,抢先一步读懂这个“族群”吧。

84126 0
|
SQL 存储 关系型数据库
|

【转载文章】记录一次MySQL两千万数据的大表优化解决过程,提供三种解决方案

问题概述 使用阿里云rds for MySQL数据库(就是MySQL5.6版本),有个用户上网记录表6个月的数据量近2000万,保留最近一年的数据量达到4000万,查询速度极慢,日常卡死。严重影响业务。

10883 0
来自: 大数据计算 MaxCompute  版块
|
SQL 分布式计算 大数据
|

数据库工程师快速上手MaxCompute进行ETL

案例说明 本案例主要是介绍如何通过数加MaxCompute+大数据开发套件两个产品实现简单的网站数据统计分析。 适用人群 MaxCompute初学者,特别是无大数据开发基础但有数据库使用基础。 案例侧重 数据库工程师快速上手MaxCompute进行大数据开发,简单了解在MaxCompute做大数据ETL过程,同时了解一些MaxCompute SQL和常用数据库SQL的基本区别。

10157 0
来自: 大数据计算 MaxCompute  版块
|
存储 运维 监控
|

SLS:海量日志数据管理利器

日志是大规模集群管理系统中非常关键的部分,服务器上的各种日志数据可以帮助我们回答如运维、开发、运营、客服、安全等问题。SLS提供一个从日志采集、过滤、处理、聚合到在线查询的日志处理平台,满足各种日志处理分析需求。本文以用户选用SLS搭建一个端对端的日志服务为例进行详解,并解析其功能背后的技术架构。

11870 0
来自: 大数据计算 MaxCompute  版块
|
SQL 分布式计算 大数据
|

MaxCompute常用语句汇总(更新ing)

收集一些MaxCompute常用命令。

11193 0
来自: 大数据计算 MaxCompute  版块

大数据与机器学习

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

2
今日
48759
内容
93
活动
436424
关注
你好!
登录掌握更多精彩内容

相关产品

  • 大数据开发治理平台 DataWorks
  • 检索分析服务 Elasticsearch版
  • 日志服务