云原生大数据计算服务 MaxCompute

首页 标签 云原生大数据计算服务 MaxCompute
# 云原生大数据计算服务 MaxCompute #
关注
36324内容
| |
来自: 云存储
结构化大数据分析平台设计
前言  任何线上系统都离不开数据,有些数据是业务系统自身需要的,例如系统的账号,密码,页面展示的内容等。有些数据是业务系统或者用户实时产生的,例如业务系统的日志,用户浏览访问的记录,系统的购买订单,支付信息,会员的个人资料等。
Flume+Kafka+Flink+Redis构建大数据实时处理系统:实时统计网站PV、UV展示
1.大数据处理的常用方法 大数据处理目前比较流行的是两种方法,一种是离线处理,一种是在线处理,基本处理架构如下: 在互联网应用中,不管是哪一种处理方式,其基本的数据来源都是日志数据,例如对于web应用来说,则可能是用户的访问日志、用户的点击日志等。
JindoFS: 云上大数据的高性能数据湖存储方案
JindoFS 是EMR打造的高性能大数据存储服务,可以为不同的计算引擎提供不同的存储服务,可以根据应用的场景来选择不同的存储模式。在2019杭州云栖大会大数据生态专场,阿里巴巴计算平台事业部EMR团队技术专家殳鑫鑫和Intel大数据团队软件开发经理徐铖共同向大家分享了云上大数据的高性能数据湖存储方案JindoFS的产生背景、架构以及与Intel DCPM的性能评测。
Apache Paimon统一大数据湖存储底座
Apache Paimon,始于Flink Table Store,发展为独立的Apache顶级项目,专注流式数据湖存储。它提供统一存储底座,支持流、批、OLAP,优化了CDC入湖、流式链路构建和极速OLAP查询。Paimon社区快速增长,集成Flink、Spark等计算引擎,阿里巴巴在内部广泛应用,旨在打造统一湖存储,打通Serverless Flink、MaxCompute等,欢迎大家扫码参与体验阿里云上的 Flink+Paimon 的流批一体服务。
阿里内外:百万PV的阿里内网 如何协同员工工作与文化
众所周知,阿里人拼劲足,能始终保持高效且充满温度、坚守价值观的工作动力,但很少人知道,秘诀之一就在于阿里内部人人都会用的协作平台——阿里内外。究竟阿里内外是如何带来组织生命力?背后又有哪些核心技术?通过阿里内外产品及其技术架构的首次揭秘,给你答案。
阿里云 MaxCompute 2020-12 月刊
2020年12月 MaxCompute 在查询加速、流式数据写入、消费限制、实时作业监控、元数据服务方面有最新发布,欢迎通过本月刊了解12月最新发布详情。
10年老兵带你看尽MaxCompute大数据运算挑战与实践
在大流量高并发互联网应用实践在线峰会上,阿里云大数据计算平台资深架构师林伟带来了题为《MaxCompute大数据运算挑战与实践》的分享。分享中,他主要介绍了在大数据、大流量、高并发情况下MaxCompute所面临的挑战,以及应对这些挑战的实践经验。
【内含分享PPT/视频/文章】阿里云MVP学院MaxCompute技术闭门会线上首播 | 2019大数据技术公开课第二季
数据的价值是解释业务还是预测业务?是支撑业务还是驱动业务?企业级计算服务的核心问题是什么?企业级计算平台要解决的核心问题是什么?商业和技术的平衡点在哪里? 一起直播学习,让数据真正驱动业务。
免费试用