云数据仓库MaxCompute最佳实践之数据上云 | 2019飞天大数据平台技术公开课第五季

简介: 秋日杲杲,大数据技术公开课第五季开播!本季主题 “云数据仓库 MaxCompute 最佳实践之数据上云”。10.22日-11.12日,每周二 19:00,一起学习大数据。

2019年9月17日,TPC官宣Alibaba Cloud MaxCompute 认证结果。同月26日,杭州云栖大会阿里巴巴宣布了这一成绩,飞天大数据平台计算引擎MaxCompute成全球首个TPCx-BB认证的公共云产品,是除Hive、Spark,TPCx-BB标准支持的第三个大数据引擎。MaxCompute不仅在TPCx-BB已有最大规模30TB上将性能提升近一倍,达到6427.86QPM,单位价格下降一半,达到169.76$/QPM。更是首次将TPC-BB的数据最大规模拓展到100TB,性能达到25641.21QPM。

MaxCompute 作为EB级的云智能数据仓库,通过自主研发做到持续优化存储与计算,打破数据量与成本的线性关系,做到了不使用不收费,相比自建IDC综合成本只需1/5。

那么,如何将数据同步至MaxCompute进行计算呢?本季课程将介绍四种常见的数据同步场景的最佳实践,希望可以对大数据开发者朋友们有所帮助。


kafka 数据如何同步到 MaxCompute 2019.10.22 19:00-19:40

【直播简介】本次直播主要介绍Kafka产品的原理和使用方式,以及同步数据到MaxCompute的参数介绍、独享集成资源组与自定义资源组的使用背景和配置方式、Kafka同步数据到MaxCompute的开发到生产的整体部署操作等内容。
【观看直播】MaxCompute开发者社区2群
【分享嘉宾】耿江涛 阿里云智能 技术支持工程师


image
视频回放 >>>
分享资料下载 >>>
阅读文字版 >>>


Hadoop 数据如何同步至 MaxCompute 2019.10.29 19:00-19:40

【直播简介】云下Hadoop用户如何快速、平滑的迁移到阿里云MaxComute大数据生态?如何快速完成数据和业务的迁移以及生态系统的对接?MaxCompute提供了数据迁移工具-MMA,支持Meta、数据、作业和工作流的批量自动化迁移,帮助客户高效、低成本的上云,快速构建云上业务。
【观看直播】MaxCompute开发者社区2群
【分享嘉宾】马巍源 阿里云智能 产品专家

image
视频回放 >>>
分享资料下载 >>>
阅读文字版 >>>


MySQL/RDS 数据如何同步到 MaxCompute 2019.11.5 19:00-19:40

【直播简介】本次直播主要讲解MySQL/RDS业务数据如何通过DataWorks数据集成或DTS同步到MaxCompute。
【观看直播】MaxCompute开发者社区2群
【分享嘉宾】刘力夺 阿里云智能 技术支持工程师

image
视频回放 >>>
分享资料下载 >>>
阅读文字版 >>>


日志数据如何同步到 MaxCompute 2019.11.12 19:00-19:40

【直播简介】本次直播主要讲解日志文件如何通过Loghub/Datahub同步数据到MaxCompute的参数介绍和详细同步过程等内容。
【观看直播】MaxCompute开发者社区2群
【分享嘉宾】刘建伟 阿里云智能 技术支持工程师

image
视频回放 >>>
分享资料下载 >>>
阅读文字版 >>>



往期回顾与干货下载>>>

大数据技术公开课第四季干货集合
大数据技术公开课第三季干货集合
大数据技术公开课第二季干货集合
大数据技术公开课第一季干货集合


第五季直播10.22日19:00在MaxCompute开发者社区准时开播,欢迎大数据开发者和爱好者们一起来。

点击链接加入 MaxCompute开发者社区2群 https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
或扫码加入
image

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
10月前
|
SQL 人工智能 分布式计算
ODPS十五周年实录|构建 AI 时代的大数据基础设施
本文根据 ODPS 十五周年·年度升级发布实录整理而成,演讲信息如下: 张治国:阿里云智能集团技术研究员、阿里云智能计算平台事业部 ODPS-MaxCompute 负责人 活动:【数据进化·AI 启航】ODPS 年度升级发布
483 9
|
12月前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据存储计算服务:MaxCompute
阿里云MaxCompute是快速、全托管的TB/PB级数据仓库解决方案,提供海量数据存储与计算服务。支持多种计算模型,适用于大规模离线数据分析,具备高安全性、低成本、易用性强等特点,助力企业高效处理大数据。
613 0
|
10月前
|
SQL 存储 分布式计算
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
本文旨在帮助非专业数据研发但是有高频ODPS使用需求的同学们(如数分、算法、产品等)能够快速上手ODPS查询优化,实现高性能查数看数,避免日常工作中因SQL任务卡壳、失败等情况造成的工作产出delay甚至集群资源稳定性问题。
1787 36
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
|
11月前
|
存储 数据管理 数据库
数据字典是什么?和数据库、数据仓库有什么关系?
在数据处理中,你是否常困惑于字段含义、指标计算或数据来源?数据字典正是解答这些问题的关键工具,它清晰定义数据的名称、类型、来源、计算方式等,服务于开发者、分析师和数据管理者。本文详解数据字典的定义、组成及其与数据库、数据仓库的关系,助你夯实数据基础。
数据字典是什么?和数据库、数据仓库有什么关系?
|
10月前
|
存储 机器学习/深度学习 数据采集
一文讲透数据仓库、数据湖、数据海的区别
企业常因数据架构不清导致报表延迟、数据矛盾、利用困难。核心解法是构建数据仓库(高效分析)、数据湖(灵活存储原始数据)和数据海(全局集成)。三者各有适用场景,需根据业务需求选择,常共存互补,助力数据驱动决策。
一文讲透数据仓库、数据湖、数据海的区别
|
10月前
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。
889 1
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
2059 1
|
存储 BI API
一文读懂数据中台和数据仓库的区别
本文深入解析了“数据中台”与“数据仓库”的区别,从定义、功能、架构设计、数据处理、应用场景等多个维度进行对比,帮助企业更清晰地理解二者的核心差异与适用场景。数据仓库重在存储与分析历史数据,服务于高层决策;数据中台则强调数据的实时处理与服务化输出,直接赋能一线业务。文章还结合企业规模、业务需求与技术能力,给出了选型建议,助力企业在数字化转型中做出更科学的选择。
1754 11
|
存储 数据管理 BI
揭秘数据仓库的奥秘:数据究竟如何层层蜕变,成为企业决策的智慧源泉?
【8月更文挑战第26天】数据仓库是企业管理数据的关键部分,其架构直接影响数据效能。通过分层管理海量数据,提高处理灵活性及数据一致性和安全性。主要包括:数据源层(原始数据)、ETL层(数据清洗与转换)、数据仓库层(核心存储与管理)及数据服务层(提供分析服务)。各层协同工作,支持高效数据管理。未来,随着技术和业务需求的变化,数仓架构将持续优化。
384 3
|
存储 缓存 分布式计算
OSS大数据分析集成:MaxCompute直读OSS外部表优化查询性能(减少数据迁移的ETL成本)
MaxCompute直读OSS外部表优化方案,解决传统ETL架构中数据同步延迟高、传输成本大、维护复杂等问题。通过存储格式优化(ORC/Parquet)、分区剪枝、谓词下推与元数据缓存等技术,显著提升查询性能并降低成本。结合冷热数据分层与并发控制策略,实现高效数据分析。
430 2

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute