DataX使用指南——ODPS to ODPS
1. DataX是什么
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。
odps是什么?
ODPS(Open Data Processing Service),原是阿里云从 09年开始自研的大规模批量计算引擎,2016 年更名为MaxCompute。2022云栖大会上,阿里云ODPS全新升级为一体化大数据平台,存储、调度、元数据一体化融合 ,从 Processing 升级为 Platform,即 Open Data Platform and Service。提供了离线计算、实时交互式分析、机器学习等可扩展的智能计算引擎,满足用户多元化数据计算需求。
阿里十年经验输出,大数据平台“数加”的前世今生
阿里云大数据业务资深专家张金银和王峰在 “云栖大会上海峰会”的深度分享。核心是从历史发展的角度解读集阿里巴巴十年的大数据能力以及上万名工程师实战检验于一身,覆盖数据采集、计算引擎、数据加工、数据分析、机器学习、数据应用等数据生产全链条的阿里云一站式大数据平台“数加”。
如何快速搭建一个数据分析平台?
基本上,通过基于日志服务的数据采集、基于阿里云数加ODPS的数据计算和运维、QuickBI的报表制作,小规模的初创工具可以在2天左右快速的搭建完一个适合业务的、可以扩展的数据分析平台(你也可以基于这个平台搭建出一个商用的推荐系统),当然,这一切的前提是你的BOSS能知道数据分析的价值。