【玩转数据系列九】机器学习为您解密雾霾形成原因
如果要人们评选当今最受关注话题的top10榜单，雾霾一定能够入选。如今走在北京街头，随处可见带着厚厚口罩的人在埋头前行，雾霾天气不光影响了人们的出行和娱乐，对于人们的健康也有很大危害。本文通过爬取并分析北京一年来的真实天气数据，挖掘出二氧化氮是跟雾霾天气（这里指的是PM2.5）相关性最强的污染物，从
阿里云ACP级认证考试心得+过关经验
正在准备阿里云ACP级认证考试的童鞋福利来啦！经过小编的软磨硬泡，终于从高分通过ACP云计算专业认证及大数据专业认证的大牛同事那里要来了考试心得+经验分享，直接看吧~
DataX使用指南——ODPS to ODPS
1. DataX是什么
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。
odps是什么?
ODPS（Open Data Processing Service），原是阿里云从 09年开始自研的大规模批量计算引擎，2016 年更名为MaxCompute。2022云栖大会上，阿里云ODPS全新升级为一体化大数据平台，存储、调度、元数据一体化融合 ，从 Processing 升级为 Platform，即 Open Data Platform and Service。提供了离线计算、实时交互式分析、机器学习等可扩展的智能计算引擎，满足用户多元化数据计算需求。
如何快速搭建一个数据分析平台？
基本上，通过基于日志服务的数据采集、基于阿里云数加ODPS的数据计算和运维、QuickBI的报表制作，小规模的初创工具可以在2天左右快速的搭建完一个适合业务的、可以扩展的数据分析平台（你也可以基于这个平台搭建出一个商用的推荐系统），当然，这一切的前提是你的BOSS能知道数据分析的价值。
混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践
2019杭州云栖大会大数据企业级服务专场，由斗鱼大数据高级专家张龙带来以 “混合云模式下 MaxCompute+Hadoop 混搭大数据架构实践” 为题的演讲。本文讲述了从 Apache Hadoop 阶段到 Cloudera CDH 阶段斗鱼大数据架构的发展历程。提出了上云过程中斗鱼遇到的问题和跳战，包括数据安全、数据同步以及迁移任务。概括了混合云模式给斗鱼带来资源效率更高和资源成本更低的变化。
ODPS数据迁移指南
1. 背景调研
1.1 ODPS源与目的集群
调研项
内容
ODPS源集群版本
ODPS目的集群版本
ODPS源与目的是否在一个集群/可使用相同账号
ODPS源集群AccessKeyId
ODPS源集群AccessKeySecret
ODPS目的集群AccessKeyId
ODPS目的集群AccessKeyIdSecret
1.2 预迁移数据统计
所属Project
表名
大小
是否要迁移增量
Project1
Table1
Desc查看表大小
2. 工具选择与方案确定
目前有四种方式可用于ODPS的数据迁移。
