ODPS数据迁移指南
1. 背景调研
1.1 ODPS源与目的集群
调研项
内容
ODPS源集群版本
ODPS目的集群版本
ODPS源与目的是否在一个集群/可使用相同账号
ODPS源集群AccessKeyId
ODPS源集群AccessKeySecret
ODPS目的集群AccessKeyId
ODPS目的集群AccessKeyIdSecret
1.2 预迁移数据统计
所属Project
表名
大小
是否要迁移增量
Project1
Table1
Desc查看表大小
2. 工具选择与方案确定
目前有四种方式可用于ODPS的数据迁移。
JavaWeb项目架构之Kafka分布式日志队列
架构、分布式、日志队列，标题自己都看着唬人，其实就是一个日志收集的功能，只不过中间加了一个Kafka做消息队列罢了。
kafka介绍
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。
Avro 数据格式和命令行
支持的原始类型：null,boolean,int,long,float,double,bytes,string
支持的复杂类型：
records
必须："type":"record"
必须："name":"记录名"
"namespace":"包名"
"doc":"为schema提供文档"
.
如何让测试少加班？阿里Mock平台使用方法揭秘！
作为一名测试，我们知道不是任何情况都可以用真实对象来测，比如我们要测一个地方PM2.5超过900的情况，我们不能每天等着PM2.5的指数超过900再测试，这个时候可以用一个虚拟对象来创建测试，做一个Mock。
