湖仓一体架构EMR元数据迁移DLF

简介: 通过EMR+DLF数据湖方案,可以为企业提供数据湖内的统一的元数据管理,统一的权限管理,支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF,通过统一的元数据管理,多种数据源入湖,搭建高效的数据湖解决方案。


1. 概述

1.1 适用场景

  • EMR元数据迁移至DLF。

  • 元数据迁移验证。

  • 数据一致性校验。

1.2 技术架构

本实践方案基于如下图所示的技术架构和主要流程编写操作步骤:

1.3 方案优势

  • 统一元数据管理,快速构建数据库架构。

  • 没有数据丢失风险。

  • 较短的服务停机时间。

2. 基础环境搭建

2.1 使用CADT创建资源

1.登录CADT控制台,选择官方模板新建。

 

2.由于元数据库使用了独立的RDS,需要先创建RDS再部署EMR,故先不部署EMR,先取消EMR资源部署。

3.安全组增进开放3306端口(这里测试方便全部开放,建议仅针对VPC开放)。

4.填写密码,保存应用。

5.填写名称,保存应用。

6.开始部署应用,等待部署完成。

说明

以下价格为测试环境价格,实际价格以官网提供的为准。

   

7.等待部署完成,创建数据库账号密码。

8.创建Hive元数据库。

9.在RDS控制台找到内网连接地址。

10.部署完成的架构图把浏览模式变为编辑模式,开启EMR资源部署,设置EMR的登录密码,RDS数据库用户名和密码。

重要

  • 这里填写的数据库账号密码需和前面在RDS中创建的账号密码一致。

  • 数据库连接地址调整为RDS的内网地址(仅修改rm-xxxxxx为RDS实例id,其他内容保留)。

 

11.再次部署资源。

 

12.登录EMR master节点,使用独立RDS还需先初始化元数据库。

su hadoop
schematool -initSchema -dbType mysql

本方案使用的命令行文件可以从以下文件获取。点击下载文件

重要

避免文档中字符问题,建议从txt文件中拷贝命令行。

3. 上传测试数据

说明

本方案以一个apache日志文件作为原始数据,构建HDFS存储和Hive数据。日志下载地址

1.使用scp命令拷贝测试数据到EMR集群。

scp 本地apache_logs.log文件path root@emr master公网ip:path

2.登录EMR master节点,上传hdfs文件。

hdfs dfs -mkdir /user/hadoop/input
hdfs dfs -put /apache_logs.log /user/hadoop/input 

3.使用以下命令查看hdfs文件,可见已成功上传。

hadoop fs -ls /user/hadoop/input 

4.使用hive client创建数据库。

hive
create database log_data_warehouse;
use log_data_warehouse; 

5.创建hive表。

CREATE TABLE apache_logs(
ipaddr STRING,
identity STRING,
username STRING,
accesstime STRING,
request STRING,
status STRING,
size STRING,
referer STRING,
agent STRING) 
PARTITIONED BY (year string,month string,day string)  
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
"input.regex" = "([^ ]*) ([^ ]*) ([^ ]*) (\\[.*\\]) (\".*?\") (-|[0-9]*) (-|[0-9]*) (\".*?\") (\".*?\")",
"output.format.string" = "%1$s %2$s %3$s %4$s %5$s %6$s %7$s %8$s %9$s"
)
STORED AS TEXTFILE;

6.给Hive表增加一个分区。

alter table apache_logs add partition (year='2015', month='05', day='17'); 

7.把数据载入这个分区。

load data inpath '/user/hadoop/input/*'into table log_data_warehouse.apache_logs partition (year='2015',month='05',day='17');

8.通过hive sql查看数据可以成功查询。

select * from log_data_warehouse.apache_logs where year='2015' and month='05' and day='17';

9.可见log文件也被移动到当前分区下面了。

hadoop fs -ls -R /user/hive/warehouse/log_data_warehouse.db/apache_logs/year=2015/month=05/day=17

4. 元数据迁移

4.1  元数据迁移流程说明

请仔细阅读迁移流程,并严格按流程执行:

  1. 建立DLF元数据迁移任务,并进行测试,确保迁移流程没问题。

  2. 停止EMR服务,保证元数据不会变更。

  3. 执行DLF元数据迁移任务。

  4. 原hive元数据成功迁移DLF后,进行元数据校验。

  5. 如果校验有问题,进行回滚(修改回原来hive metastore)

  6. 元数据切换到DLF,重启EMR服务。

  7. 校验相关任务执行情况是否正常。

如有问题:

  1. 启动服务后,执行的任务不影响生产的,如第五步回滚。

  2. 启动服务后,执行的任务可以重跑恢复的,如第五步回滚,并重跑任务。

  3. 启动服务后,执行的任务无法重跑恢复的,联系阿里云支持同学。

4.2 元数据迁移DLF

说明

EMR-3.30.0和EMR-4.5.0及后续版本开始支持DLF,如果版本低于此版本需升级后迁移。

1.进入数据湖构建(DLF)控制台,选择元数据迁移,创建迁移任务。

2.选择MySQL数据库,类型为RDS(如果其他类型的数据库可以使用JDBC连接),配置相关的实例信息,进入下一步。

3.输入名称,选择OSS的存储路径(如果没有OSS bucket请先到OSS控制台创建)。

4.确认信息无误后提交。

5.开始运行迁移任务。

6.运行成功后,查看运行日志,可见迁移元数据起始时间(如果有错误参考日志进行排查)。

 

7.迁移成功后,可以看到元数据库和表都自动创建成,确认元数据迁移成功。

   

4.3 元数据校验

说明

成功将元数据迁移到DLF后,需要校验Hive MetaStore、DLF两边的元数据是否一致。目前可以通过DLF提供的元数据校验工具进行比对(后期会集成到DLF产品功能中)。

1.在EMR master节点获取元数据校验工具包,点击下载

su root
cd /
wget https://testbp-106.oss-cn-shanghai.aliyuncs.com/236/Democode/dlf-migrator-tools-1.0.0-RC1.jar

2.创建YML配置文件,比如名称为migrator_config_validate.yml,内容如下。

!!com.aliyun.dlf.migrator.app.config.MigratorConfig
clientInfo:
  accessKeyId: $accessKeyId
  accessKeySecret: $accessKeySecret
  endPoint: dlf-vpc.$regionId.aliyuncs.com
  regionId: $regionId
  catalogId: $aliyunUid
mysql:
  connectionUri: jdbc:mysql://$host:$port/hivemeta
  driver: com.mysql.cj.jdbc.Driver
  userName: $userName
  password: $password
runOptions:
  batchSize: 200
  debug: false
  deleteBeforeCreate: false
  lowerCaseTableNames: true
  schema: hivemeta
  records: oss://$bucket/validate/
  objectTypes:
    - database
    - function
    - table
    - partition
  operations:
- validate
  locationMappings:
    - source: 原路径,如hdfs://user/hive/warehouse/
     target: 目标路径,如oss://dlf/warehouse/

配置项含义:

  • DLF SDK Client相关信息。

  • accessKeyId:用户阿里云主账号的Access Key Id。

  • asscessKeySecret:用户阿里云主账号的Access Key Secret。

  • endPoint:DLF的EndPoint,一般为 dlf-vpc.[region-id].aliyuncs.com。

  • catalogId:用户阿里云主账号的UID。

重要

Access Key需要有读写DLF元数据的权限。

  • MySQL元数据库相关信息。

  • connectionUrl:元数据库JDBC连接信息。

  • driver:mysql driver,一般不需要改。

  • userName:数据库用户名。

  • password:数据库密码。

  • RunOptions:运行时参数。

  • batchSize:必选配置。批量调用DLF SDK的批次大小,最大不能超过500,太大可能会超时,太小效率慢,一般100左右可以。

  • debug:必选配置。Spark是否会向console输出debug信息。

  • deleteBeforeCreate:必选配置。如果在DLF创建对象的时候,如果对象已经存在,是否要删除后再重新创建。false的情况不会删除,冲突时会update;true的情况会删掉再创建;两者最大的区别是像创建时间之类的信息会有所不同。

  • lownerCaseTableNames:必选配置。客户的元数据库里面的表是大写还是小写,目前需要客户自行判断。

  • objectTypes: 必选配置。校验对象的类型列表,可以包含database、function、table、partition。

  • operations:必选配置。校验工具执行的操作,指定validate进行元数据的比对校验,将把结果写到records路径上。

  • records:必选配置。工具的运行结果日志,处理的记录,以及错误信息。

  • locationMappings: 可选配置。对象location映射支持,应用于要修改替换database、table、partition等对象location信息的场景。有两个配置参数source和target,参数source表示要替换的路径(建议/结尾),target表示目标路径。

参考配置如下:

1.上传为HDFS文件。

hdfs dfs -put /migrator_config_validate.yml /user/hadoop/

2.SSH到EMR集群,通过spark-submit命令提交运行校验任务(需要指定实际的校验工具包和配置文件的路径)。命令参考:

spark-submit \
 --master yarn \
 --deploy-mode client \
 --driver-memory 2G \
--executor-memory 2G \
--executor-cores 4 \
 --num-executors 3 \
--conf spark.sql.shuffle.partitions=200 \
 --conf spark.kryoserializer.buffer.max=128m \
 --conf spark.sql.autoBroadcastJoinThreshold=-1 \
--conf spark.sql.adaptive.enabled=false \
 --conf spark.sql.adaptive.join.enabled=false \
--conf spark.executor.heartbeatInterval=600s \
--conf spark.network.timeout=3600s \
 --class com.aliyun.dlf.migrator.app.MigratorApplication \
/dlf-migrator-tools-1.0.0-RC1.jar  \
/user/hadoop/migrator_config_validate.yml

3.创建验证数据库。命令参考:

create table validate_database_result (leftResult string, rightResult string, status boolean, errorMessage string, fixResult string) stored as parquet location 'oss://testbp-106/validate/Databases';


create table validate_table_result (leftResult string, rightResult string, status boolean, errorMessage string, fixResult string) stored as parquet location 'oss://testbp-106/validate/Tables';


create table validate_function_result (leftResult string, rightResult string, status boolean, errorMessage string, fixResult string) stored as parquet location 'oss://testbp-106/validate/Functions';


create table validate_partition_result (leftResult string, rightResult string, status boolean, errorMessage string, fixResult string) stored as parquet location 'oss://testbp-106/validate/Partitions';

     

4.通过以下命令验证是否存在不一致,为0表示全部一致。命令参考:

select count(*) from validate_database_result where status = false;
select count(*) from validate_table_result where status = false;
select count(*) from validate_function_result where status = false;
select count(*) from validate_partition_result where status = false;

5.如果有数据不一致,通过以下命令查看详情,errorMessage字段表示不一致的具体情况。

select * from validate_database_result where status = false limit 10;
select * from validate_table_result where status = false limit 10;
select * from validate_function_result where status = false limit 10;
select * from validate_partition_result where status = false limit 10;

说明

这个case下由于我在DLF里面创建了其他数据库,所以和EMR集群的数据库不一致,实际是正常的。

4.4 元数据服务切换到DLF

警告

为了避免在迁移过程中元数据发生变化,建议在业务低峰期时先停止HiveServer2和Hive MetaStore,再进行切换(在正式开始迁移之前,建议先拿测试库跑所有流程,没问题再进行生产环境操作)。

说明

在正式切换前先停止业务,避免元数据发生变化,同时再同步最新的元数据到DLF(重复步骤2.2)

  1. 元数据校验没问题后,再进行元数据切换,进入EMR控制台,修改添加以下配置。

hive.imetastoreclient.factory.class=com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory
dlf.catalog.endpoint=dlf-vpc.cn-shanghai.aliyuncs.com
dlf.catalog.uid=156******8939
dlf.catalog.region=cn-shanghai
dlf.catalog.akMode=EMR_AUTO
dlf.catalog.sts.isNewMode=true
dlf.catalog.proxyMode=DLF_ONLY

     

说明

dlf.catalog.proxyMode配置支持以下几种模式

METASTORE_ONLY, // read/write Metastore Only
METASTORE_DLF_FAILURE, // read/write Metastore first and write dlf allow failure
METASTORE_DLF_SUCCESS, // read/write metastore first and write dlf must success
DLF_METASTORE_SUCCESS, // read/write dlf first and write metastore must success
DLF_METASTORE_FAILURE, // read/write dlf first and write metastore allow failure
DLF_ONLY, // read/write dlf only
  1. 重新启动HMS服务。

4.5 验证元数据服务

1.在EMR中使用hive命令创建一个新的元数据库。

2.在DLF控制台查看新的元数据库已经创建成功,可见EMR集群的元数据库已经使用了DLF。

3.验证数据查询成功(运行稳定后,可以切掉原来的RDS,仍可正常访问)。

use log_data_warehouse;
select * from log_data_warehouse.apache_logs where year='2015' and month='05' and day='17';
作者介绍
目录