通过CDH5 Hadoop读取和写入OSS数据
CodeSample小助手 2019-12-30
简介：
CDH（Cloudera's Distribution, including Apache Hadoop）是众多 Hadoop 发行版本中的一种，最新版本 CDH6.0.1 中的 Hadoop3.0.0 版本已经支持 OSS。CDH5 中的 Hadoop2.6 版本不支持 OSS。本文介绍如何配置 CDH5 支持 OSS 读写。
前提条件
背景信息
由于 CDH5 的 httpclient 和 httpcore 这两个组件版本较低（4.2.5），Resource Manager 要求的 httpclient 和 httpcore 必须是低版本，而 OSS SDK 要求这两个组件的版本较高，因此，下面提供了一个 workaround 方案。
步骤一：增加 OSS 配置
您需要在所有的 CDH 节点执行以下操作：
- 通过集群管理工具 CM 来增加配置。
若没有 CM 管理的集群，可以修改 core-site.xml。以 CM 为例，需要增加如下配置：
配置项 值 fs.oss.endpoint 填写需要连接的 OSS 的 Endpoint。 例如：oss-cn-zhangjiakou-internal.aliyuncs.com
fs.oss.accessKeyId 填写 OSS 的 AccessKeyId。 fs.oss.accessKeySecret 填写 OSS 的 AccessKeySecret。 fs.oss.impl Hadoop OSS 文件系统实现类。目前固定为：org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem fs.oss.buffer.dir 填写临时文件目录。 建议值：/tmp/oss
fs.oss.connection.secure.enabled 是否开启 HTTPS。开启 HTTPS 会影响性能。 建议值：false
fs.oss.connection.maximum 与 OSS 的连接数 建议值：2048
更多参数解释请参见 Hadoop-Aliyun module。
步骤二：配置 Impala 对 OSS 的支持
Impala 可以直接查询存储在 HDFS 的数据，在 CDH5 支持 OSS 后，就可以直接查询存储在 OSS 的数据。OSS SDK 要求这两个组件的版本较高，所以需要在所有部署 Impala 的节点执行以下操作：
验证配置
TPC-DS 的 benchmark 有一张表为
call_center，假设存储在 OSS 中。我们可以创建一个外部表指向它，并且查询这张表根据
cc_country 分组分别有多少条记录。
[root@cdh-master ~]# impala-shell -i cdh-slave01:21000
Starting Impala Shell without Kerberos authentication
Connected to cdh-slave01:21000
Server version: impalad version 2.11.0-cdh5.14.4 RELEASE (build20e635646a13347800fad36a7d0b1da25ab32404)
***********************************************************************************
Welcome to the Impala shell.
(Impala Shell v2.11.0-cdh5.14.4 (20e6356) built on Tue Jun 1203:43:08 PDT 2018)
The HISTORY command lists all shell commands in chronological order.
***********************************************************************************
[cdh-slave01:21000] > droptableifexists call_center;
Query: droptableifexists call_center
[cdh-slave01:21000] >
[cdh-slave01:21000] > createexternaltable call_center(
> cc_call_center_sk bigint
> , cc_call_center_id string
> , cc_rec_start_date string
> , cc_rec_end_date string
> , cc_closed_date_sk bigint
> , cc_open_date_sk bigint
> , cc_name string
> , cc_class string
> , cc_employees int
> , cc_sq_ft int
> , cc_hours string
> , cc_manager string
> , cc_mkt_id int
> , cc_mkt_class string
> , cc_mkt_desc string
> , cc_market_manager string
> , cc_division int
> , cc_division_name string
> , cc_company int
> , cc_company_name string
> , cc_street_number string
> , cc_street_name string
> , cc_street_type string
> , cc_suite_number string
> , cc_city string
> , cc_county string
> , cc_state string
> , cc_zip string
> , cc_country string
> , cc_gmt_offset double
> , cc_tax_percentage double
> )
> rowformatdelimitedfieldsterminatedby'|'
> location 'oss://${your-bucket-name}/call_center';
Query: createexternaltable call_center(
cc_call_center_sk bigint
, cc_call_center_id string
, cc_rec_start_date string
, cc_rec_end_date string
, cc_closed_date_sk bigint
, cc_open_date_sk bigint
, cc_name string
, cc_class string
, cc_employees int
, cc_sq_ft int
, cc_hours string
, cc_manager string
, cc_mkt_id int
, cc_mkt_class string
, cc_mkt_desc string
, cc_market_manager string
, cc_division int
, cc_division_name string
, cc_company int
, cc_company_name string
, cc_street_number string
, cc_street_name string
, cc_street_type string
, cc_suite_number string
, cc_city string
, cc_county string
, cc_state string
, cc_zip string
, cc_country string
, cc_gmt_offset double
, cc_tax_percentage double
)
rowformatdelimitedfieldsterminatedby'|'
location 'oss://${your-bucket-name}/call_center'
Fetched 0row(s) in0.07s
[cdh-slave01:21000] > select cc_country, count(*) from call_center groupby cc_country;
Query: select cc_country, count(*) from call_center groupby cc_country
Query submitted at: 2018-10-2816:21:13 (Coordinator: http://cdh-slave01:25000)
Query progress can be monitored at: http://cdh-slave01:25000/query_plan?query_id=fb4e09977145f367:3bdfe4d600000000
+---------------+----------+
| cc_country | count(*) |
+---------------+----------+
| United States | 30 |
+---------------+----------+
Fetched 1 row(s) in 4.71s参考文档
关于 Hadoop 更多内容，请参见 Hadoop 支持集成 OSS。
您也可以通过阿里云 EMR 访问 OSS。阿里云 EMR 基于开源生态，包括 Hadoop、Spark、Kafka、Flink、Storm 等组件，为您提供集群、作业、数据管理等服务的一站式企业大数据平台，并无缝支持 OSS。阿里云 EMR 与 OSS 紧密结合，针对开源生态访问 OSS，有多项技术优化，详情请参见 EMR 产品介绍。
