阿里云E-MR执行作业，怎么传入时间参数

在阿里云E-MapReduce（EMR）中使用Hive分区表进行ETL操作时，可以通过动态传入参数的方式实现灵活的作业执行。以下是具体的实现方法和步骤：

1. 使用Hive变量动态传入分区值

Hive支持通过SET命令设置变量，并在SQL语句中引用这些变量。您可以在执行作业时动态传入分区值（如20160425），从而避免硬编码。

示例代码：

-- 设置分区值为变量
SET hivevar:ymd=20160425;

-- 执行插入操作
INSERT INTO target_table PARTITION (ymd=${ymd})
SELECT * FROM source_table WHERE ymd=${ymd};

说明：

• hivevar:ymd 是一个用户定义的变量，用于存储分区值。
• ${ymd} 是变量的引用方式，Hive会在执行时将其替换为实际值。
• 您可以通过命令行或脚本动态设置hivevar:ymd的值。

2. 在Shell脚本中动态传入参数

如果您通过Shell脚本提交Hive作业，可以将分区值作为参数传递给脚本，并在脚本中设置Hive变量。

示例脚本：

#!/bin/bash

# 获取传入的分区值
ymd=$1

# 提交Hive作业
hive -e "
SET hivevar:ymd=${ymd};
INSERT INTO target_table PARTITION (ymd=\${ymd})
SELECT * FROM source_table WHERE ymd=\${ymd};
"

执行方式：

./your_script.sh 20160425

说明：

• $1 表示脚本的第一个参数，即分区值。
• \${ymd} 中的反斜杠是为了防止Shell提前解析变量，确保变量由Hive解析。

3. 使用阿里云EMR的调度系统传参

如果您的ETL任务是通过阿里云EMR的调度系统（如DataWorks或其他调度工具）执行，可以通过调度系统的参数配置功能动态传入分区值。

配置步骤：

1. 在调度系统中定义参数：
   • 定义一个参数（如ymd），并设置默认值或从上游任务获取值。
2. 在Hive SQL中引用参数：

   INSERT INTO target_table PARTITION (ymd=${ymd})
   SELECT * FROM source_table WHERE ymd=${ymd};
   

3. 提交作业时传入参数值：
   • 调度系统会在执行时自动替换${ymd}为实际值。

4. 注意事项

• 分区列的值必须有效：分区列不允许为NULL，因此在传入参数时需确保其值有效。
• 性能优化：频繁使用INSERT INTO导入小批量数据会产生过多的数据版本，影响查询性能。建议使用Stream Load或Routine Load方式进行流式导入。
• 权限管理：确保执行作业的用户具有对目标表和分区的写入权限。

通过上述方法，您可以灵活地在阿里云EMR中动态传入分区值，完成Hive分区表的ETL操作。