一个应用的数据来源从PostgreSql导入到hdfs 需要使用API来定义这样做的好处就是一次写入永久执行
而从hdfs导入到hive表中有多种方式
shell 脚本算一种
在整个应用构建中 处于一个新的模块中
通过new新的文件因为是类sql(导入到hive上)所以文件格式为xxx.hql
整个项目创建或许会产生很多文件 所以对与命名上也需要按照一定的格式xx_yy_zz.hql
xx 表示当前所在文件夹文件名
yy表示所建立的表名与内容性质相关
zz是按照怎样的分区分桶格式如yyyyMMdd 表示按天分区的
drop table if exists ods_company_${yyyymmdd};
create external table ods_company_${yyyymmdd}(
company_id int
,company_address string
,company_attr string
,company_boss string
,company_name string
,company_phone string
)stored as parquet
location '/sqoop/btrip_pg/${yyyymmdd}/tb_company'
${yyyymmdd} 为日期这样保证存储在hdfs上的数据可以与表相对应,
location位置和将PostgreSql上的数据导入到hdfs上的输出文件路径一致