助力工业物联网,工业大数据项目之数据采集【四】

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 助力工业物联网,工业大数据项目之数据采集【四】

01:Sqoop命令回顾

  • 目标:掌握Sqoop常用命令的使用
  • 路径
  • step1:语法
  • step2:数据库参数
  • step3:导入参数
  • step4:导出参数
  • step5:其他参数
  • 实施
  • 语法
sqoop import | export \
--数据库连接参数
--HDFS或者Hive的连接参数
--配置参数
  • 数据库参数
  • –connect jdbc:mysql://hostname:3306
  • –username
  • –password
  • –table
  • –columns
  • –where
  • -e/–query
  • 导入参数
  • –delete-target-dir
  • –target-dir
  • –hcatalog-database
  • –hcatalog-table
  • 导出参数
  • –export-dir
  • –hcatalog-database
  • –hcatalog-table
  • 其他参数
  • -m
  • 连接Oracle语法
--connect jdbc:oracle:thin:@OracleServer:OraclePort:OracleSID
  • 测试采集Oracle数据
  • 进入
docker exec -it sqoop bash
  • 测试
sqoop import \
--connect jdbc:oracle:thin:@oracle.bigdata.cn:1521:helowin \
--username ciss \
--password 123456 \
--table CISS4.CISS_BASE_AREAS \
--target-dir /test/full_imp/ciss4.ciss_base_areas \
--fields-terminated-by "\t" \
-m 1
  • 查看结果

  • 小结
  • 掌握Sqoop常用命令的使用

02:YARN资源调度及配置

  • 目标实现YARN的资源调度配置
  • 实施
  • 常用端口记住:排错
  • NameNode:8020,50070
  • ResourceManager:8032,8088
  • JobHistoryServer:19888
  • Master:7077,8080
  • HistoryServer:18080
  • YARN调度策略
  • FIFO:不用
  • 单队列,队列内部FIFO,所有资源只给一个程序运行
  • Capacity:Apache
  • 多队列,队列内部FIFO,资源分配给不同的队列,队列内部所有资源只给一个程序运行
  • Fair:CDH
  • 多队列,队列内部共享资源,队列内部的资源可以给多个程序运行
  • YARN面试题
  • 程序提交成功,但是不运行而且不报错,什么问题,怎么解决?
  • 资源问题:APPMaster就没有启动
  • 环境问题
  • NodeManager进程问题:进程存在,但不工作
  • 机器资源不足导致YARN或者HDFS服务停止:磁盘超过90%,所有服务不再工作
  • 解决:实现监控告警:80%,邮件告警
  • YARN中程序运行失败的原因遇到过哪些?
  • 代码逻辑问题
  • 资源问题:Container
  • Application / Driver:管理进程
  • MapTask和ReduceTask / Executor:执行进程
  • 解决问题:配置进程给定更多的资源
  • 问题1:程序已提交YARN,但是无法运行,报错:Application is added to the scheduler and is not activated. User’s AM resource limit exceeded.
yarn.scheduler.capacity.maximum-am-resource-percent=0.8
  • 配置文件:${HADOOP_HOME}/etc/hadoop/capacity-scheduler.xml
  • 属性功能:指定队列最大可使用的资源容量大小百分比,默认为0.2,指定越大,AM能使用的资源越多
  • 问题2:程序提交,运行失败,报错:无法申请Container
yarn.scheduler.minimum-allocation-mb=512
  • 配置文件:${HADOOP_HOME}/etc/hadoop/yarn-site.xml
  • 属性功能:指定AM为每个Container申请的最小内存,默认为1G,申请不足1G,默认分配1G,值过大,会导致资源不足,程序失败,该值越小,能够运行的程序就越多
  • 问题3:怎么提高YARN集群的并发度?
  • 物理资源、YARN资源、Container资源、进程资源
  • YARN资源配置
yarn.nodemanager.resource.cpu-vcores=8
yarn.nodemanager.resource.memory-mb=8192
  • Container资源
yarn.scheduler.minimum-allocation-vcores=1
yarn.scheduler.maximum-allocation-vcores=32
yarn.scheduler.minimum-allocation-mb=1024
yarn.scheduler.maximum-allocation-mb=8192
  • MR Task资源
mapreduce.map.cpu.vcores=1
mapreduce.map.memory.mb=1024
mapreduce.reduce.cpu.vcores=1
mapreduce.reduce.memory.mb=1024
  • Spark Executor资源
--driver-memory  #分配给Driver的内存,默认分配1GB
--driver-cores   #分配给Driver运行的CPU核数,默认分配1核
--executor-memory #分配给每个Executor的内存数,默认为1G,所有集群模式都通用的选项
--executor-cores  #分配给每个Executor的核心数,YARN集合和Standalone集群通用的选项
--total-executor-cores NUM  #Standalone模式下用于指定所有Executor所用的总CPU核数
--num-executors NUM #YARN模式下用于指定Executor的个数,默认启动2个
  • 实现:修改问题1中的配置属性
  • 注意:修改完成,要重启YARN

  • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jgRIa2kT-1673426702988)(Day2_数仓设计及数据采集.assets/image-20210822085238536.png)]
  • 小结
  • 实现YARN的资源调度配置

03:MR的Uber模式

  • 目标:了解MR的Uber模式的配置及应用
  • 实施
  • Spark为什么要比MR要快
  • MR慢
  • 只有Map和Reduce阶段,每个阶段的结果都必须写入磁盘
  • 如果要实现Map1 -> Map2 -> Reduce1 -> Reduce2
  • Mapreduce1:Map1
  • MapReduce2:Map2 -> Reduce1
  • Mapreduce3:Reduce2
  • MapReduce程序处理是进程级别:MapTask进程、ReduceTask进程
  • 问题:MR程序运行在YARN上时,有一些轻量级的作业要频繁的申请资源再运行,性能比较差怎么办?
  • Uber模式
  • 功能:Uber模式下,程序只申请一个AM Container:所有Map Task和Reduce Task,均在这个Container中顺序执行
  • 默认不开启
  • 配置:${HADOOP_HOME}/etc/hadoop/mapred-site.xml
mapreduce.job.ubertask.enable=true
#必须满足以下条件
mapreduce.job.ubertask.maxmaps=9
mapreduce.job.ubertask.maxreduces=1
mapreduce.job.ubertask.maxbytes=128M
yarn.app.mapreduce.am.resource.cpu-vcores=1
yarn.app.mapreduce.am.resource.mb=1536M
  • 特点
  • Uber模式的进程为AM,所有资源的使用必须小于AM进程的资源
  • Uber模式条件不满足,不执行Uber模式
  • Uber模式,会禁用推测执行机制
  • 小结
  • 了解MR的Uber模式的配置及应用

04:Sqoop采集数据格式问题

  • 目标掌握Sqoop采集数据时的问题
  • 路径
  • step1:现象
  • step2:问题
  • step3:原因
  • step4:解决
  • 实施
  • 现象
  • step1:查看Oracle中CISS_SERVICE_WORKORDER表的数据条数
select count(1) as cnt from CISS_SERVICE_WORKORDER;
  • step2:采集CISS_SERVICE_WORKORDER的数据到HDFS上
sqoop import
–connect jdbc:oracle:thin:@oracle.bigdata.cn:1521:helowin
–username ciss
–password 123456
–table CISS4.CISS_SERVICE_WORKORDER
–delete-target-dir
–target-dir /test/full_imp/ciss4.ciss_service_workorder
–fields-terminated-by “\001”
-m 1

- step3:Hive中建表查看数据条数
- 进入Hive容器
  ```
docker exec -it hive bash
  ```
- 连接HiveServer
  ```
  beeline -u jdbc:hive2://hive.bigdata.cn:10000 -n root -p 123456
  ```
- 创建测试表
  ```sql
  create external table test_text(
  line string
  )
  location '/test/full_imp/ciss4.ciss_service_workorder';
  ```
- 统计行数
  ```
  select count(*) from test_text;
  ```
  • 问题:Sqoop采集完成后导致HDFS数据与Oracle数据量不符
  • 原因
  • sqoop以文本格式导入数据时,默认的换行符是特殊字符
  • Oracle中的数据列中如果出现了\n、\r、\t等特殊字符,就会被划分为多行
  • Oracle数据
id      name        age
001     zhang\nsan      18
  • Sqoop遇到特殊字段就作为一行
001     zhang
san     18
  • Hive
id      name        age
001     zhang 
san     18
  • 解决
  • 方案一:删除或者替换数据中的换行符
  • –hive-drop-import-delims:删除换行符
  • –hive-delims-replacement char:替换换行符
  • 不建议使用:侵入了原始数据
  • 方案二:使用特殊文件格式:AVRO格式
  • 小结
  • 掌握Sqoop采集数据时的问题

05:问题解决:Avro格式

  • 目标:掌握使用Avro格式解决采集换行问题
  • 路径
  • step1:常见格式介绍
  • step2:Avro格式特点
  • step3:Sqoop使用Avro格式
  • step4:使用测试
  • 实施
  • 常见格式介绍
类型 介绍
TextFile Hive默认的文件格式,最简单的数据格式,便于查看和编辑,耗费存储空间,I/O性能较低
SequenceFile 含有键值对的二进制文件,优化磁盘利用率和I/O,并行操作数据,查询效率高,但存储空间消耗最大
AvroFile 特殊的二进制文件,设计的主要目标是为了满足schema evolution,Schema和数据保存在一起
OrcFile 列式存储,Schema存储在footer中,不支持schema evolution,高度压缩比并包含索引,查询速度非常快
ParquetFile 列式存储,与Orc类似,压缩比不如Orc,但是查询性能接近,支持的工具更多,通用性更强
  • SparkCore缺点:RDD【数据】:没有Schema
  • SparkSQL优点:DataFrame【数据 + Schema】
  • Schema:列的信息【名称、类型】
  • Avro格式特点
  • 优点
  • 二进制数据存储,性能好、效率高
  • 使用JSON描述模式,支持场景更丰富
  • Schema和数据统一存储,消息自描述
  • 模式定义允许定义数据的排序
  • 缺点
  • 只支持Avro自己的序列化格式
  • 少量列的读取性能比较差,压缩比较低
  • 场景:基于行的大规模结构化数据写入、列的读取非常多或者Schema变更操作比较频繁的场景
  • Sqoop使用Avro格式
  • 选项
--as-avrodatafile                                     Imports data to Avro datafiles
  • 注意:如果使用了MR的Uber模式,必须在程序中加上以下参数避免类冲突问题
-Dmapreduce.job.user.classpath.first=true
  • 使用测试
sqoop import \
-Dmapreduce.job.user.classpath.first=true \
--connect jdbc:oracle:thin:@oracle.bigdata.cn:1521:helowin \
--username ciss \
--password 123456 \
--table CISS4.CISS_SERVICE_WORKORDER \
--delete-target-dir \
--target-dir /test/full_imp/ciss4.ciss_service_workorder \
--as-avrodatafile \
--fields-terminated-by "\001" \
-m 1
  • Hive中建表
  • 进入Hive容器
docker exec -it hive bash
  • 连接HiveServer
beeline -u jdbc:hive2://hive.bigdata.cn:10000 -n root -p 123456
  • 创建测试表
create external table test_avro(
line string
)
stored as avro
location '/test/full_imp/ciss4.ciss_service_workorder';
  • 统计行数
select count(*) from test_avro;
  • 小结
  • 掌握如何使用Avro格式解决采集换行问题

06:Sqoop增量采集方案回顾

  • 目标:回顾Sqoop增量采集方案
  • 路径
  • step1:Append
  • step2:Lastmodified
  • step3:特殊方式
  • 实施
  • Append
  • 要求:必须有一列自增的值,按照自增的int值进行判断
  • 特点:只能导入增加的数据,无法导入更新的数据
  • 场景:数据只会发生新增,不会发生更新的场景
  • 代码
sqoop import \
--connect jdbc:mysql://node3:3306/sqoopTest \
--username root \
--password 123456 \
--table tb_tohdfs \
--target-dir /sqoop/import/test02 \
--fields-terminated-by '\t' \
--check-column id \
--incremental append \
--last-value 0 \
-m 1
  • Lastmodified
  • 要求:必须包含动态时间变化这一列,按照数据变化的时间进行判断
  • 特点:既导入新增的数据也导入更新的数据
  • 场景:一般无法满足要求,所以不用
  • 代码
sqoop import \
--connect jdbc:mysql://node3:3306/sqoopTest \
--username root \
--password 123456 \
--table tb_lastmode \
--target-dir /sqoop/import/test03 \
--fields-terminated-by '\t' \
--incremental lastmodified \
--check-column lastmode \
--last-value '2021-06-06 16:09:32' \
-m 1
  • 特殊方式
  • 要求:每次运行的输出目录不能相同
  • 特点:自己实现增量的数据过滤,可以实现新增和更新数据的采集
  • 场景:一般用于自定义增量采集每天的分区数据到Hive
  • 代码
sqoop  import \
--connect jdbc:mysql://node3:3306/db_order \
--username root \
--password-file file:///export/data/sqoop.passwd \
--query "select * from tb_order where substring(create_time,1,10) = '2021-09-14' or substring(update_time,1,10) = '2021-09-14' and \$CONDITIONS " \
--delete-target-dir \
--target-dir /nginx/logs/tb_order/daystr=2021-09-14 \
--fields-terminated-by '\t' \
-m 1
  • 小结
  • 回顾Sqoop增量采集方案


相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
目录
相关文章
|
1月前
|
监控 JavaScript NoSQL
【开源视频联动物联网平台】写一个物联网项目捐献给Dromara组织
【开源视频联动物联网平台】写一个物联网项目捐献给Dromara组织
30 1
|
1月前
|
前端开发 NoSQL JavaScript
【开源视频联动物联网平台】开箱即用的物联网项目介绍
【开源视频联动物联网平台】开箱即用的物联网项目介绍
78 1
|
3月前
|
数据采集 传感器 人工智能
大数据关键技术之电商API接口接入数据采集发展趋势
本文从数据采集场景、数据采集系统、数据采集技术方面阐述数据采集的发展趋势。 01 数据采集场景的发展趋势 作为大数据和人工智能工程的源头,数据采集的场景伴随着应用场景的发展而变化,以下是数据采集场景的发展趋势。
|
2月前
|
监控 物联网 大数据
智慧工地管理平台系统源码基于物联网、云计算、大数据等技术
智慧工地平台APP通过对施工过程人机料法环的全面感知、互联互通、智能协同,提高施工现场的生产效率、管理水平和决策能力,实现施工管理的数字化、智能化、精益化。
53 0
|
4月前
|
NoSQL 物联网 大数据
【补充】助力工业物联网,工业大数据之AirFlow安装
【补充】助力工业物联网,工业大数据之AirFlow安装
58 1
|
4月前
|
Prometheus 数据可视化 Cloud Native
助力工业物联网,工业大数据之服务域:可视化工具Grafana介绍【三十八】
助力工业物联网,工业大数据之服务域:可视化工具Grafana介绍【三十八】
103 1
|
4月前
|
存储 SQL Oracle
助力工业物联网,工业大数据之服务域:项目总结【三十九】
助力工业物联网,工业大数据之服务域:项目总结【三十九】
43 1
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
47 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
35 0