开发者学堂课程【新电商大数据平台2020最新课程：电商项目之用户行为数据映射 hive 表】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/640/detail/10515
电商项目之用户行为数据映射 hive 表
用户行为数据映射 hive 表讲解
上节课把 web 数据处理完成，通过 flume 采集到 hive 表，映射到 ods 层这样便生成 web 数据表。
行为数据同时也是需要映射到 hive 表上。在采集数据的过程中不断下沉到 ods 层形成表的数据。我们的用户数据也是需要落地磁盘的，需要 flume 监控，在下沉到 ods。这步就省略了，因为在此之前已经说了 flume 怎么监控、采集、怎么映成 hive 表。有意不需要这么复杂，我们直接用用户行为数据映射 hive 表就可以了.
首先我们将本地数据上传，然后用 roud 命令，把他 roud 到 ads 就可以了，其实不用上传，在本地执行映射也可以。打开数据，注意格式，我们再前面处理的数据是 csv。
这个数据是 part 文件数据，这种格式查询效率比较高，并且处理数据比例段比较少，查询起来比较快。
我们的 web 数据是一个 log 数据是我们昨天采集过来形成的一个 log 数据。
在数据文件档里查看用户行为日志表，把表创建好。他设置的类型格式是 json 的类型，它里面使用的是 hive 里的hkdelog 方式的 zar 包，创建的是 json 表，也就是 json 数据。如果说没有在做任何处理时，会出错，也就是找不到当前的 jar 包。
进入 hive，需要创建对应的配置。再创建之前要先配置好，把路径改成自己的，保存在进入 hive。
错误分析解决：json 格式数据表需要通过 serde 机制处理
（1）在 hive-site. Xml 中设置3方 jar 包
<property>
<name>hive. aux. jars . path</name>
<value> /home/framework/hive-2.1.1/lib/</value>
</property>
（2）在 hive . aux. jars . path 设置的路径中增加 hive -hcatalog-core-2.1.1.jar，这个 jar 包在 hcatelog 当中
拷贝路径为$HIVE_ HOME /hcatalog/share/hcatalog/hive -hcatalog-core-2.1.1.j到/home/ fr amework/hive-2.1.1/lib/中，然后我们再去创建。我们先把它配置配一下。
[ root@node1 lib]#cd ..
[ root@node1 hive-2.1.1]#vim conf/hive-site.xml
然后将<property>
<name>hive. aux. jars . path</name>
<value> /home/framework/hive-2.1.1/lib/</value>
</property>添加到最后面，然后把路径改成自己的路径，然后再接入 hive。这个时候就成功了
引用zar之后需要把用户行为数据传上去，用 local 的方式也行，在进行映射。传成功之后需要 load 一下（输入路径），时间自己取。
hdfs dfs -put 000000_0 /data/nshop/ods/user_action_log/
把000000_0传到这个路径上，就可以看到传上去了。
但是我们是查不到这个数据
hload data inpath ‘/data/nshop/ods/user_action_log/*' into table ods_nshop.ods_nshop_01_useractlog partition (bdp_day=" 20200321')显示创建成功
数据映射成功，映射到了 hive 表。
用户行为数据就有了，那么这样三方数据都有了，web 数据、业务数据、用户行为数据全都有了。
