统计成功
Hive导入Mysql
# hive的default库中的test_out表数据导出到mysql的test库test_out表 /usr/local/sqoop/bin/sqoop export \ --connect "jdbc:mysql://hadoop001:3306/test?useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=Asia/Shanghai" \ --username root \ --password 123456 \ --input-null-string '\\N' \ --input-null-non-string '\\N' \ --input-fields-terminated-by '\t' \ --table test_out \ --hcatalog-database default \ --hcatalog-table test_out \ -m 1;
可能遇到的问题及注意点
- hive访问mysql数据库权限问题
服务器1上hive访问mysql如果报错 Access denied for user 'root'@'192.168.84.128' (using password: YES)
mysql需要授权访问者
GRANT ALL PRIVILEGES ON *.* TO 'root'@'192.168.84.128' IDENTIFIED BY '123456' WITH GRANT OPTION; flush privileges;
- 在namenode上执行
报错： RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby 原因： 服务器1是namenode节点 active 状态 服务器2是secondNamenode节点是 standby状态 执行命令要在active的namenode才可以
- 只有namenode才会有webui 50070端口
服务器1（192.168.84.128）上安装namenode 有50070端口 服务器2（192.168.84.131）上安装secondNamenode 有50070端口 服务器3（192.168.84.132）上没有安装namenode 没有
后记
接下来研究的方向： 1、hive运行原理 2、弄一笔数据走一下搭建好的大数据运行环境 3、10亿数据如何分库分表存储Mysql 4、10亿数据同步到hive 5、flink数据如何求交
