HIVE再次尝试 用 Mysql 环境搭建 以及 mysql中文乱码完美解决

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
云数据库 RDS MySQL Serverless,价值2615元额度,1个月
简介: <p><a target="_blank" href="http://blog.csdn.net/jiacai2050/article/details/11738887">上文</a>说道hive用默认的Derby作为metadata的存放处,但是这个缺点比较多,只能同时让一个用户登陆,重启机器后建的表也没了,不能用于真正的集群,下面讲解用mysql作为数据的搭建方法。</p> <h2>

上文说道hive用默认的Derby作为metadata的存放处,但是这个缺点比较多,只能同时让一个用户登陆,重启机器后建的表也没了,不能用于真正的集群,下面讲解用mysql作为数据的搭建方法。

1. hive安装

第一步:安装mysql

因为我用的是ubuntu系统,安装比较简单,一行命令搞定

sudo apt-get install mysql-server

这里顺便说下mysql的数据文件放在/var/lib/mysql目录下,配置文件放在:/etc/mysql目录下

对于mysql5.5版本:可用sudo service mysql stop/start/restart 进行mysql开启与关闭

对于mysql5.5之前的版本,可用sudo /etc/init.d/mysql start|stop|restart|reload|force-reload|status 进行相关操作,最常用的就是stop、restart、start命令

第二步:配置hive

首先,我假设你已经能够用Derby作为数据正常运行hive了(参考文章:http://blog.csdn.net/jiacai2050/article/details/11738887),下面需要做一些配置:

把hive/conf文件夹中创建一个hive-site.xml的文件,内容为:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<configuration>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost:3306/metastore_db?createDatabaseIfNotExist=true</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>mysql</value>
</property>
</configuration>
很明显,最后两项是配置mysql的连接用户名与密码,可根据实际情况更改。

这里还需要把mysql的连接jar把放到classpath下,注意:linux上CLASSPATH 必须为大写,我这里直接把mysql-connector-java-5.1.26-bin.jar放到hive的lib文件夹下,然后再在 .profile文件中添加这么一句:

export CLASSPATH=$HIVE_HOME/lib:$CLASSPATH

OK,这两步走完就完成配置任务了。


2.  ubuntu 安装mysql遇到的问题

我在安装mysql遇到这么一个问题,我把日志贴出来:

正在设置 mysql-server-5.5 (5.5.27-0ubuntu2) ...
start: Job failed to start
invoke-rc.d: initscript mysql, action "start" failed.
dpkg: error processing mysql-server-5.5 (--configure):
 子进程 已安装 post-installation 脚本 返回了错误号 1
dpkg: dependency problems prevent configuration of mysql-server:
 mysql-server 依赖于 mysql-server-5.5;然而:
  软件包 mysql-server-5.5 尚未配置。

dpkg: error processing mysql-server (--configure):
 依赖关系问题 - 仍未被配置
因为错误消息指示这是由于上一个问题导致的错误,没有写入 apport 报告。
                                                                    在处理时有错误发生:
 mysql-server-5.5
 mysql-server
E: Sub-process /usr/bin/dpkg returned an error code (1)
大约就是这么一个错误,这个问题让我很纠结了,后来在stackoverflow上找到一个方法:

sudo dpkg --remove mysql-server
sudo apt-get purge -f mysql-server mysql-common
sudo apt-get install mysql-server mysql-common
执行这三行命令后完美解决问题,但是原因我还没找到,先留一下。


修改mysql的root口令 :  sudo mysqladmin -u root -p password '你的新密码'



参考文章:

mysql安装:

http://wiki.ubuntu.org.cn/MySQL%E5%AE%89%E8%A3%85%E6%8C%87%E5%8D%97

http://www.cnblogs.com/wuhou/archive/2008/09/28/1301071.html

http://stackoverflow.com/questions/9972611/not-able-to-install-mysql-on-ubuntu-11

mysql启动/停止:

http://blog.csdn.net/phpandjava/article/details/4636610

mysql中文乱码:
http://alanlhy.iteye.com/blog/1060320 

3. mysql中文乱码解决

这里简单明了地说下:

对于mysql5.5版本,需要在/etc/mysql/my.cnf做如下修改:

[client]下添加:default-character-set = utf8

[mysqld]下添加:character-set-server = utf8

对于mysql5.5之前的版本,做如下修改:

在[client] 和 [mysqld]下都添加一行

default-character-set = utf8

如果在mysql5.5 版本中也这么配置会导致mysql服务起不来。

最后上图,有图有真相呀。


图1. 上图是没有修改前的mysql编码情况


图2.上图没有修改后的mysql编码情况

对于已经存在的数据库,可以通过执行下面的命令更改字符集:

ALTER DATABASE <db-name> CHARACTER SET utf8 COLLATE utf8_general_ci;
参考:

http://stackoverflow.com/questions/22572558/how-to-set-character-set-database-and-collation-database-to-utf8-in-my-ini

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
6月前
|
关系型数据库 MySQL Linux
linux环境搭建mysql5.7总结
linux环境搭建mysql5.7总结
65 0
|
5月前
|
SQL 分布式计算 数据库
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战(附源码)
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战(附源码)
110 0
|
2月前
|
SQL 关系型数据库 MySQL
Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理(一篇即可学会在日常工作中使用Sqoop)
【2月更文挑战第9天】Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理(一篇即可学会在日常工作中使用Sqoop)
100 7
|
21天前
|
SQL 关系型数据库 MySQL
MySQL环境搭建——“MySQL数据库”
MySQL环境搭建——“MySQL数据库”
|
23天前
|
SQL 关系型数据库 MySQL
Hive【环境搭建 01】【hive-3.1.2版本 安装配置】【含 mysql-connector-java-5.1.47.jar 网盘资源】【详细】
【4月更文挑战第6天】Hive【环境搭建 01】【hive-3.1.2版本 安装配置】【含 mysql-connector-java-5.1.47.jar 网盘资源】【详细】
31 1
|
2月前
|
SQL DataWorks NoSQL
DataWorks报错问题之从hive到mysql报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
4月前
|
关系型数据库 MySQL Java
windows下mybatis插入mysql数据中文乱码问题解决
windows下mybatis插入mysql数据中文乱码问题解决
|
5月前
|
SQL 存储 大数据
手把手教你大数据离线综合实战 ETL+Hive+Mysql+Spark
手把手教你大数据离线综合实战 ETL+Hive+Mysql+Spark
109 0
|
5月前
|
关系型数据库 MySQL Linux
MySQL【部署 01】Linux root 用户部署 mysql-5.7.28 及 not allowed to connect to this MySQL server 和中文乱码问题处理
MySQL【部署 01】Linux root 用户部署 mysql-5.7.28 及 not allowed to connect to this MySQL server 和中文乱码问题处理
51 0
|
5月前
|
Java 关系型数据库 MySQL
【Linux】jdk、tomcat、MySQL环境搭建的配置安装,Linux更改后端端口
【Linux】jdk、tomcat、MySQL环境搭建的配置安装,Linux更改后端端口
67 0