• 关于 hadoop/hive 的搜索结果

问题

hive执行hadoop任务报错,求救!?报错

爱吃鱼的程序员 2020-06-22 18:11:13 0 浏览量 回答数 1

问题

hive load 数据 报错?报错

爱吃鱼的程序员 2020-06-14 17:02:28 0 浏览量 回答数 1

回答

本文档主要介绍如何在文件存储HDFS上搭建及使用Presto。 背景信息 Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。Presto支持在线数据查询,包括Hive、Cassandra、关系数据库以及专有数据存储。 说明 在本文档中Presto是通过连接Hive的元数据服务来读取文件存储HDFS上的数据,在文件存储HDFS上使用Presto时需要额外配置一些依赖包,详细操作步骤请参见配置Presto。 准备工作 在文件存储HDFS上搭建和使用Presto,需要先完成以下准备工作。 开通文件存储HDFS服务并创建文件系统实例和挂载点,详情请参见HDFS快速入门。 在Hadoop集群所有节点上安装JDK。 版本不能低于1.8。 在Hadoop集群中配置文件存储HDFS实例,详情请参见挂载文件系统。 在Hadoop集群中安装Apache Hive,本文档中使用的Apache Hive版本为1.2.1。 下载Presto压缩包和presto-cli-xxx-executable.jar。 Presto下载地址:官方链接,在本文档使用Presto的版本为0.227。 配置Presto 您可以参见以下步骤配置Presto,Presto官方配置文档请参见Deploying Presto。 解压Presto压缩包到指定文件夹。 tar -zxvf presto-server-0.227.tar.gz -C /usr/local/ 在Presto解压目录下创建etc目录。 mkdir /usr/local/presto-server-0.227/etc 配置Node Properties。 创建etc/node.properties文件。 vim /usr/local/presto-server-0.227/etc/node.properties 在etc/node.properties文件中添加如下内容。 node.environment=production node.id=ffffffff-ffff-ffff-ffff-ffffffffffff node.data-dir=/var/presto/data 配置JVM Config。 创建etc/jvm.config文件。 vim /usr/local/presto-server-0.227/etc/jvm.config 在etc/jvm.config文件中添加如下内容。 -server -Xmx8G -XX:+UseG1GC -XX:G1HeapRegionSize=32M -XX:+UseGCOverheadLimit -XX:+ExplicitGCInvokesConcurrent -XX:+HeapDumpOnOutOfMemoryError -XX:+ExitOnOutOfMemoryError 配置Config Properties。 在本文档中将coordinator和worker配置在同一台机器上,您可以参见Presto官方文档将coordinator和worker配置到不同的机器。 创建etc/config.properties文件。 vim /usr/local/presto-server-0.227/etc/config.properties 在etc/config.properties中添加如下内容。 coordinator=true node-scheduler.include-coordinator=true http-server.http.port=8080 query.max-memory=5GB query.max-memory-per-node=1GB query.max-total-memory-per-node=2GB discovery-server.enabled=true discovery.uri=http://xx.xx.xx.xx:8080 #xx.xx.xx.xx为当前机器的IP地址 配置日志级别。 创建etc/log.properties文件。 vim /usr/local/presto-server-0.227/etc/log.properties 在etc/log.properties文件中添加如下内容。 com.facebook.presto=INFO 配置Catalog Properties。 创建etc/catalog文件夹。 mkdir /usr/local/presto-server-0.227/etc/catalog 创建etc/catalog/hive.properties文件。 vim /usr/local/presto-server-0.227/etc/catalog/hive.properties 在etc/catalog/hive.properties文件中添加如下内容。 connector.name=hive-hadoop2 hive.metastore.uri=thrift://xxxx:9083 #xxxx为启动hive元数据服务的IP地址 hive.config.resources=/usr/local/hadoop-2.7.6/etc/hadoop/core-site.xml #配置为您的Hadoop集群中core-site.xml文件的地址 编译并替换jar包。 Presto中以maven-shade-plugin的方式引入了Hadoop,使用relocation的方式对引入的Hadoop jar包地址进行重命名,因为文件存储HDFS的sdk与Hadoop共用了protobuf-xxx.jar包,在Presto通过hive metastore读取文件存储HDFS上的数据时,文件存储HDFS的sdk会获取不到Presto进行重命名地址的protobuf-xxx.jar包。为了避免兼容性问题,文件存储HDFS的sdk需要作为Presto的Hadoop的依赖项,并对Presto中引入的Hadoop的jar包hadoop-apache2-xxx.jar进行重新编译。 替换jar包_01替换jar包_02 查看您安装的Presto中的presto-hadoop-apache2版本。 在0.227版本的presto中对应的presto-hadoop-apache2版本为hadoop-apache2-2.7.4-5。 find /usr/local/presto-server-0.227/ -name hadoop-apache2* 下载presto-hadoop-apache2对应版本的源码,下载地址:官方链接。 git clone https://github.com/prestodb/presto-hadoop-apache2.git 打开源码中的/root/presto-hadoop-apache2-2.7.4-5/pom.xml文件。 vim /root/presto-hadoop-apache2-2.7.4-5/pom.xml 在/root/presto-hadoop-apache2-2.7.4-5/pom.xml文件中添加文件存储HDFS sdk的依赖项。本文档中使用的sdk的版本为 1.0.3。 com.aliyun.dfs aliyun-sdk-dfs 1.0.3 添加依赖项 编译presto-hadoop-apache2。 cd /root/presto-hadoop-apache2-2.7.4-5 mvn clean package -DskipTests 查看生成的hadoop-apache2-2.7.4-5.jar。 cd ~/presto-hadoop-apache2-2.7.4-5/target ll -h 查看 删除旧的hadoop-apache2-2.7.4-5.jar依赖包。 rm -f /usr/local/presto-server-0.227/plugin/raptor/hadoop-apache2-2.7.4-5.jar /usr/local/presto-server-0.227/plugin/accumulo/hadoop-apache2-2.7.4-5.jar /usr/local/presto-server-0.227/plugin/hive-hadoop2/hadoop-apache2-2.7.4-5.jar 将新的hadoop-apache2-2.7.4-5.jar依赖包拷贝到对应的目录下。 cp ~/presto-hadoop-apache2-2.7.4-5/target/hadoop-apache2-2.7.4-5.jar /usr/local/presto-server-0.227/plugin/raptor/ cp ~/presto-hadoop-apache2-2.7.4-5/target/hadoop-apache2-2.7.4-5.jar /usr/local/presto-server-0.227/plugin/accumulo/ cp ~/presto-hadoop-apache2-2.7.4-5/target/hadoop-apache2-2.7.4-5.jar /usr/local/presto-server-0.227/plugin/hive-hadoop2/ 将presto-cli-xxx-executable.jar复制到Presto安装的bin目录下重命名并赋予可执行权限。 cp ~/presto-cli-0.227-executable.jar /usr/local/presto-server-0.227/bin/ mv /usr/local/presto-server-0.227/bin/presto-cli-0.227-executable.jar /usr/local/presto-server-0.227/bin/presto chmod +x /usr/local/presto-server-0.227/bin/presto 验证Presto 启动Hive的元数据服务。 /usr/local/apache-hive-1.2.1-bin/bin/hive --service metastore 创建测试数据并加载到Hive中。 创建测试数据。 echo -e "test1\ntest2\ntest1\ntest2\ntest3\ntest4\ntest4\ntest5" > ~/test.txt 将测试数据上传到文件存储HDFS上。 hadoop fs -put ~/test.txt /presto 使用默认的数据创建test_data并加载数据。 hive> create external table test_data(word string) row format delimited fields terminated by '\n' stored as textfile location '/presto'; 查看数据是否加载成功。 hive> select * from test_data; 如果显示如下类似信息,则表示数据加载成功。 查看数据加载结果 使用Presto通过Hive读取文件存储HDFS上的数据并进行计算。 启动presto server。 /usr/local/presto-server-0.227/bin/launcher start 使用presto连接Hive。 /usr/local/presto-server-0.227/bin/presto --server localhost:8080 --catalog hive --schema default 读取文件存储HDFS上的数据。 presto:default> select * from test_data; 读取数据 进行word count计算。 presto:default> select word, count(*) from test_data group by word; word count计算

1934890530796658 2020-03-31 02:54:35 0 浏览量 回答数 0

新手开公司,教你化繁为简

开公司到底有没有那么难,传统的手续繁琐,线下跑断腿,场地搞不定等问题,通过阿里云”云上公司注册“解决你的烦恼。

问题

如何使用 Hive/HadoopMR 来访问表格存储中的表

云栖大讲堂 2019-12-01 20:56:08 1301 浏览量 回答数 0

问题

sqoop导入hive表报错Could not load org.apache.?报错

爱吃鱼的程序员 2020-06-08 20:12:08 0 浏览量 回答数 1

问题

hive配置完之后报错,求大神指导?报错

爱吃鱼的程序员 2020-06-12 14:09:42 0 浏览量 回答数 1

问题

E-MapReduce 集群运维指南是什么?

nicenelly 2019-12-01 21:22:52 923 浏览量 回答数 0

问题

hive on tez 设置后报错【java.lang.NoClassDefFoundError: org/apache/tez/serviceplugins/api/TaskScheduler】

alanpan 2019-12-01 19:24:06 2433 浏览量 回答数 1

回答

定义用户变量 不是系统变量  (用户目录下) sudovim~/.bash_profile  exportHADOOP_CLASSPATH=$HADOOP_CLASSPATH:/cloud/hive-1.1.0-cdh5.10.0/lib/* source~/.bash_profile   sqoop导入hive表报错Couldnotloadorg.apache.hadoop.hive.conf.HiveConf.MakesureHIVE_CONF_DIRissetcorrectly  方法1: 往~/.bash_profile里新加一行exportHADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*然后,source~/.bash_profile cphive/lib/hive-common-3.0.0.jarsqoop/lib/    @yangchangjiang的答案有用,可惜积分不够顶不上去。

爱吃鱼的程序员 2020-06-08 20:12:23 0 浏览量 回答数 0

问题

hive,spark-shell启动问题?报错

爱吃鱼的程序员 2020-06-08 12:19:09 0 浏览量 回答数 1

问题

在E-Mapreduce运行hadoop job失败,java.lang.reflect.InvocationTargetException

封神 2019-12-01 19:56:10 5077 浏览量 回答数 1

问题

Hive向分区表导入数据File not found: File does no?400报错

爱吃鱼的程序员 2020-05-30 23:50:57 0 浏览量 回答数 1

问题

在e-mapreduce执行hive(hadoop)脚本,出现问题permisson denied:user=root,access=EXECUTE

封神 2019-12-01 19:56:12 1204 浏览量 回答数 1

回答

SparkSQL本身是支持StorageHandler,需要提供相关jar包。访问HiveOnHBase需要如下jar包:/usr/lib/hbase-current/lib/hbase-server-1.1.1.jar/usr/lib/hbase-current/lib/hbase-common-1.1.1.jar/usr/lib/hbase-current/lib/hbase-client-1.1.1.jar/usr/lib/hbase-current/lib/hbase-protocol-1.1.1.jar/usr/lib/hive-current/lib/hive-hbase-handler-2.3.3.jar需要将上述jar包添加到spark,有两种方式:a)通过--jars参数来添加如:spark-sql --jars /usr/lib/hbase-current/lib/hbase-server-1.1.1.jar,/usr/lib/hbase-current/lib/hbase-common-1.1.1.jar,/usr/lib/hbase-current/lib/hbase-client-1.1.1.jar,/usr/lib/hbase-current/lib/hbase-protocol-1.1.1.jar,/usr/lib/hive-current/lib/hive-hbase-handler-2.3.3.jarb)spark-defaults.conf里面配置spark.executor.extraClassPath /opt/apps/extra-jars/*:/usr/lib/hbase-current/lib/hbase-server-1.1.1.jar:/usr/lib/hive-current/lib/hive-hbase-handler-2.3.3.jar:/usr/lib/hbase-current/lib/hbase-common-1.1.1.jar:/usr/lib/hbase-current/lib/hbase-client-1.1.1.jar:/usr/lib/hbase-current/lib/hbase-protocol-1.1.1.jarspark.driver.extraClassPath /opt/apps/extra-jars/*:/usr/lib/hbase-current/lib/hbase-server-1.1.1.jar:/usr/lib/hive-current/lib/hive-hbase-handler-2.3.3.jar:/usr/lib/hbase-current/lib/hbase-common-1.1.1.jar:/usr/lib/hbase-current/lib/hbase-client-1.1.1.jar:/usr/lib/hbase-current/lib/hbase-protocol-1.1.1.jar备注:EMR-3.13.0以及以下版本,使用SparkSQL insert 数据到HiveOnHBase表的时候会出异常:java.lang.ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat

寒沙牧 2019-12-02 01:32:55 0 浏览量 回答数 0

回答

SparkSQL本身是支持StorageHandler,需要提供相关jar包。访问HiveOnHBase需要如下jar包:/usr/lib/hbase-current/lib/hbase-server-1.1.1.jar/usr/lib/hbase-current/lib/hbase-common-1.1.1.jar/usr/lib/hbase-current/lib/hbase-client-1.1.1.jar/usr/lib/hbase-current/lib/hbase-protocol-1.1.1.jar/usr/lib/hive-current/lib/hive-hbase-handler-2.3.3.jar需要将上述jar包添加到spark,有两种方式:a)通过--jars参数来添加如:spark-sql --jars /usr/lib/hbase-current/lib/hbase-server-1.1.1.jar,/usr/lib/hbase-current/lib/hbase-common-1.1.1.jar,/usr/lib/hbase-current/lib/hbase-client-1.1.1.jar,/usr/lib/hbase-current/lib/hbase-protocol-1.1.1.jar,/usr/lib/hive-current/lib/hive-hbase-handler-2.3.3.jarb)spark-defaults.conf里面配置spark.executor.extraClassPath /opt/apps/extra-jars/*:/usr/lib/hbase-current/lib/hbase-server-1.1.1.jar:/usr/lib/hive-current/lib/hive-hbase-handler-2.3.3.jar:/usr/lib/hbase-current/lib/hbase-common-1.1.1.jar:/usr/lib/hbase-current/lib/hbase-client-1.1.1.jar:/usr/lib/hbase-current/lib/hbase-protocol-1.1.1.jarspark.driver.extraClassPath /opt/apps/extra-jars/*:/usr/lib/hbase-current/lib/hbase-server-1.1.1.jar:/usr/lib/hive-current/lib/hive-hbase-handler-2.3.3.jar:/usr/lib/hbase-current/lib/hbase-common-1.1.1.jar:/usr/lib/hbase-current/lib/hbase-client-1.1.1.jar:/usr/lib/hbase-current/lib/hbase-protocol-1.1.1.jar备注:EMR-3.13.0以及以下版本,使用SparkSQL insert 数据到HiveOnHBase表的时候会出异常:java.lang.ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat

开源大数据EMR 2019-12-02 01:32:55 0 浏览量 回答数 0

回答

报的错是什么?######抱歉,才看到,就是执行 hive --service hiveserver2 & 一直不动,没有start###### 报的错是: Error: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: hadoop is not allowed to impersonate hive (state=,code=0) 可能是hive2.1.0版本的原因,解决方式是在Hadoop的core-site.xml加上   <property> <name>hadoop.proxyuser.(Linux用户).hosts</name>  <value></value>  </property> <property>  <name>hadoop.proxyuser.(Linux用户).groups</name> <value></value>  </property> 以我的为例,我的Linux用户是Hadoop  <property>     <name>hadoop.proxyuser.hadoop.hosts</name>     <value></value>   </property>   <property>     <name>hadoop.proxyuser.hadoop.groups</name>     <value></value>   </property>

kun坤 2020-06-05 13:18:36 0 浏览量 回答数 0

回答

楼主找打解决办法没?https://issues.apache.org/jira/browse/HIVE-9957打上这个patch,此patch将在hive1.2.0中集成。编译hive1.1.0源码后把hive-shims-0.23-1.1.0.jar替换了。最后记得还要替换hive-exec-1.1.0.jar中的Hadoop23Shims.class回复<aclass='referer'target='_blank'>@jiahc:3Q昨天咨询了别人得到的回复:hive1.1.0存在兼容性问题,目前官方已经修复了,对应的jira地址:https://issues.apache.org/jira/browse/HIVE-9957 一般遇到这种问题,无外乎2种可能: 1)hadoop&hive版本不兼容 2)对应的jar包没有导入

爱吃鱼的程序员 2020-06-14 17:02:44 0 浏览量 回答数 0

问题

hadoop资料共享:报错

kun坤 2020-06-07 14:03:51 0 浏览量 回答数 1

回答

buildall会默认使用第三方包里面的hdfs、hive等,而你是要用外部的CDH,需要将你的CDH的配置文件导入impala中,具体做法: 修改 /etc/hadoop/conf.cloudera.hdfs/ hdfs-site.xml 文件 , 将 dfs.client.read.shortcircuit 值 设为 true ; 添加 dfs.client.file-block-storage-locations.timeout 参数 并设为 3000 (若 已存在则进行修改 )。 将 / etc/hadoop/conf.cloudera.hdfs 目录 下的 hdfs-site.xml 、 core-site.xml 以及 /etc/hbase/conf 目录 下的 hbase -site .xml 以及 /etc/hive/conf 目录 下的 hive-site.xml 文件 拷贝到 $IMPALA_HOME/fe/src /test/resources 目录 下。

爱吃鱼的程序员 2020-06-14 15:34:33 0 浏览量 回答数 0

回答

本文档介绍如何将开源HDFS的数据平滑地迁移到文件存储HDFS。 背景信息 当前业界有很多公司是以Hadoop技术构建数据中心,而越来越多的公司和企业希望将业务顺畅地迁移到云上。文件存储HDFS可以帮助您实现将开源HDFS的数据迁移到云上,并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。 适用范围 非阿里云Hadoop集群中的数据迁移到文件存储HDFS。 阿里云ECS自建Hadoop集群中的数据迁移到文件存储HDFS。 准备工作 在阿里云ECS创建Hadoop集群。 如果您目前的Hadoop集群是搭建在阿里云VPC网络上的阿里云ECS集群,则无需在阿里云ECS上创建新的Hadoop集群。 创建和挂载文件系统至阿里云ECS上的Hadoop集群,并将文件存储HDFS设置为fs.defaultFS,详情请参见文件存储HDFS快速入门。 验证文件系统和计算节点之间的连通性。 执行以下命令,在文件存储HDFS上创建目录(如:/dfs_links)。 hadoop fs -mkdir /dfs_links 执行以下命令,验证连通性。 hadoop fs -ls dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/dfs_links 其中f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名,请根据您的实际情况进行修改。 如果命令正常执行无输出结果,则表示连通成功。如果连通失败,请参见创建文件系统实例后,为什么无法访问文件存储HDFS?进行排查。 准备迁移工具。 您可以通过Hadoop社区标准的Distcp工具实现全量或增量的HDFS数据迁移,详细的Distcp工具使用说明请参见Hadoop Distcp 工具官方说明文档。 说明 使用Distcp命令将旧集群数据迁移至文件存储HDFS时,请注意文件存储HDFS不支持以下参数,其它参数使用和Hadoop Distcp 工具官方说明文档一致。文件存储HDFS及命令行存在限制的详细信息请参见使用限制。 参数 描述 状态 -p[rbpax] r:replication,b:block-size,p:permission,a:ACL,x:XATTR 不可用 非阿里云自建Hadoop集群数据迁移 非阿里云自建Hadoop集群数据迁移到文件存储HDFS包括以下两种情况。 非阿里云自建Hadoop集群与文件存储HDFS可以实现网络互通时, 请按照以下方法进行数据迁移。 使用阿里云高速通道产品建立原集群和文件存储HDFS所在VPC网络的连通,详情请参见专线上云方案介绍。 新旧集群实现网络互通后,执行以下命令迁移数据。 hadoop distcp -m 1000 -bandwidth 30 hdfs://oldclusterip:8020/user/hive/warehouse dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/user/hive/warehouse 其中oldclusterip为原自建Hadoop集群namenode的IP地址或者域名,f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名,请根据您的实际情况进行修改。 说明 为减轻现有集群资源压力,建议确保新旧集群网络连通后,在新挂载文件系统的阿里云Hadoop集群上执行数据迁移命令。 非阿里云自建Hadoop集群与文件存储HDFS无法实现网络互通时,请按照以下方法进行数据迁移。 将非阿里云自建Hadoop集群数据迁移到对象存储OSS,详情请参见离线迁移教程。 将对象存储OSS数据迁移到文件存储HDFS,详情请参见文件存储HDFS和对象存储OSS双向数据迁移。 阿里云ECS自建Hadoop集群数据迁移 阿里云ECS自建Hadoop集群数据迁移到文件存储HDFS时,包括以下两种情况: 阿里云ECS自建Hadoop集群处于经典网络环境时,请按照以下方法进行数据迁移。 通过阿里云ECS的ClassicLink建立ClassicLink连接,详情请参见建立 ClassicLink 连接。 执行以下命令迁移数据。 hadoop distcp -m 1000 -bandwidth 30 hdfs://oldclusterip:8020/user/hive/warehouse dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/user/hive/warehouse 其中oldclusterip为原自建Hadoop集群namenode的IP地址或者域名,f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名,请根据您的实际情况进行修改。 阿里云ECS自建Hadoop集群处于VPC网络环境时,请按照以下方法进行数据迁移。 阿里云ECS自建Hadoop集群处于VPC网络环境时,可以直接通过VPC网络迁移数据到文件存储HDFS。迁移命令如下所示: hadoop distcp -m 1000 -bandwidth 30 hdfs://oldclusterip:8020/user/hive/warehouse dfs://f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com:10290/user/hive/warehouse 其中oldclusterip为原自建Hadoop集群namenode的IP或者域名,f-xxxxxxxxxxxxxxx.cn-xxxxxxx.dfs.aliyuncs.com为文件存储HDFS挂载点域名,请根据您的实际情况进行修改。 常见问题 整体迁移速度受Hadoop集群与文件存储HDFS之间的带宽、集群规模影响。同时文件越多,checksum需要的时间越长。如果迁移数据量大,建议先尝试迁移几个目录评估下整体时间。如果只能在指定时间段内迁移数据,可以将目录切为几个小目录,依次迁移。 一般全量数据同步时,需要一个短暂的业务停写过程,用来启用双写双算或直接将业务切换到新集群上。 迁移过程出现异常提示:Cannot obtain block length for LocatedBlock。 从原生的HDFS往对象存储OSS/文件存储HDFS迁移数据时,可能会遇到这个问题。遇到该问题时,请执行hdfs fsck / –openforwrite命令,检查当前是否有文件处于写入状态尚未关闭。 如果有处于写入状态的文件时,需判断文件是否有效。 如果文件无效,则直接删除文件。 hdfs rm 如果文件有效,则不能直接删除,请考虑恢复问题文件租约。 hdfs debug recoverLease -path -retries

1934890530796658 2020-03-31 02:36:06 0 浏览量 回答数 0

回答

spark是基于DAG,有cache的管理,原生就长在内存计算上的,其上支持 内存计算、流式计算、图计算、SQL等功能,这些又是在一套core上,互相之间可以交叉使用。还包含了丰富的API,RDD api、dataframe、dataset等。支持java、scala、python、R语言。是数据分析处理的一大利器。hadoop mr是基于map-reduce的,相对spark开发较早,稳定性较好,做数据清洗时能获取比较大的吞吐量。hadoop tez是基于DAG的,比spark应该晚点,以后作为hadoop hive的可选引擎之一。所以:ETL:hadoop mr/tez机器学习:spark mllib流式计算(s以上):spark streaming流式计算(s以下):storm图分析:spark graphx需要cache数据的,使用spark使用hive:则hadoop/tez使用SQL,可以尝试用spark sql,使用hive相对稳定一些更加宏观的可以参考文章:https://yq.aliyun.com/articles/15306?spm=0.0.0.0.v2fm6G

封神 2019-12-02 01:46:15 0 浏览量 回答数 0

回答

本文档介绍如何使用Sqoop工具实现文件存储HDFS和关系型数据库MySQL之间的双向数据迁移。 背景信息 Sqoop是一款开源的工具,主要用于在Hadoop和结构化数据存储(如关系数据库)之间高效传输批量数据 。既可以将一个关系型数据库(MySQL 、Oracle 、Postgres等)中的数据导入HDFS中,也可以将HDFS的数据导入到关系型数据库中。 准备工作 现在Sqoop分为Sqoop1和Sqoop2,两个版本并不兼容。本案例选择使用sqoop1的稳定版本Sqoop 1.4.7 版本。 下载Sqoop 1.4.7 版本。 解压安装包。 tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /home/hadoop/ 配置环境变量。 执行vim /etc/profile命令,打开配置文件,添加如下内容。 export SQOOP_HOME=/home/hadoop/sqoop-1.4.7.bin__hadoop-2.6.0 export PATH=$PATH:$SQOOP_HOME/bin 执行source /etc/profile命令,使配置生效。 添加数据库驱动。 下载MySQL链接包。 wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar 将MySQL链接包存放到Sqoop安装目录的lib目录下。 cp mysql-connector-java-5.1.38.jar /home/hadoop/sqoop-1.4.7.bin__hadoop-2.6.0/lib/ 修改配置文件。 执行如下命令进入/home/hadoop/sqoop-1.4.7.bin__hadoop-2.6.0/conf目录。 cd /home/hadoop/sqoop-1.4.7.bin__hadoop-2.6.0/conf 执行如下命令复制sqoop-env-template.sh,并命名为sqoop-env.sh。 cp sqoop-env-template.sh sqoop-env.sh 执行vim sqoop-env.sh命令打开配置文件,添加如下内容。 export HADOOP_COMMON_HOME=/home/hadoop/hadoop-2.7.2 export HADOOP_MAPRED_HOME=/home/hadoop/hadoop-2.7.2 export HIVE_HOME=/home/hadoop/hive-2.1.0 #若没有安装hive、hbase可不必添加此配置 export HBASE_HOME=/home/hadoop/hbase-1.2.2 #若没有安装hive、hbase可不必添加此配置 执行如下命令验证数据库是否连接成功。 sqoop list-databases --connect jdbc:mysql:// --username 'username' --password 'password' 参数 说明 dburi 数据库的访问连接,例如: jdbc:mysql://0.0.0.0:3306/。 username 数据库登录用户名。 password 用户密码。 如果回显信息中显示MySQL数据库的名称,则表示连接成功。 将MySQL的数据迁移到HDFS上 在集群Sqoop节点上,使用sqoop import命令将MySQL中的数据迁移到HDFS上。 此处以迁移MySQL中的employee表为例,employee表中已写入如下数据。 01,测试用户1,1990-01-01,男 02,测试用户2,1990-12-21,男 03,测试用户3,1990-05-20,男 04,测试用户4,1990-08-06,男 05,测试用户5,1991-12-01,女 执行以下命令迁移数据。 sqoop import --connect jdbc:mysql://172.x.x.x:3306/sqoop_migrate --username 'userid' --password 'userPW' --table employee --target-dir /mysql2sqoop/table/sqoop_migrate --num-mappers 1 --columns "e_id,e_name,e_birth,e_sex" --direct 命令格式:sqoop import --connect jdbc:mysql:// / --username --password --table --check-column --incremental --last-value --target-dir 参数说明如下所示,更多详情请参见Sqoop Import。 参数 说明 dburi 数据库的访问连接。例如:jdbc:mysql://172.x.x.x:3306/ 。如果您的访问连接中含有参数,则请加上单引号,例如:'jdbc:mysql://172.x.x.x.235:3306/mydatabase?useUnicode=true&characterEncoding=UTF-8'。 dbname 数据库的名字,例如:user。 username 数据库登录用户名。 password 用户密码。 tablename MySQL数据库中表的名称。 col 迁移表中列的名称。 mode 该模式决定Sqoop如何定义哪些行为新的行。取值:append或lastmodified。 value 前一个导入中检查列的最大值。 hdfs-dir HDFS的写入目录,此处以/mysql2sqoop/table/sqoop_migrate为例。 检查迁移结果。 执行hadoop fs -ls /mysql2sqoop/table/sqoop_migrate命令,获取迁移文件,此处以part-m-00000为例。 Found 2 items -rwxrwxrwx 3 root root 0 2019-08-21 14:42 /mysql2sqoop/table/sqoop_migrate/_SUCCESS -rwxrwxrwx 3 root root 200 2019-08-21 14:42 /mysql2sqoop/table/sqoop_migrate/part-m-00000 执行hadoop fs -cat /mysql2sqoop/table/sqoop_migrate/part-m-00000命令查看文件中的内容。 如果part-m-00000文件中有如下内容,则表示迁移成功。 01,测试用户1,1990-01-01,男 02,测试用户2,1990-12-21,男 03,测试用户3,1990-05-20,男 04,测试用户4,1990-08-06,男 05,测试用户5,1991-12-01,女 将HDFS的数据迁移到MySQL上 将HDFS的数据迁移到MySQL上,需要先在MySQL上创建好对应HDFS数据结构的表,然后在集群Sqoop节点上使用sqoop export命令进行迁移。 此处以迁移HDFS上mysqltest.txt中的数据为例,mysqltest.txt中已写入如下数据。 6,测试用户6,2019-08-10,男 7,测试用户7,2019-08-11,男 8,测试用户8,2019-08-12,男 9,测试用户9,2019-08-13,女 10,测试用户10,2019-08-14,女 创建数据库。 create database sqoop_migrate; 使用已创建的数据库。 use sqoop_migrate; 创建表。 CREATE TABLE employee ( e_id varchar(20) NOT NULL DEFAULT '', e_name varchar(20) NOT NULL DEFAULT '', e_birth varchar(20) NOT NULL DEFAULT '', e_sex varchar(10) NOT NULL DEFAULT '', PRIMARY KEY (e_id) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 执行以下命令迁移数据。 sqoop export --connect jdbc:mysql://172.0.0.0:3306/sqoop_migrate --username 'userid' --password 'userPW' --num-mappers 1 --table employee --columns "e_id,e_name,e_birth,e_sex" --export-dir '/sqoop2mysql/table/mysqltest.txt' --fields-terminated-by ',' 迁移命令格式:sqoop export --connect jdbc:mysql:// / --username --password --table --export-dir 参数 说明 dburi 数据库的访问连接。例如:jdbc:mysql://172.x.x.x:3306/ 。如果您的访问连接中含有参数,则请加上单引号,例如:'jdbc:mysql://172.x.x.x.235:3306/mydatabase?useUnicode=true&characterEncoding=UTF-8'。 dbname 数据库的名字,例如:user。 username 数据库登录用户名。 password 用户密码。 tablename MySQL数据库中表的名称。 hdfs-dir 存放待迁移数据的HDFS目录,此处以/sqoop2mysql/table/mysqltest.txt为例。 验证迁移结果。 执行以下命令进入数据库。 mysql -uroot -p 执行以下命令使用数据库。 use sqoop_migrate; 执行select * from employee;命令查看表数据。 如果表中有如下数据,则表示迁移成功。 ... | 6 | 测试用户6 | 2019-08-10 | 男 | | 7 | 测试用户7 | 2019-08-11 | 男 | | 8 | 测试用户8 | 2019-08-12 | 男 | | 9 | 测试用户9 | 2019-08-13 | 女 | | 10 | 测试用户10 | 2019-08-14 | 女 | +------+---------------+------------+-------+ 10 rows in set (0.00 sec) 将MySQL的数据迁移到Hive上 在集群Sqoop节点上使用sqoop import命令可以将MySQL上的数据迁移到Hive上。 此处以迁移MySQL中的employee表为例,employee表中已写入如下数据。 1,测试用户1,2019-08-10,男 2,测试用户2,2019-08-11,男 3,测试用户3,2019-08-12,男 4,测试用户4,2019-08-13,女 5,测试用户5,2019-08-14,女 执行以下命令迁移数据。 sqoop import --connect jdbc:mysql://172.0.0.0:3306/sqoop_migrate --username 'userid' --password 'PW' --table employee --hive-import --hive-database default --create-hive-table --hive-overwrite -m 1 ; 迁移命令格式:sqoop import --connect jdbc:mysql:// / --username --password --table --check-column --incremental --last-value --fields-terminated-by "\t" --lines-terminated-by "\n" --hive-import --target-dir --hive-table 参数 说明 dburi 数据库的访问连接。例如:jdbc:mysql://172.x.x.x:3306/ 。如果您的访问连接中含有参数,则请加上单引号,例如:'jdbc:mysql://172.x.x.x.235:3306/mydatabase?useUnicode=true&characterEncoding=UTF-8'。 dbname 数据库的名字,例如:user。 username 数据库登录用户名。 password 用户密码。 tablename MySQL数据库中表的名称。 col 迁移表中列的名称。 mode 该模式决定Sqoop如何定义哪些行为新的行。取值:append或lastmodified。 value 前一个导入中检查列的最大值。 hdfs-dir HDFS的写入目录。 hive-tablename 对应的Hive中的表名。 验证迁移结果。 执行select * from default.employee;命令查看表数据,如果表中有如下数据,则表示迁移成功。 1 测试用户1 2019-08-10 男 2 测试用户2 2019-08-11 男 3 测试用户3 2019-08-12 男 4 测试用户4 2019-08-13 女 5 测试用户5 2019-08-14 女 ... Time taken: 0.105 seconds, Fetched: 14 row(s) 将Hive的数据迁移到MySQL上 将Hive的数据迁移到MySQL上,需要先在MySQL上创建好对应Hive数据结构的表,然后在集群Sqoop节点上使用sqoop export命令进行迁移。 此处以迁移Hive上hive_test.txt中的数据为例,hive_test.txt中已写入如下数据。 1,测试用户1,2019-08-10,男 2,测试用户2,2019-08-11,男 3,测试用户3,2019-08-12,男 4,测试用户4,2019-08-13,女 5,测试用户5,2019-08-14,女 在MySQL上的sqoop_migrate库中创建好要导入的表。 use sqoop_migrate ; CREATE TABLE employeeOnHive( id VARCHAR(20), name VARCHAR(20) NOT NULL DEFAULT '', birth VARCHAR(20) NOT NULL DEFAULT '', sex VARCHAR(10) NOT NULL DEFAULT '', PRIMARY KEY(id) ); 执行以下命令迁移数据。 sqoop export --connect jdbc:mysql://172.0.0.0:3306/sqoop_migrate --username 'userid' --password 'userPW' --table employeeOnHive -m 1 --fields-terminated-by ',' --export-dir /user/hive/warehouse/employeeonhive 迁移命令格式:sqoop export --connect jdbc:mysql:// / --username --password --table --export-dir --fields-terminated-by 参数 说明 dburi 数据库的访问连接。例如:jdbc:mysql://172.x.x.x:3306/ 。如果您的访问连接中含有参数,则请加上单引号,例如:'jdbc:mysql://172.x.x.x.235:3306/mydatabase?useUnicode=true&characterEncoding=UTF-8'。 dbname 数据库的名字,例如:user。 username 数据库登录用户名。 password 用户密码。 tablename MySQL数据库中表的名称。 hive-dir 存放待迁移数据的HDFS目录,此处以/sqoop2mysql/table/mysqltest.txt为例。 Splitter Hive中表中数据分隔符。hive默认为“\001”。 验证迁移结果。 执行以下进入数据库。 mysql -uroot -p 执行以下命令使用数据库。 use sqoop_migrate; 执行select * from sqoop_migrate.employeeOnHive;命令查看表数据。 如果表中有如下数据,则表示迁移成功。 +----+---------------+------------+-----+ | id | name | birth | sex | +----+---------------+------------+-----+ | 1 | 测试用户1 | 2019-08-10 | 男 | | 2 | 测试用户2 | 2019-08-11 | 男 | | 3 | 测试用户3 | 2019-08-12 | 男 | | 4 | 测试用户4 | 2019-08-13 | 女 | | 5 | 测试用户5 | 2019-08-14 | 女 | +----+---------------+------------+-----+ 5 rows in set (0.00 sec)

1934890530796658 2020-03-31 02:35:38 0 浏览量 回答数 0

问题

Hadoop &amp; Cloud Storage: Object Store Integration in Production

福利达人 2019-12-01 21:22:26 383 浏览量 回答数 0

问题

在bin 目录下 执行 hive ,报错了?报错

爱吃鱼的程序员 2020-06-12 15:29:09 0 浏览量 回答数 1

回答

都提示了呀 Causedby:java.lang.IllegalArgumentException:java.net.UnknownHostException:hive这个hive应该是mysql里面的hive数据库,就是不知道怎么配置这个值 跟hive-site.xml的配置有关,应该是哪里配置错了,把catalog关了试试回复 @sparkman:hive-site.xml贴出来看看刚配置好hive的时候是可以启动hive的,就是在整合spark和hive后,启动hive才报错,我推测应该是哪个参数没有配置,就是不知道怎么配置 http://t.cn/RKsEOy2 最终问题解决了,是因为在配置hive-site.xml时配置参数错了,  <property>  <name>hive.exec.scratchdir</name>  <value>hdfs:// master:9000/data/hive/temp</value>  </property>  <property>   <name>hive.metastore.warehouse.dir</name>   <value>hdfs:// master:9000/data/hive/warehouse</value>   <description>locationofdefaultdatabaseforthewarehouse</description>  </property> 刚开始这两个参数没有给出master的地址和端口所以造成无法识别 /hive文件,这里的unknowhosthive并不是指hive元数据库,而是配置的/hive文件 你好按照你上面的修改出现下面的问题,请问你遇到过吗 scala>[hadoop@worker01bin]$./spark-shellSettingdefaultloglevelto"WARN".Toadjustlogginglevelusesc.setLogLevel(newLevel).ForSparkR,usesetLogLevel(newLevel).17/09/2510:43:26WARNSparkContext:SupportforJava7isdeprecatedasofSpark2.0.017/09/2510:43:29WARNNativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicablejava.lang.IllegalArgumentException:Errorwhileinstantiating'org.apache.spark.sql.hive.HiveSessionState': atorg.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$reflect(SparkSession.scala:981) atorg.apache.spark.sql.SparkSession.sessionState$lzycompute(SparkSession.scala:110) atorg.apache.spark.sql.SparkSession.sessionState(SparkSession.scala:109) atorg.apache.spark.sql.SparkSession$Builder$$anonfun$getOrCreate$5.apply(SparkSession.scala:878) atorg.apache.spark.sql.SparkSession$Builder$$anonfun$getOrCreate$5.apply(SparkSession.scala:878) atscala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:99) atscala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:99) atscala.collection.mutable.HashTable$class.foreachEntry(HashTable.scala:230) atscala.collection.mutable.HashMap.foreachEntry(HashMap.scala:40) atscala.collection.mutable.HashMap.foreach(HashMap.scala:99) atorg.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:878) atorg.apache.spark.repl.Main$.createSparkSession(Main.scala:95) ...47elidedCausedby:java.lang.reflect.InvocationTargetException:java.lang.IllegalArgumentException:Errorwhileinstantiating'org.apache.spark.sql.hive.HiveExternalCatalog': atsun.reflect.NativeConstructorAccessorImpl.newInstance0(NativeMethod) atsun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) atsun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) atjava.lang.reflect.Constructor.newInstance(Constructor.java:526) atorg.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$reflect(SparkSession.scala:978) ...58moreCausedby:java.lang.IllegalArgumentException:Errorwhileinstantiating'org.apache.spark.sql.hive.HiveExternalCatalog': atorg.apache.spark.sql.internal.SharedState$.org$apache$spark$sql$internal$SharedState$$reflect(SharedState.scala:169) atorg.apache.spark.sql.internal.SharedState.<init>(SharedState.scala:86) atorg.apache.spark.sql.SparkSession$$anonfun$sharedState$1.apply(SparkSession.scala:101) atorg.apache.spark.sql.SparkSession$$anonfun$sharedState$1.apply(SparkSession.scala:101) atscala.Option.getOrElse(Option.scala:121) atorg.apache.spark.sql.SparkSession.sharedState$lzycompute(SparkSession.scala:101) atorg.apache.spark.sql.SparkSession.sharedState(SparkSession.scala:100) atorg.apache.spark.sql.internal.SessionState.<init>(SessionState.scala:157) atorg.apache.spark.sql.hive.HiveSessionState.<init>(HiveSessionState.scala:32) ...63moreCausedby:java.lang.reflect.InvocationTargetException:java.lang.reflect.InvocationTargetException:java.lang.RuntimeException:java.lang.RuntimeException:Therootscratchdir:/tmp/hiveonHDFSshouldbewritable.Currentpermissionsare:rwxrwxr-x atsun.reflect.NativeConstructorAccessorImpl.newInstance0(NativeMethod) atsun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) atsun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) atjava.lang.reflect.Constructor.newInstance(Constructor.java:526) atorg.apache.spark.sql.internal.SharedState$.org$apache$spark$sql$internal$SharedState$$reflect(SharedState.scala:166) ...71moreCausedby:java.lang.reflect.InvocationTargetException:java.lang.RuntimeException:java.lang.RuntimeException:Therootscratchdir:/tmp/hiveonHDFSshouldbewritable.Currentpermissionsare:rwxrwxr-x atsun.reflect.NativeConstructorAccessorImpl.newInstance0(NativeMethod) atsun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) atsun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) atjava.lang.reflect.Constructor.newInstance(Constructor.java:526) atorg.apache.spark.sql.hive.client.IsolatedClientLoader.createClient(IsolatedClientLoader.scala:264) atorg.apache.spark.sql.hive.HiveUtils$.newClientForMetadata(HiveUtils.scala:366) atorg.apache.spark.sql.hive.HiveUtils$.newClientForMetadata(HiveUtils.scala:270) atorg.apache.spark.sql.hive.HiveExternalCatalog.<init>(HiveExternalCatalog.scala:65) ...76moreCausedby:java.lang.RuntimeException:java.lang.RuntimeException:Therootscratchdir:/tmp/hiveonHDFSshouldbewritable.Currentpermissionsare:rwxrwxr-x atorg.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522) atorg.apache.spark.sql.hive.client.HiveClientImpl.<init>(HiveClientImpl.scala:192) ...84moreCausedby:java.lang.RuntimeException:Therootscratchdir:/tmp/hiveonHDFSshouldbewritable.Currentpermissionsare:rwxrwxr-x atorg.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir(SessionState.java:612) atorg.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:554) atorg.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:508) ...85more<console>:14:error:notfound:valuespark    importspark.implicits._       ^<console>:14:error:notfound:valuespark    importspark.sql       ^Welcometo   ____       __   /__/__ ________//__  _\\/_\/_`/__/ '_/  /___/.__/\_,_/_//_/\_\ version2.1.0   /_/     UsingScalaversion2.11.8(JavaHotSpot(TM)64-BitServerVM,Java1.7.0_79)Typeinexpressionstohavethemevaluated.Type:helpformoreinformation.

爱吃鱼的程序员 2020-06-08 12:19:24 0 浏览量 回答数 0

问题

Airflow SparkSubmitOperator - 如何在另一台服务器中进行spark-submit

社区小助手 2019-12-01 19:29:03 1904 浏览量 回答数 1

问题

Emapreduce访问oss会卡住

封神 2019-12-01 20:24:14 1857 浏览量 回答数 1

问题

hiveserver2服务遇到:java.lang.ClassNotFoundException

游客g3owuc3gurhdc 2019-12-19 14:56:59 0 浏览量 回答数 0

回答

目前E-MapReduce的开源组件还未包含Kylin,下面介绍一种通过创建集群时设置的引导操作来完成集群上Kylin的部署。 1.引导操作shell脚本(kylin_bootstrap.sh)入参: 参数名 取值 备注regionId cn-hangzhou/cn-beijing 创建集群所在的regionIdisVpc 0/1 创建的是否是vpc集群 !/bin/bash regionId="$1"isVpc=$2 echo $regionIdecho $isVpcif [ ! $regionId ]; then regionId="cn-hangzhou" fi if [ ! $isVpc ]; then isVpc=0 fi isMaster=hostname --fqdn | grep emr-header-1masterIp=cat /etc/hosts | grep emr-header-1 | awk '{print $1}' bucket=""if [[ $regionId == "cn-hangzhou" ]]; then bucket="emr-agent-pack" elif [[ $regionId == "cn-beijing" ]]; then bucket="emr-bj" elif [[ $regionId == "cn-shanghai" ]]; then bucket="emr-public-shanghai" elif [[ $regionId == "cn-shenzhen" ]]; then bucket="emr-public-shenzhen" fi kylinpackUrl="http://emr-agent-pack.oss-cn-hangzhou-int ernal.aliyuncs.com/kylin/apache-kylin-1.6.0-hbase1.x-bin.tar.gz"if [[ isVpc -eq 1 ]]; then kylinpackUrl="http://$bucket.vpc100-oss-$regionId.aliyuncs.com/kylin/apache-kylin-1.6.0-hbase1.x-bin.tar.gz" else kylinpackUrl="http://$bucket.oss-$regionId-internal.aliyuncs.com/kylin/apache-kylin-1.6.0-hbase1.x-bin.tar.gz" fi cd /opt/appswget $kylinpackUrltar xvf apache-kylin-1.6.0-hbase1.x-bin.tar.gzrm -rf /opt/apps/apache-kylin-1.6.0-hbase1.x-bin.tar.gzchown -R hadoop:hadoop /opt/apps/apache-kylin-1.6.0-hbase1.x-bin ln -s /opt/apps/apache-kylin-1.6.0-hbase1.x-bin /usr/lib/kylin-currentecho "export KYLIN_HOME=/usr/lib/kylin-current" >>/etc/profile.d/hadoop.shecho "export HIVE_CONF=/etc/emr/hive-conf" >>/etc/profile.d/hadoop.sh echo "if [ $isMaster ]; then sleep 5 su -l hadoop -c '/opt/apps/apache-kylin-1.6.0-hbase1.x-bin/bin/kylin.sh start' else echo 'slave no need to start kylin' fi" >/usr/local/emr/emr-bin/script/hive/after_start.sh2.OSS存储kylin_bootstrap.sh将1中的kylin_bootstrap.sh脚本上传到OSS中,创建集群的时候需要从OSS中选择 3.创建E-MapReduce集群(添加引导操作)在E-MapReduce中创建集群(必须勾选HBase),在创建集群的基础配置页面,点击添加引导操作,选择2中OSS的kylin_bootstrap.sh脚本,并且根据需求填写可选参数(即1中介绍的脚本入参),如下图所示(在深圳region创建classic集群)4.验证集群创建完成,状态显示为空闲后,打隧道到master节点,在浏览器中输http://localhost:7070/kylin , 查看Kylin是否正常。 备注上述创建的Kylin是非HA,只有master上面一台Kylin的webserver。如果需要多台,则可以在slave上面启动,需要做如下操作:1). 修改kylin.properties 详见Kylin文档 kylin.rest.servers=emr-header-1:7070,emr-worker-1:7070,emr-worker-2:7070 //比如启动了三台kylin.server.mode=all //只要有一台配置成all,其它配置成query2). 在slave节点启动Kylin,并重启master节点的Kylin sudo su hadoop/usr/lib/kylin-current/bin/kylin.sh start3). 配置SLB负载均衡 通过阿里云的SLB负载均衡,将上述启动的所有Kylin的webserver进行负载均衡的配置,详见SLB

AI事儿 2019-12-02 01:52:38 0 浏览量 回答数 0

问题

hive元数据配置本地mysql出错:报错

kun坤 2020-06-14 07:27:14 0 浏览量 回答数 1
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 云栖号物联网 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站 云栖号弹性计算 阿里云云栖号 云栖号案例 云栖号直播