• 关于

    用hadoop

    的搜索结果

回答

权限不够 localhost:starting tasktracker,logging to/opt/software/hadoop/libexec/./logs/但是jps可以查看五个进程启动了然后网页打开hdfs系统进入到/usr/hadoop/tmp/mapred/system 下面会出现org.apache....
a123456678 2019-12-01 19:59:28 3702 浏览量 回答数 1

回答

但是公司就要用hadoop用Hadoop存储。读取速度快&xff01;用Spark计算&xff01;计算速度快&xff01;43;1 我们目前使用spark可以单机处理亿级计算# 引用来自“huan”的评论storm 或者 spark 引用来自“OSC-小小侦探”的...
kun坤 2020-06-08 11:15:58 0 浏览量 回答数 0

回答

close:RpcClientImpl.java:844','org.apache.hadoop.hbase.ipc.RpcClientImpl$Connection:run:RpcClientImpl.java:572'],statusCode=3),results=None,hasMoreRows=None)但是我hive shell 执行 sql 一切都正常
晓生寒 2019-12-01 19:26:45 667 浏览量 回答数 1

回答

成阳:blink内部版本使用hadoop 3.0版本的client,从而...如果flink用户不需要hadoop 3.0特有的api的话,编译flink时用hadoop 2.6版本即可。我们已经测试过基于hadoop 2.6.5的flink能够正常运行在hadoop 3.x的集群中。
apache_flink 2019-12-02 01:56:05 0 浏览量 回答数 0

回答

ssh-keygen命令生成公钥id_rsa.pub后覆盖到authorized_keys(touch命令创建的)中,authorized_keys权限也是600,.ssh目录的权限是700,属主都是hadoop;为什么ssh localhost的时候还要密码登录,不知道哪里配置错...
姜小文 2019-12-01 20:07:49 487 浏览量 回答数 1

回答

我刚开始学大数据,虚拟机写了hadoop集群,后来在阿里云上租了区同分区的服务器也搭了hadoop集群,可以正常运行,并且在公网访问页面。但是学习到java代码上传文件到hadoop时出现了问题。java代码如下:public ...
ycl0510 2019-12-01 19:26:09 2718 浏览量 回答数 2

回答

hadoop的时候为什么需要建一个hadoop用户组?
a123456678 2019-12-01 20:00:21 1057 浏览量 回答数 2

回答

hadoop版本是Hadoop 2.6.0-cdh5.4.0 hadoop-snappy-0.0.1-SNAPSHOT\lib\native\Linux-amd64-64下编译好的文件放入hadoop的lib 文件夹下面 然后执行 hadoop checknative 命令 看到 snappy 是false 求解啊
kun坤 2020-06-20 11:55:54 0 浏览量 回答数 1

回答

我从一个啥都不知道的小菜鸟开始摸索 用hadoop&43;hive&43;hbase做集成&xff0c;其中 hadoop 2.7.2 hive 1.2.1 hbase 0.98.20&xff0c;做的单机伪分布集成 单独启动全部没有问题&xff0c;插入读取数据也全都可以。用sqoop...
爱吃鱼的程序员 2020-06-09 11:16:26 0 浏览量 回答数 1

回答

hadoop版本是Hadoop 2.6.0-cdh5.4.0 hadoop-snappy-0.0.1-SNAPSHOT\lib\native\Linux-amd64-64下编译好的文件放入hadoop的lib 文件夹下面 然后执行 hadoop checknative 命令 看到 snappy 是false 求解啊
kun坤 2020-06-02 19:49:45 0 浏览量 回答数 1

回答

不需要的。1.要 hadoop帐号登录,而不是用Root;2.hadoop目录的ower改为hadoop;3.在hadoop的环境变量中加入对应的目录
a123456678 2019-12-02 02:48:16 0 浏览量 回答数 0

回答

建议最新的 RUN rm$SPARK_HOME/jars/kubernetes-client-*.jar ADD https://repo1.maven.org/maven2/io/fabric8/kubernetes-client/4.4.2/kubernetes-client-4.4.2.jar $SPARK_HOME/jars#拷贝本地的应用jar RUN ...
1934890530796658 2020-03-20 20:49:14 0 浏览量 回答数 0

回答

我搭建的是ambari管理下的集群,不是emapeduce能连上oss吗?2017-11-22 19:38:24,939 INFO[pool-8-thread-198]:metastore.HiveMetaStore(HiveMetaStore.java:create_table_core(1447))-create_table_core default....
泪三国云无痕 2019-12-01 19:27:24 1972 浏览量 回答数 0

回答

hive 2.0.1版本,Tez0.6.0 版本,set为tez后报错java.lang.NoClassDefFoundError:org/apache/tez/serviceplugins/api/TaskSchedulerat java.lang.ClassLoader.defineClass1(Native Method) at java.lang....
alanpan 2019-12-01 19:24:06 2433 浏览量 回答数 1

回答

cloudera平台下Hbase集群老报master异常, hadoop fs-ls/hbase/WALs 命令查看WALs下文件目录,发现今天创建的log目录以及下面的文件都是hadoop用户的创建的,用户组属用hbase,之前都是log目录用户以及用户组都是...
hbase小能手 2019-12-01 20:25:51 634 浏览量 回答数 1

回答

1 针对Hadoop的Mapreduce程序,采用Hadoop Streaming方式(或者mrjob等基于Hadoop Streaming的第三方库),是否支持,如何创建作业,直接提交hadoop-streaming-2.6.0.jar和.py文件还是其他方式提交;2 Spark使用...
smallpotato000 2019-12-01 19:49:16 1999 浏览量 回答数 1

回答

貌似又是32位程序和64位系统的问题把hadoop本地库换成64位的就行这个不是报错&xff0c;提示你本地没有hadoop的库&xff0c;使用其它的进行替代&xff0c;如果不想看到&xff0c;在网上找找资料&xff0c;装个hadoop的本地库就行...
爱吃鱼的程序员 2020-06-09 13:35:42 0 浏览量 回答数 0

回答

仅介绍如果使用har 并在hadoop中更好的使用har 文件 首先 看下面的命令 hadoop archive-archiveName 20131101.har/user/hadoop/login/201301/01/user/hadoop/login/201301/01 我上面的命令就可以将/user/hadoop/...
游客2q7uranxketok 2021-02-24 18:07:22 0 浏览量 回答数 0

回答

main函数去掉上面的代码是没有问题的。但把这段代码放到web程序中&xff0c;在controller里去调的话&xff0c;第3行代码的nameNode 一直为空。同一段代码&xff0c;不同的运行方式体现了不同的行为&xff0c;求高人指点。另外&...
爱吃鱼的程序员 2020-06-03 17:08:27 3 浏览量 回答数 1

回答

网址:...看到这篇文章,很高兴,终于可以hadoop实践了,但是里面的“import org.conan.myhadoop.hdfs.HdfsDAO;没看懂。想将这些代码达成jar包放到hadoop中运行,希望大家能够帮忙调试。
爵霸 2019-12-01 19:35:41 1060 浏览量 回答数 1

回答

没有用Hadoop&xff09;启动后&xff0c;可以使用shell来操作。但用java连接操作就报错 public static void main(String[]args) { Configuration conf&61;HBaseConfiguration.create();} 运行结果&xff1a;BEMS 14:28:49.131...
爱吃鱼的程序员 2020-06-22 17:31:36 0 浏览量 回答数 1

回答

都是用hadoop作为底层存储。而hbase是作为分布式数据库&xff0c;而hive是作为分布式数据仓库。当然hive还是借用hadoop的MapReduce来完成一些hive中的命令的执行。而hbase与h. 答案来源网络&xff0c;供您参考
问问小秘 2019-12-02 02:13:54 0 浏览量 回答数 0

回答

的flink-1.7.2版本和hadoop-2.7.2,hadoop_conf_dir和env也配置了,但读取hdfs上数据也报这个错误。后来在flink/lib下添加官网下载的flink和hadoop匹配的flink-shaded-hadoop2-uber-1.7.2.jar包,就不报错了。不...
阿森纳不可战胜 2019-12-02 02:04:18 0 浏览量 回答数 0

回答

我猜可能我根本就错了包&xff0c;可能这个hadoop-core是1.x代的hadoop。可能hadoop本身就是没有java client jar包的。我现在有2.7.1的hadoop-2.7.1.tar.gz&xff0c;但是里面哪个jar才有我上面import的那些类呢&xff1f;...
因为相信,所以看见。 2020-05-27 10:03:13 8 浏览量 回答数 1

回答

6 编程语言方面,Hadoop除了Java(或者其他JVM语言)之外,理论上可以支持任何可以stdin/stdout进行输入输出的编程语言(通过Hadoop Streaming);而Spark仅仅支持Java/Scala/Python/R这四种。
smallpotato000 2019-12-02 01:36:49 0 浏览量 回答数 0

回答

用hadoop的流式api&xff0c;看看官方手册吧#map生成的东西都会被写在本地&xff0c;reduce输出会生成part…的hdfs里面&xff0c;不知道你想表达什么。我想知道我要处理的数据文件应该存放在哪里&xff0c;是存放在主机还是说...
kun坤 2020-06-14 23:07:36 0 浏览量 回答数 0

回答

用hadoop的流式api&xff0c;看看官方手册吧#map生成的东西都会被写在本地&xff0c;reduce输出会生成part…的hdfs里面&xff0c;不知道你想表达什么。我想知道我要处理的数据文件应该存放在哪里&xff0c;是存放在主机还是说...
kun坤 2020-06-02 17:22:34 0 浏览量 回答数 0

回答

本人比较熟悉python&xff0c;对java不熟悉&xff0c;大多数hadoop上的开发都是java的&xff0c;有公司使用python在hadoop上写map/reduce程序的吗&xff1f;
kun坤 2020-06-14 09:12:03 42 浏览量 回答数 1

回答

解决问题的层面不一样&xff1a;首先&xff0c;Hadoop和Apache Spark两者都是大数据框架&xff0c;但是各自存在的目的不尽相同。...但Spark默认来说还是被Hadoop上面的&xff0c;毕竟&xff0c;大家都认为它们的结合是最好的。
游客z26npzhujwpdw 2019-12-02 03:08:24 0 浏览量 回答数 0

回答

不过你说的hadoop没有主流公司&xff0c;我就不敢苟同了&xff0c;多查查资料&xff0c;不要可能就是你自己说的“懒人”才好# 回复&64;BoXuan:你菊花说话的吗&xff1f;https://www.aliyun.com/product/odps 你们这些嘴里...
kun坤 2020-06-08 11:16:21 0 浏览量 回答数 0

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化