Hadoop

首页 标签 Hadoop
# Hadoop #
关注
11369内容
CDH5之Exhausted available authentication methods
1.机器环境:前几天,要在 阿里环境装两套CDH的产品环境,其中一套CDH5在安装过程就抛错"Exhausted available authentication methods" 其中的抛错的机器是运维从stage环境机器上,copy的镜像做的新的机器。
HDFS应用场景、原理、基本架构
HDFS是什么? 易于扩展的分布式文件系统 运行在大量普通廉价机器上,提供容错机制 为大量用户提供性能不错的文件存取服务
hive数据迁移
比如需要把生产的hive集群数据迁移到另一个集群,hive提供了2个命令工具,可以实现表的批量迁移。 [export/import] 设置默认需要导出的hive数据库 在hive目录/etc/alternatives/hive-conf下添加.hiverc vi ~/.hiverc use test; 创建数据临时目录 hdfs dfs -mkdir /tmp/
专访阿里云高级技术专家吴威:Kafka、Spark和Flink类支持流式计算的软件会越来越流行
大数据领域一定会朝着更加实时、更加智能、数据更加多样化的方向前进。Kafka、Spark和Flink之类的支持流式计算的软件会越来越流行,同时各类机器学习平台和工具也会越来越成熟。
sqoop 从sqlserver2008 导入数据到hadoop
今天终于开始上手导入数据到hadoop了,哈哈,过程蛮崎岖的,和官方文档的还不太一样。 OK,let's go!试验对象是我第一个名为ST_Statistics的一张表,我要把我表里的数据导入到hdfs、hive以及hbase当中,然后试验才算完成。
Hadoop手把手逐级搭建(3) Hadoop高可用(HA)
步骤概述 1). 为完全分布式保存hadoop配置 2). 为hadoop2配置hadoop1的ssh免密 3). 在hadoop2上配置zookeeper 4). 在hadoop1上修改hadoop配置文件为HA高可用模式 5).
免费试用