• 关于

    hadoop 数组

    的搜索结果
  • ubuntu下设置文件权限

    今天在配置hadoop到时候,发现无法修改hadoop-­‐env.sh,即使使用命令: [c-sharp] view plaincopyprint? sudo gedit hadoop-env.sh    也是无法修改。后来想想可能是我前面设置了hadoop文件目录权限到缘故,其...

    文章 嗯哼9925 2017-12-18 690浏览量

  • Hadoop 序列化的研究

     Hadoop和java自带的序列化机制不同,它自己提供了一组序列化体系接口和类。 对于基本数据类型,Writable接口就代表了可以被序列化的数据,这个接口定义了2个方法,其中write方法可以吧这个数据序列化到参数给出的DataOutput的字节数组中,而readField方法则可以从DatI...

    文章 余二五 2017-11-22 919浏览量

  • hive cli启动判断hadoop version的问题

    测试环境的hive cli启动时报错: 1 Unable to determine Hadoop version information. hive是一个shell: 使用sh -x跟踪运行过程,可以看到其通过hadoop version获取hdfs的版本 相关的代码如下:...

    文章 科技小先锋 2017-11-14 2598浏览量

  • 万券齐发助力企业上云,爆款产品低至2.2折起!

    限量神券最高减1000,抢完即止!云服务器ECS新用户首购低至0.95折!

    广告

  • 如何批量管理集群系统

    当我们管理数以百计或者更多的集群系统时,往往需要在每台机器上执行同样的命令,或者拷贝同样的文件,这时,我们就可以考虑使用三个小工具,分别是pdsh、ClusterSSH和mussh。在Fedora系统上,我们可以直接通过yum安装这三个软件。如果你使用的是centos,那么你可以添加Fedora的...

    文章 科技小先锋 2017-11-14 897浏览量

  • Hadoop Shell命令

    本文讲的是Hadoop Shell命令,【IT168 资讯】调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对...

    文章 轩墨 2017-09-13 1115浏览量

  • [大数据新手上路]“零基础”系列课程--如何将ECS上的Hadoop数据迁移到阿里云数加·MaxCompute

    免费开通大数据服务:https://www.aliyun.com/product/odps  想用阿里云数加·大数据计算服务(MaxCompute),但是现在数据还在hadoop上,怎么办? MaxComp...

    文章 隐林 2016-12-05 14524浏览量

  • Hadoop所有命令详解

    FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,s...

    文章 微笑着生活 2018-07-29 845浏览量

  • Hadoop Shell命令

    FS Shell cat chgrp chmod chown copyFromLocal copyToLocal cp du dus expunge get getmerge ls lsr mkdir movefromLocal mv put rm rmr setrep stat tail te...

    文章 云栖希望。 2017-12-04 920浏览量

  • Linux 权限管理控制 + 用户管理

    rwx就是分别表示可读、可写、可执行(也就是可以在上面执行一些命令,或者自己本身就是一个命令,看可不可以执行) 第一个rwx 是说这个文件所属的用户(拥有者)对这个文件的权限 第二个rwx是说这个文件所属的组,组成员对这个文件的权限(下图就是,a.avi属于root用户(第一个root意思是用...

    文章 yexx 2017-01-16 1036浏览量

  • hadoop中slot简介(map slot 和 reduce slot)

    Slots是Hadoop的一个重要概念。然而在Hadoop相关论文,slots的阐述难以理解。网上关于slots的概念介绍也很少,而对于一个有经验的Hadoop开发者来说,他们可能脑子里已经理解了slots的真正含义,但却难以清楚地表达出来,Hadoop初学者听了还是云里雾里。我来尝试讲解一下,以...

    文章 神巧合 2016-08-28 1527浏览量

  • Hadoop: Why Not Use RAID?

     一、针对hadoop集群的磁盘配置建议     针对datanode,建议采用一组单独的磁盘,针对namenode节点,建议采用raid5或raid1来实现针对metadata的冗灾。 二、针对此问题讨论的资料     针对此问题,两篇文章从不同角度论证为什么Hadoop更青睐JBOD而不是RA...

    文章 cloudcoder 2016-05-13 3782浏览量

  • Hadoop大象之旅009-通过Shell操作hdfs

    Hadoop大象之旅009-通过Shell操作hdfs                                                                老帅 调用Hadoop分布式文件系统(HDFS)Shell命令应使用bin/hadoop fs <args&g...

    文章 非常老帅 2014-12-09 709浏览量

  • MapReduce

     PS:内容来自开源力量公开课第二十四期-为何Hadoop是分布式大数据处理的未来&如何掌握Hadoop?的文档,算做简单了解,想花时间好好了解hadoop!   MapReduce原理1 问题: 求出以下数组当中最大的数 1,3,23,3,4,18,2,8,10,16,7,5 int M...

    文章 lin.tao 2013-08-04 978浏览量

  • 大数据应用还处于早期——专访Hadoop之父Doug Cutting

    至顶网软件频道消息: 谈到大数据,对技术有点了解的人很容易想到Hadoop。的确,尽管Hadoop只是一个对数据进行存储和分析处理的平台,但仍有不少人把Hadoop和大数据对等起来。实际上,Hadoop的确在很大程度上扮演着大数据代言人的角色,它应用的广度和深度也基本反映了大数据市场的繁荣程度。 ...

    文章 轩墨 2017-09-07 1154浏览量

  • 大数据应用还处于早期——专访Hadoop之父Doug Cutting

    谈到大数据,对技术有点了解的人很容易想到Hadoop。的确,尽管Hadoop只是一个对数据进行存储和分析处理的平台,但仍有不少人把Hadoop和大数据对等起来。实际上,Hadoop的确在很大程度上扮演着大数据代言人的角色,它应用的广度和深度也基本反映了大数据市场的繁荣程度。 从有Hadoop之父之...

    文章 玄学酱 2017-09-01 957浏览量

  • 玩转大数据-如何搭建hadoop集群

    看到题目有没有一种高大上的感觉? 毛线,当前是个人、是个公司都在说自己搞大数据,每天没有几个PB的数据入库,每天没有几个TB的分析数据产出敢说自己是大数据? 乘着大数据噱头之风,我们还是要看一下大数据所运用的工具对于我们是否有用,小编之前写项目时一直青睐于mysql,进来发现新的项目mysql已经...

    文章 丁小晶 2016-08-16 1053浏览量

  • 通过Spark Streaming作业处理Kafka数据

    本节介绍如何使用阿里云E-MapReduce部署Hadoop集群和Kafka集群,并运行Spark Streaming作业消费Kafka数据。 前提条件 已注册阿里云账号,详情请参见注册云账号。 已开通E-MapReduce服务。 已完成云账号的授权,详情请参见角色授权。 背景信息 在开发过程...

    文章 开源大数据EMR 2019-12-27 861浏览量

  • 云计算读书笔记(五)

    Hadoop:Google云计算的开源实现 Hadoop是Apache开源组织的一个分布式计算机框架,可以在大量廉价的硬件设备组成的集群上运行应用程序,为应用程序提供一组稳定可靠的接口,旨在构建一个具有高可靠性和良好扩展性的分布式系统。 Hadoop的核心是HDFS,MapReduce和HBase...

    文章 skyme张 2011-10-19 678浏览量

  • Hadoop工具如何形成SAP Hana的大数据平台

    自2008年以来,SAP Hana一直是领先的数据库管理系统之一。它比许多其他数据库管理解决方案能够更有效地处理数据,主要是因为它可以使用一些最先进的Hadoop工具。没有Hadoop,大多数SAP Hana数据库将是相对无用的。访问大多数数据集将是困难的,特别是在它们存储原始数据的时候。 为什...

    文章 知与谁同 2017-08-01 1119浏览量

  • Zookeeper、Hadoop、Sqoop、Mahout、HBase整合安装

    环境说明 系统 CentOS 7.2 用户 root 用户 hadoop 服务器3台 IP:10.1.5.51(master),10.1.5.52(slave1),10.1.5.53(slave2) JAVA 1.7.X Zookeeper版本:3.4.9 Hadoop版本:2....

    文章 风来了 2016-11-29 2322浏览量

  • 【译】Hadoop发生了什么?我们该如何做?

    原文:https://insidebigdata.com/2019/08/10/what-happened-to-hadoop-and-where-do-we-go-from-here/ 作者:余根茂,阿里巴巴计算平台事业部EMR团队的技术专家,参与了Hadoop,Spark,Kafka等开源项...

    文章 开源大数据EMR 2019-09-17 1011浏览量

  • 云计算读书笔记(五)

    Hadoop:Google云计算的开源实现 Hadoop是Apache开源组织的一个分布式计算机框架,可以在大量廉价的硬件设备组成的集群上运行应用程序,为应用程序提供一组稳定可靠的接口,旨在构建一个具有高可靠性和良好扩展性的分布式系统。 Hadoop的核心是HDFS,MapReduce和HBase...

    文章 skyme 2016-04-25 1465浏览量

  • 《深入理解大数据:大数据处理与编程实践》一一3.4 HDFS文件系统操作命令

    本节书摘来自华章计算机《深入理解大数据:大数据处理与编程实践》一书中的第3章,第3.4节,作者 主 编:黄宜华(南京大学)副主编:苗凯翔(英特尔公司),更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.4 HDFS文件系统操作命令 通过之前章节的学习,相信各位读者对HDFS已经有了一个基...

    文章 华章计算机 2017-07-04 1391浏览量

  • 深入对比Java与Hadoop大数据序列化机制Avro

    Java有自己提供的序列化机制,而我们的Hadoop也提供了自己的序列化机制,二者究竟有什么差异呢?为什么Hadoop要重新设计自己的序列化体系?序列化大数据对象的过程,Writable接口底层源码实现。首先我们先了解一下什么是序列化,为什么需要序列化?1、序列化机制Serialization序列...

    文章 徐雷frank 2019-01-17 1659浏览量

  • 十八款Hadoop工具帮你驯服大数据作业

    文章讲的是十八款Hadoop工具帮你驯服大数据作业,Hadoop已经通过自身的蓬勃发展证明,它不仅仅是一套用于将工作内容传播到计算机群组当中的小型堆栈--不,这与它的潜能相比简直微不足道。这套核心的价值已经被广泛证实,目前大量项目如雨后春笋般围绕它建立起来。有些项目负责数据管理、有些负责流程监控、...

    文章 青衫无名 2017-09-01 1054浏览量

  • 《深入理解大数据:大数据处理与编程实践》一一1.4 Hadoop系统简介

    本节书摘来自华章计算机《深入理解大数据:大数据处理与编程实践》一书中的第1章,第1.4节,作者 主 编:黄宜华(南京大学)副主编:苗凯翔(英特尔公司),更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.4 Hadoop系统简介 1.4.1 Hadoop的概述与发展历史Hadoop系统最初...

    文章 华章计算机 2017-07-04 787浏览量

  • HDFS基本文件常用命令

      为了每次执行hadoop的时候,不必须要前者加上hadoop的安装的绝对路径,要做的事情就是将其安装路径加入到PATH中,这样就可以直接执行hadoop命令。如下:       vim /etc/profile中加入一句       export HADOOP_INSTALL=/usr/loc...

    文章 科技小能手 2017-11-12 849浏览量

  • 《深入理解大数据:大数据处理与编程实践》一一2.2 单机和单机伪分布式Hadoop系统安装基本步骤

    本节书摘来自华章计算机《深入理解大数据:大数据处理与编程实践》一书中的第2章,第2.2节,作者 主 编:黄宜华(南京大学)副主编:苗凯翔(英特尔公司),更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.2 单机和单机伪分布式Hadoop系统安装基本步骤 默认情况下,Hadoop被配置成一...

    文章 华章计算机 2017-07-04 1056浏览量

  • Hadoop安装配置手册

    Hadoop安装配置手册 一、      准备篇 Hadoop运行环境: SSH服务正常运行 JDK 没安装的可以自己安装一下。   二、      基础篇(单节点Hadoop) Hadoop下载     Hadoop下载页:http://hadoop.apache.org/release...

    文章 蘑菇街隐修 2013-03-01 616浏览量

  • Cloudera CTO: Hadoop与Spark是合作不是取代

    在开源领域,Hadoop算得上是最成功的项目之一。这个诞生于2006年的开源项目,如今几乎成了大数据的代名词,越来越多的企业正在将Hadoop应用到他们的业务中。Hadoop已成为各类企业解决海量数据的通用处理平台,被广泛运用到医疗、教育、交通等多个行业,用来对数据进行分析处理、对未来进行预测。尽...

    文章 玄学酱 2017-09-01 1205浏览量

1 2 3 4 ... 37 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT