• 关于

    hadoop api编程

    的搜索结果
  • 初步认识Hadoop

    1. 背景知识 由google公司研发的google文件系统和MapReduce变成模型在处理海量数据方面引起了业界的反响。 Hadoop是实现了MapReduce编程模型的开源系统。   Hadoop Java API主页: http://hadoop.apache.org/    2. 关系型...

    文章 master_haku 2012-03-28 485浏览量

  • 技术干货:YARN基本设计思想

     在2013年的Hadoop峰会上,YARN是一个热点话题,YARN本质上是Hadoop的新操作系统,突破了MapReduce框架的性能瓶颈。Murthy认为Hadoop和YARN的组合是企业大数据平台致胜的关键。 以下内容摘自《Hadoop技术内幕:深入解析YARN架构设计与实现原理》董西成著机...

    文章 小旋风柴进 2017-04-03 1282浏览量

  • MapReduce 编程模型概述

    MapReduce 编程模型给出了其分布式编程方法,共分 5 个步骤: 1) 迭代(iteration)。遍历输入数据, 并将之解析成 key/value 对。 2) 将输入 key/value 对映射(map) 成另外一些 key/value 对。 3) 依据 key 对中间数据进行分组(gro...

    文章 wuyudong 2016-04-21 2084浏览量

  • 万券齐发助力企业上云,爆款产品低至2.2折起!

    限量神券最高减1000,抢完即止!云服务器ECS新用户首购低至0.95折!

    广告

  • 《Hadoop与大数据挖掘》一2.4 Hadoop编程开发

    本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第2章 ,第2.4节,张良均 樊 哲 位文超 刘名军 许国杰 周 龙 焦正升 著 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.4 Hadoop编程开发 Hadoop框架最核心的设计就是HDFS和MapReduce。HDFS为海...

    文章 华章计算机 2017-06-26 911浏览量

  • Hadoop概念学习系列之Hadoop的文件系统(十六)

    Hadoop整合了众多文件系统,它首先提供了一个高层的文件系统抽象类org.apache.hadoop.fs.FileSystem,这个抽象类展示了一个分布式文件系统,并有几个具体实现。       如下表所示。   Hadovp提供了许多文件系统的接口,用户可使用URI方案选取合适的文件系统来实...

    文章 技术小哥哥 2017-11-14 1146浏览量

  • 【转】Hadoop是什么

    文章转自:http://www.cnblogs.com/leeqianjun/articles/1269408.html 1.1Hadoop是什么 Hadoop原来是Apache Lucene下的一个子项目,它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。简单地说来,...

    文章 百万大军 2012-04-25 665浏览量

  • 《Hadoop MapReduce实战手册》一2.8 使用HDFS的Java API

    本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章,第2.8节,作者: 【美】Srinath Perera , Thilina Gunarathne 译者: 杨卓荦 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.8 使用HDFS的Java AP...

    文章 异步社区 2017-05-02 1711浏览量

  • 零基础大数据学习框架

    大数据开发最核心的课程就是Hadoop框架,几乎可以说Hadoop就是大数据开发。这个框架就类似于Java应用开发的SSH/SSM框架,都是Apache基金会或者其他Java开源社区团体的能人牛人开发的贡献给大家使用的一种开源Java框架。科多大数据大数据来带你看看。 Java语言是王道就是这个道...

    文章 游客j3pqckwdg637c 2019-05-31 800浏览量

  • HDFS_API_Java编程

    MyEclipse或Eclipse软件编程通过API操作hadoop上的HDFS文件系统 1.导入HDFS的jar包 解压hadoop_2.6.0.tar.gz的安装包, 选中所有放在lib中的jar包,右键,buildpath ~~~~~~~~~~~~~~~~~~~~~~~...

    文章 a_宇 2016-11-24 1265浏览量

  • 《Hadoop与大数据挖掘》——导读

    前  言 为什么要写这本书 最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。” 早在2012年,大数据(big data)一词已经被广泛提...

    文章 华章计算机 2017-07-03 1301浏览量

  • 《Spark与Hadoop大数据分析》——导读

    前  言 本书讲解了Apache Spark和Hadoop的基础知识,以及如何通过简单的方式将它们与最常用的工具和技术集成在一起。所有Spark组件(Spark Core、Spark SQL、DataFrame、Dataset、Conventional Streaming、Structured S...

    文章 华章计算机 2017-09-01 934浏览量

  • 《深入理解Hadoop(原书第2版)》——导读

    前  言 Hadoop已经进入Apache社区发展五年多了,使用Hadoop系统进行开发的工作仍然富于挑战但收获丰厚。本书第1版在若干年前就已经出版了,在这期间,Hadoop系统已经被越来越多的企业使用,自身也得到了飞速发展。 Hadoop2.0基于YARN框架做了全新升级,重写了Hadoop系统...

    文章 华章计算机 2017-05-02 2002浏览量

  • 大数据开发的工具有哪些?

    大数据开发的工具有哪些? 作为一个大数据开发人员,每天要与使用大量的大数据工具来完成日常的工作,那么目前主流的大数据开发工具有哪些呢?加米谷大数据为大家介绍下大数据开发工具 Hadoop Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发...

    文章 小猪佩佩 2019-03-30 893浏览量

  • 大数据hadoop从入门到精通之hadoop家族产品

    大数据这个词也许几年前你听着还会觉得陌生,但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”!越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手,你会觉得哪些地方很难呢?运行环境的搭建恐怕就已经足够让新手头疼。如果每一个发行版ha...

    文章 大数据资讯 2018-07-17 2693浏览量

  • Apache Flink实战(一) - 简介

    1 功能 2 用户 国际 国内 3 特点 ◆ 结合Java、Scala两种语言◆ 从基础到实战◆ 系统学习Flink的核心知识◆ 快速完成从入门到上手企业开发的能力提升 4 安排 ◆ 初识Flink ◆ 编程模型及核心概念 ◆ DataSet API编程 ◆ DataStream AP...

    文章 javaedge 2019-04-26 2332浏览量

  • Hadoop 生态系统

    1.概述 最近收到一些同学和朋友的邮件,说能不能整理一下 Hadoop 生态圈的相关内容,然后分享一些,我觉得这是一个不错的提议,于是,花了一些业余时间整理了 Hadoop 的生态系统,并将其进行了归纳总结,进而将其以表格的形式进行了罗列。涉及的内容有以下几点: 分布式文件系统 分布式编程模型 N...

    文章 玄学酱 2017-07-10 1314浏览量

  • Hadoop学习资源集合

    Hadoop是一个由Apache基金会所开发的开源分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构,将大...

    文章 readygo 2016-05-18 37177浏览量

  • Hadoop MapReduce概念学习系列之新旧 MapReduce API 比较(四)

     从 0.20.0 版本开始,Hadoop 同时提供了新旧两套 MapReduce API。新 API 在旧 API 基础上进行了封装,使得其在扩展性和易用性方面更好。新旧版 MapReduce API 的主要区 别如下。   (1)存放位置    旧版 API 放在 org.apache.had...

    文章 技术小哥哥 2017-11-14 884浏览量

  • 《深入理解大数据:大数据处理与编程实践》一一1.4 Hadoop系统简介

    本节书摘来自华章计算机《深入理解大数据:大数据处理与编程实践》一书中的第1章,第1.4节,作者 主 编:黄宜华(南京大学)副主编:苗凯翔(英特尔公司),更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.4 Hadoop系统简介 1.4.1 Hadoop的概述与发展历史Hadoop系统最初...

    文章 华章计算机 2017-07-04 787浏览量

  • Hadoop HDFS编程 API入门系列之HdfsUtil版本1(六)

                                              代码 1 package zhouls.bigdata.myWholeHadoop.HDFS.hdfs2; 2 3 import java.io.FileOutputStream; 4 import ...

    文章 技术小哥哥 2017-11-20 1055浏览量

  • MaxCompute 2.0 生态开放之路及最新发展

    文章转自yizhuo MaxCompute(原ODPS)是阿里云自主研发的分布式大数据处理系统。长久以来,这套阿里自研的系统为阿里内部服务,有自己的类型系统,配套工具以及 SDK 和编程接口。但是随着公共领域对 MaxCompute 的需求越来越强烈,我们也在尽自己所能,使 MaxCompute ...

    文章 隐林 2016-10-11 6614浏览量

  • 《R与Hadoop大数据分析实战》一1.7 Hadoop的子项目

    本节书摘来自华章出版社《R与Hadoop大数据分析实战》一书中的第1章,第1.7节,作者 (印)Vignesh Prajapati,更多章节内容可以访问云栖社区“华章计算机”公众号查看 1.7 Hadoop的子项目 Mahout是一个很强大的数据挖掘库,其中包含大部分与数据挖掘有关的机器学习算法,...

    文章 华章计算机 2017-07-03 1433浏览量

  • 独家 | 一文读懂Hadoop(一):综述

    随着全球经济的不断发展,大数据时代早已悄悄到来,而Hadoop又是大数据环境的基础,想入门大数据行业首先需要了解Hadoop的知识。2017年年初apache发行了Hadoop3.0,也意味着一直有一群人在对Hadoop不断的做优化,不仅如此,各个Hadoop的商业版本也有好多公司正在使用,这也印...

    文章 行者武松 2017-08-01 2201浏览量

  • 10分钟大数据Hadoop基础入门

    前言 目前人工智能和大数据火热,使用的场景也越来越广,日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解。 基础概念 大数据的本质 一、数据的存储:分布式文件系统(分布式存储)二、数据的计算:分部署计算 基础知识 学习大数据需要具备Java知识基础及...

    文章 技术小能手 2018-07-13 2194浏览量

  • Hadoop HBase 单机环境简单配置教程

    写在前面: Hadoop是Apache的一个项目,它是一个实现了MapReduce计算模型的可以运用于大型集群并行计算的分布式并行计算编程框架,当然分布式计算离不开分布式存储,Hadoop框架包含了分布式存储系统HDFS(Hadoop Distributed File System),其存储和数据...

    文章 知与谁同 2017-08-01 6954浏览量

  • 《R与Hadoop大数据分析实战》一2.4 编写Hadoop MapReduce示例程序

    本节书摘来自华章出版社《R与Hadoop大数据分析实战》一书中的第2章,第2.4节,作者 (印)Vignesh Prajapati,更多章节内容可以访问云栖社区“华章计算机”公众号查看 2.4 编写Hadoop MapReduce示例程序 现在要通过一个很简单且普通的单词统计(word count...

    文章 华章计算机 2017-07-03 1379浏览量

  • Hadoop大数据平台实战(02):HBase vs. Hive vs. Impala 对比

    Hadoop大数据平台中非常重要的三个技术:HBase vs. Hive vs. Impala。他们之间的关系和区别。 Apache™Hadoop是目前最流行的开源大数据平台,核心组件使用Java语言开发。 Apache Hadoop软件库是一个框架,允许使用简单的编程模型跨计算机集群分布式处理大...

    文章 徐雷frank 2019-04-06 1536浏览量

  • 《Hadoop实战第2版》——3.4节Hadoop流

    3.4 Hadoop流 Hadoop流提供了一个API,允许用户使用任何脚本语言写Map函数或Reduce函数。Hadoop流的关键是,它使用UNIX标准流作为程序与Hadoop之间的接口。因此,任何程序只要可以从标准输入流中读取数据并且可以写入数据到标准输出流,那么就可以通过Hadoop流使用其...

    文章 华章计算机 2017-08-01 910浏览量

  • BMC拓展大数据战略

    数字化企业IT解决方案提供商BMC宣布拓展大数据战略,以使企业级Hadoop?环境实现部署自动化、加快运行并得到安全保护,进而帮助企业出色地运行和维护IT系统,增强在数字化时代的竞争优势。同时,BMC还宣布推出专为提高Hadoop应用部署敏捷性而设计的Control-M Automation AP...

    文章 玄学酱 2017-09-06 1056浏览量

  • 《R与Hadoop大数据分析实战》一1.5 Hadoop的特点

    本节书摘来自华章出版社《R与Hadoop大数据分析实战》一书中的第1章,第1.5节,作者 (印)Vignesh Prajapati,更多章节内容可以访问云栖社区“华章计算机”公众号查看 1.5 Hadoop的特点 Hadoop是围绕两个核心概念专门设计的:HDFS和MapReduce。这两者都与分...

    文章 华章计算机 2017-07-03 1012浏览量

1 2 3 4 ... 17 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT