• 关于

    最好用hadoop 编译

    的搜索结果
  • 在Ubuntu X64上编译Hadoop

    在之前的文章中介绍了如何直接在Ubuntu中安装Hadoop。但是对于64位的Ubuntu来说,官方给出的Hadoop包是32位的,运行时会得到警告: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your...

    文章 深蓝居 2016-12-12 2112浏览量

  • 在Ubuntu X64上编译Hadoop

    在之前的文章中介绍了如何直接在Ubuntu中安装Hadoop。但是对于64位的Ubuntu来说,官方给出的Hadoop包是32位的,运行时会得到警告: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your...

    文章 浣熊干面包 2018-01-12 1055浏览量

  • Shark简介、部署及编译小结

    Shark简介 Shark即Hive on Spark,本质上是通过Hive的HQL解析,把HQL翻译成Spark上的RDD操作,然后通过Hive的metadata获取数据库里的表信息,实际HDFS上的数据和文件,会由Shark获取并放到Spark上运算。Shark的特点就是快,完全兼容Hive,...

    文章 张包峰 2013-09-24 1303浏览量

  • 万券齐发助力企业上云,爆款产品低至2.2折起!

    限量神券最高减1000,抢完即止!云服务器ECS新用户首购低至0.95折!

    广告

  • Apache Spark源码走读(三)Spark on Yarn &Spark源码编译 &在YARN上运行SparkPi

    <一>Spark on Yarn 概要 Hadoop2中的Yarn是一个分布式计算资源的管理平台,由于其有极好的模型抽象,非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理,集群中计算资源的管理与分配。 Yarn为应用程序开发提供了比较好的实现标准,Spa...

    文章 许鹏 2016-09-14 4113浏览量

  • 《Hadoop MapReduce实战手册》一2.9 使用HDFS的C API(libhdfs)

    本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章,第2.9节,作者: 【美】Srinath Perera , Thilina Gunarathne 译者: 杨卓荦 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.9 使用HDFS的C API(l...

    文章 异步社区 2017-05-02 1746浏览量

  • 跟我一起hadoop(2)——CDH

    前边已经介绍了一种hadoop的安装工具,但是HDP动态添加节点会有一些问题,而且现在用的人好像不是很多,如果想用官方更多的,可以选择HDP,如果想使用更方便一些,可以选择CDH。 安装HDP可以参考: 使用HDP快速搭建Hadoop开发环境 http://www.debugo.com/hdp-d...

    文章 skyme 2016-05-04 4482浏览量

  • 玩转大数据-如何搭建hadoop集群

    看到题目有没有一种高大上的感觉? 毛线,当前是个人、是个公司都在说自己搞大数据,每天没有几个PB的数据入库,每天没有几个TB的分析数据产出敢说自己是大数据? 乘着大数据噱头之风,我们还是要看一下大数据所运用的工具对于我们是否有用,小编之前写项目时一直青睐于mysql,进来发现新的项目mysql已经...

    文章 丁小晶 2016-08-16 1048浏览量

  • nutch-2.2.1 hadoop-1.2.1 hbase-0.92.1 集群部署

    国内私募机构九鼎控股打造APP,来就送 20元现金领取地址:http://jdb.jiudingcapital.com/phone.html 内部邀请码:C8E245J (不写邀请码,没有现金送)国内私募机构九鼎控股打造,九鼎投资是在全国股份转让系统挂牌的公众公司,股票代码为430719,为“中国...

    文章 孤剑 2014-05-24 783浏览量

  • Spark集群安装和使用

    本文主要记录 CDH5 集群中 Spark 集群模式的安装过程配置过程并测试 Spark 的一些基本使用方法。 安装环境如下: 操作系统:CentOs 6.5 Hadoop 版本:cdh-5.4.0 Spark 版本:cdh5-1.3.0_5.4.0 关于 yum 源的配置以及 Hadoo...

    文章 雨客 2016-04-08 4424浏览量

  • 互联网时代 .NET 会渐渐衰落吗?一个架构师对 .NET 的思考

    从长远一点的角度来看,任何东西,都有它的一个起伏期,这与它自身和时代背景有关。 现在 java 兴盛,很大程度上是互联网强势发展促成的,然而,一切如果能以更开阔的时间纬度来看的话,1995 ~ 2000 年互联网泡沫的时候,java 在哪里?N 年之前,javascript 还算不上什么,甚至被...

    文章 行者武松 2017-08-01 1154浏览量

  • Hadoop专业解决方案-第3章:MapReduce处理数据

    前言:非常感谢团队的努力,最新的章节终于有了成果,因为自己的懒惰,好久没有最新的进展了,感谢群里兄弟的努力。 群名称是Hadoop专业解决方案群  313702010 本章主要内容: 理解MapReduce基本原理 了解MapReduce应用的执行 理解MapReduce应用的设计 截止到目前...

    文章 胖子哥 2016-04-19 3666浏览量

  • 《Spark与Hadoop大数据分析》——3.4 Spark 应用程序

    3.4 Spark 应用程序 让我们来了解 Spark Shell 和 Spark 应用程序之间的区别,以及如何创建和提交它们。 3.4.1 Spark Shell 和 Spark 应用程序 Spark 让你可以通过一个简单的、专门用于执行 Scala、Python、R 和 SQL 代码的 Spa...

    文章 华章计算机 2017-09-01 1135浏览量

  • 《Spark与Hadoop大数据分析》一一3.4 Spark 应用程序

    本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第3章,第3.4节,作者:文卡特·安卡姆(Venkat Ankam) 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.4 Spark 应用程序 让我们来了解 Spark Shell 和 Spark 应用程序之间的区别,...

    文章 华章计算机 2017-07-03 963浏览量

  • 0基础搭建Hadoop大数据处理-环境

     由于Hadoop需要运行在Linux环境中,而且是分布式的,因此个人学习只能装虚拟机,本文都以VMware Workstation为准,安装CentOS7,具体的安装此处不作过多介绍,只作需要用到的知识介绍。   VMware的安装,装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机,省时省...

    文章 最美的回忆 2017-11-09 986浏览量

  • 运维专家:我在大数据项目中踩过的那些坑

    一、主要讨论人员 提问:陈超,七牛云技术总监 回答:朱冠胤,百度资深大数据专家,连续两次百度最高奖得主。 二、引言 “坐而论道”是一个轮流问答的玩法。本文是大数据主题周中,几位国内一线专家激情问答的一部分内容。期间,各位群友也积极参与。 三、问题集锦 1.MongoDB在百度的使用场景及规模? 2...

    文章 玄学酱 2017-08-15 1684浏览量

  • Spark随谈——开发指南(译)

    本文翻译自官方博客,略有添加:https://github.com/mesos/spark/wiki/Spark-Programming-Guide,谢谢师允tx的校正。希望能够给希望尝试Spark的朋友,带来一些帮助。目前的版本是0.5.0 Spark开发指南 从高的层面来看,其实每一个Spa...

    文章 沉默术士 2017-05-02 1190浏览量

  • Spark随谈——开发指南(译)

    本文翻译自官方博客,略有添加:https://github.com/mesos/spark/wiki/Spark-Programming-Guide,谢谢师允tx的校正。希望能够给希望尝试Spark的朋友,带来一些帮助。目前的版本是0.5.0 Spark开发指南 从高的层面来看,其实每一个Spa...

    文章 中间件小哥 2016-04-08 2110浏览量

  • 来!PyFlink 作业的多种部署模式

    关于 PyFlink 的博客我们曾介绍过 PyFlink 的功能开发,比如,如何使用各种算子(Join/Window/AGG etc.),如何使用各种 Connector(Kafka, CSV, Socket etc.),还有一些实际的案例。这些都停留在开发阶段,一旦开发完成,我们就面临激动人心的...

    文章 阿里云实时计算Flink 2020-01-20 2430浏览量

  • 来!PyFlink 作业的多种部署模式

    关于 PyFlink 的博客我们曾介绍过 PyFlink 的功能开发,比如,如何使用各种算子(Join/Window/AGG etc.),如何使用各种 Connector(Kafka, CSV, Socket etc.),还有一些实际的案例。这些都停留在开发阶段,一旦开发完成,我们就面临激动人心的...

    文章 阿里云实时计算Flink 2020-01-20 1029浏览量

  • 数据科学工具包(万余字介绍几百种工具,经典收藏版!)

    本文简介:数据科学家的常用工具与基本思路,数据分析师和数据科学家使用的工具综合概述,包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种,几十个大类,部分网址。为数据科学教育和知识分享,提高数据科学人员素质。 数据科学融合了多门学科并且建立在这些学科的理论和技术之上,包括数学、概率...

    文章 小旋风柴进 2017-05-02 2459浏览量

  • 一文读懂大数据计算框架与平台

    1. 前言 计算机的基本工作就是处理数据,包括磁盘文件中的数据,通过网络传输的数据流或数据包,数据库中的结构化数据等。随着互联网、物联网等技术得到越来越广泛的应用,数据规模不断增加,TB、PB量级成为常态,对数据的处理已无法由单台计算机完成,而只能由多台机器共同承担计算任务。而在分布式环境中进行...

    文章 小旋风柴进 2017-05-02 2713浏览量

  • 【独家】一文读懂大数据计算框架与平台

    1. 前言 计算机的基本工作就是处理数据,包括磁盘文件中的数据,通过网络传输的数据流或数据包,数据库中的结构化数据等。随着互联网、物联网等技术得到越来越广泛的应用,数据规模不断增加,TB、PB量级成为常态,对数据的处理已无法由单台计算机完成,而只能由多台机器共同承担计算任务。而在分布式环境中进行...

    文章 行者武松 2017-05-01 1544浏览量

  • Java基本理论及编程语言分类4.23

    课堂笔记4.23 总结1理论2基础逻辑 if eise for while 3: 一:java 语言 编程语言 自然语言 计算机语言 二:编程语言分类 根据数据类型 强类型编程语言 弱类型编程语言 :eg C语言 ...

    文章 ludan60 2018-04-23 3509浏览量

  • Kafka开发环境搭建(五)

    如果你要利用代码来跑kafka的应用,那你最好先把官网给出的example先在单机环境和分布式环境下跑通,然后再逐步将原有的consumer、producer和broker替换成自己写的代码。所以在阅读这篇文章前你需要具备以下前提: 1.  简单了解kafka功能,理解kafka的分布式原理 2....

    文章 老先生二号 2017-05-29 1301浏览量

  • Apache Flink 零基础入门(二):开发环境搭建和应用的配置、部署及运行

    作者:沙晟阳 前言 本文主要面向于初次接触 Flink、或者对 Flink 有了解但是没有实际操作过的同学。希望帮助大家更顺利地上手使用 Flink,并着手相关开发调试工作。 课程内容包括: Flink 开发环境的部署和配置 运行 Flink 应用(包括:单机 Standalone 模式、多机 ...

    文章 阿里云实时计算Flink 2019-08-05 3789浏览量

  • Apache Flink 零基础入门(二):开发环境搭建和应用的配置、部署及运行

    作者:沙晟阳 前言 本文主要面向于初次接触 Flink、或者对 Flink 有了解但是没有实际操作过的同学。希望帮助大家更顺利地上手使用 Flink,并着手相关开发调试工作。 课程内容包括: Flink 开发环境的部署和配置 运行 Flink 应用(包括:单机 Standalone 模式、多机 ...

    文章 Ververica 2019-07-12 1759浏览量

  • 《Spark大数据分析:核心概念、技术及实践》一 2.2 Scala基础

    本节书摘来自华章出版社《Spark大数据分析:核心概念、技术及实践》一书中的第2章,第2.2节,作者[美] 穆罕默德·古勒(Mohammed Guller),更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.2 Scala基础 Scala是一门支持面向对象编程和函数式编程的混合语言。...

    文章 华章计算机 2017-05-02 787浏览量

  • HBase指南 | HBase 2.0之修复工具HBCK2运维指南

    目前社区已经发布了HBase的2.0版本,很多公司都希望去尝试新版本上的新功能,但是不得不面对的问题就是当集群出了问题应该如何解决。 在之前的HBase版本中,我们可以依赖hbck来帮助检查问题和修复问题,在新的版本上我们应该如何去处理呢?HBASE-19121[1]给了我们答案——HBCK2。 ...

    文章 hbase小能手 2018-12-28 5182浏览量

  • 一共81个,开源大数据处理工具汇总(下),包括日志收集系统/集群管理/RPC等

    作者:大数据女神-诺蓝(微信公号:dashujunvshen)。本文是36大数据专稿,转载必须标明来源36大数据。   接上一部分:一共81个,开源大数据处理工具汇总(上),第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理...

    文章 孤剑 2015-10-13 1091浏览量

  • 人工智能的主流之路:20年机器学习

    联合编译:章敏,高斐 当我在1995参加了计算机科学的时候,数据科学并不存在,但我们仍然在使用许多早已存在的算法。这不仅仅是因为神经网络的回归,也可能是从那时起,就已经没有发生太多根本性的变化。至少给我的感觉是这样的。有趣的是,从今年开始,人工智能似乎终于已经成为主流。 在云计算机,智能手机,...

    文章 青衫无名 2017-08-01 874浏览量

1 2 3 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT