• 【原创】hadoop集群搭建

    现在hadoop1是主节点,它需要主动发起SSH连接到hadoop2,对于SSH服务来说,hadoop1就是SSH客户端,而hadoop2,hadoop3,hadoop4则是SSH服务端,因此在hadoop2,hadoop3,hadoop4上需要确定sshd服务已经启动。...
    文章 2012-06-26 931浏览量
  • Hadoop海量数据处理:技术详解与项目实战(第2版)...

    不过需要注意的是,Hadoop并不是通过SSH协议进行数据传输的,Hadoop仅仅是在启动和停止的时候需要主节点通过SSH协议将从节点上面的进程启动或停止。也就是说如果不配置SSH对Hadoop的使用没有任何影响,只需在启动和...
    文章 2017-05-02 2127浏览量
  • hadoop hive hbase 入门学习(二)

    解决:zppkeeper未启动,或无法连接,从查看各节点zookeeper启动状态、端口占用、防火墙等方面查看原因 b.getMaster attempt 4 of 10 failed;retrying after sleep of 2000 解决:查看 master log,如果有信息org....
    文章 2015-03-08 1344浏览量
  • Hadoop3.2.0使用详解

    export MAVEN_OPTS="-Xms256m-Xmx512m"export JAVA_HOME=data/soft/new/jdkexport HADOOP_HOME=data/soft/new/hadoopexport HADOOP_CONF_DIR=data/soft/new/hadoop-configexport HADOOP_YARN_HOME=$HADOOP_...
    文章 2019-04-23 3121浏览量
  • 手把手教你入门Hadoop(附代码&资源)

    如果您更喜欢使用图形界面与HDFS交互,您可以查看免费的开源HUE(Hadoop用户体验)。它包含一个方便的“文件浏览器”组件,允许您浏览HDFS文件和目录并执行基本操作。您也可以使用HUE的“上传”按钮,直接从您的计算机...
    文章 2018-05-02 3026浏览量
  • Hadoop集群伸缩难?DLA Spark助力集群快速加弹性

    值得一提的是,弹性网卡,是一种免费的技术,用户使用弹性网卡访问Hadoop集群数据不需要花费额外的费用。打通用户Hadoop集群配置简单,用户运行作业时,如需为Serverless Spark计算进程挂载虚拟网卡,只需要在作业...
    文章 2020-11-18 2130浏览量
  • 淘宝大数据之路

    这个状态持续到2013年4月,这时出现了一个新的挑战,Hadoop集群的上限是5000个节点,按照当时数据增长数据的推算,集群存储即将撞墙,但是基于当时的状况,ODPS无法完全替代Hadoop,于是当时启动了一个规模非常庞大...
    文章 2016-10-31 11510浏览量
  • Docker生态会重蹈Hadoop的覆辙吗?

    今晨在微信组中大家讨论了一篇文章,刚好和第三期云栖说《Hadoop是否已经过时》立意相似。不完全认同作者观点,发出共享以及思考。目测微信组从中午一直吵到现在了,果然是理越辩越明。文章来自科技头条微信号,作者...
    文章 2018-12-03 4204浏览量
  • Docker生态会重蹈Hadoop的覆辙吗?

    我们再来回顾看看2010-2013年,大数据的名词火遍大江南北,各行各业都在谈大数据,但是落到技术上就是Hadoop,还记得2012年的时候,和Hadoop没啥毛关系的VMWare也赶紧的做了一个虚机上部署Hadoop的serengeti,谁家...
    文章 2016-12-13 3805浏览量
  • Docker生态会重蹈Hadoop的覆辙吗?

    一、Docker的兴起和Hadoop何其相似 2015年说是Docker之年不为过,Docker热度高涨,IT从业人员要是说自己不知道Docker都不好意说自己是做IT的。2016年开始容器管理、集群调度成为热点,K8s开始成为热点。但这一幕和...
    文章 2017-08-01 2066浏览量
  • 好程序员分享ApacheSpark常见的三大误解

    好程序员分享ApacheSpark常见的三大误解误解一:Spark是一种内存技术 大家对Spark最大的误解就是其是一种内存技术(in-...并且企业可以免费地使用它。大部分企业势必会选择开源的Spark技术,而不是付费的MPP技术
    文章 2019-04-22 3972浏览量
  • 基于Cloudera Manager 5和CDH5(版本5.3.3)的Hadoop...

    由于主机性能较低,数据延迟很大,查询经常无法显示。而且由于此处的磁盘空间不足,所以有很多警告信息。到此安装已全部完成。六、其他问题说明 oozie的web界面的开启: cloudera的文档中有说明配置oozie: 安装这个...
    文章 2017-11-29 1662浏览量
  • java,mysql,hadoop,cdh,hive,spark,ntp,zookeeper,...

    yum install hadoop hadoop-hdfs hadoop-client hadoop-doc hadoop-debuginfo hadoop-hdfs-namenode hadoop-yarn-resourcemanager hadoop-yarn-nodemanager hadoop-hdfs-datanode hadoop-mapreduce hadoop-...
    文章 2016-12-06 1353浏览量
  • 使用Apache Spark和MySQL打造强大的数据分析

    一个有趣的免费数据集是Wikipedia的页数(从2008年启用后到现在,压缩后大于1TB)。这个数据可以下载(压缩空间确定txt文件),在AWS上也是可用的(有限数据集)。数据以小时聚合,包括以下字段: l项目(比如en,fr...
    文章 2017-08-01 2474浏览量
  • 【南京Meetup】苏宁Elastic平台化实践中踩过哪些坑,...

    在一年前四月份时的苏宁,ES没有被普遍使用,版本不统一,计算平台需兼容多版本ES业务自己管理,无专业团队维护,稳定性、性能无法保障,人力和物力方面存在资源浪费现象。所以为了解决这种混乱的状况,我们的目标是...
    文章 2018-07-25 2741浏览量
  • 对话Hadoop之父Doug Cutting|大数据和开源的未来

    Cloudera新启动的一个Apache开源项目叫Apache Kudu,这是一个新型的存储系统,Kudu就正在利用这样一些这样的新硬件技术。道克:现在还有另一个我们在做的项目,内容是基于HDFS和新型硬件结合做系统复制。这种复制...
    文章 2017-05-02 1031浏览量
  • Hadoop到ClickHouse,现代BI系统有哪些问题?...

    2016年我所在的公司启动了战略性创新产品的规划工作,自此我开始将工作重心转到设计并研发一款具备现代化SaaS属性的BI分析类产品上。为了实现人人都是分析师的最终目标,这款BI产品必须至少具备如下特征。一站式:下...
    文章 2020-06-24 1329浏览量
  • 一共81个,开源大数据处理工具汇总(上)

    目前该项目刚启动不久,所以也可以理解为是他们提出的一个分布式流计算(Distributed Stream Computing)的模型。S4的设计目标是: 提供一种简单的编程接口来处理数据流 设计一个可以在普通硬件之上可扩展的高可用...
    文章 2015-10-13 2380浏览量
  • Hadoop集群(第4期)_SecureCRT使用

    上图就是这个软件的启动界面,下面我们就将如何实现该软件实现远程登录我们的Linux系统。3、用密码登录Linux 这小节我们将采用"密码"的方式登录Linux,首先我们做的第一件事儿就是建立"远程会话。有两种途径建立。第...
    文章 2017-12-31 1335浏览量
  • 工欲善其事必先利其器(大数据分析工具集)

    如果数据收集工具无法获取他们需要的数据,许多记者使用Python编写自定义的爬虫。人们喜欢它,因为与英语的相似之处。它使用诸如’if’和’in’这样的词语,你可以很容易地阅读脚本。说明:俺主要用Jupyter或Ipython...
    文章 2017-08-01 1794浏览量
  • 【大数据100分】大数据架构及行业大数据应用(中级教程...

    第二种是基于Hadoop的技术扩展和封装,围绕Hadoop衍生出相关的大数据技术,应对传统关系型数据库较难处理的数据和场景,例如针对非结构化数据的存储和计算等,充分利用Hadoop开源的优势,伴随相关技术的不断进步,其...
    文章 2017-04-03 2281浏览量
  • 阿里云技术研发负责人蒋江伟:9年自主研发撑起世界第...

    同样是在这一年,由NASA(美国国家航空航天局)和Rackspace合作研发的免费云计算操作系统OpenStack项目启动。这推动了数年后全球云计算市场的繁荣,但在行业里也引发了是“用免费的OpenStack”还是“坚持自主研发”...
    文章 2018-07-25 2872浏览量
  • 带你读《Apache Kylin权威指南》之一:Apache Kylin...

    2013年年中,eBay 公司启动了一个大数据项目,其中有一部分内容就是BI on Hadoop的预研。当时,eBay中国卓越中心组建了一支很小的团队,他们在分析和测试了多种开源和商业解决方案后,发现没有一种方案能够完全满足...
    文章 2019-11-07 2369浏览量
  • MongoDB、Hbase、Redis等NoSQL优劣势、应用场景

    在大数据时代,虽然RDBMS很优秀,但是面对快速增长的数据规模和日渐复杂的数据模型,RDBMS渐渐力不从心,无法应对很多数据库处理任务,这时NoSQL凭借易扩展、大数据量和高性能以及灵活的数据模型成功的在数据库领域...
    文章 2018-10-15 5744浏览量
  • Apache HBasecon 峰会来北京了,快来免费报名

    PS:活动结束后,阿里妹会为大家送上此次峰会的干货分享、PPT资料,无法前去现场的童鞋请留意阿里技术公众号哦。峰会时间&地点 8月17日(周五)9:00-18:00 北京市朝阳区鼓楼外大街19号歌华开元大酒店 带你走进...
    文章 2018-07-31 5362浏览量
  • 漫谈阿里大数据

    免费开通大数据服务:https://www.aliyun.com/product/odps 目前人人都在谈大数据,谈DT时代,但是,大数据是什么,每个人都有自己的一个看法,好比盲人摸象,每个都认为自己摸到是真正的大象。我也担心我所看到的,...
    文章 2017-02-23 7086浏览量
  • Cloudera 软件分发管理

    Hadoop 管理员没有安装系统软件包的特权。有了 parcel&xff0c;管理员可以安装到/opt或其他任何地方。注意使用 parcel&xff0c;Cloudera Runtime 库的路径/opt/cloudera/parcels/Cloudera Runtime/lib 不是通常的/usr/...
    文章 2021-11-16 52浏览量
  • Apache Flink 进阶(四):Flink on Yarn/K8s 原理...

    Session 模式下,当 Dispatcher 在收到请求之后,会启动 JobManager(A),让 JobManager(A)来完成启动 TaskManager,接着会启动 JobManager(B)和对应的 TaskManager 的运行。当 A、B 任务运行完成后,资源并不会释放...
    文章 2019-10-14 2740浏览量
  • Hbase基础使用与云Hbase2.0体验

    Hbase作为大数据产品家族的一员,存储底层借助Hadoop的HDFS,能够存储海量数据,同时它和mongoDB一样,也是一款NoSQL产品,但是却有一定的区别,例如列族,RowKey这些概念。下面我们来看看Hbase的架构图 HBase 一种...
    文章 2019-03-20 1485浏览量
  • ​人工智能的底层构架,认识HBase数据模型

    HBase客户端数据请求操作会先写入WAL文件再写入内存仓库MemStore,这样当分区服务器宕机重启的时候,可以用WAL来恢复分区服务器的状态(如MemStore中更新的数据没有刷新到StoreFile持久化,则分区服务器启动时需要...
    文章 2018-11-29 1485浏览量
1 2 3 4 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化