2013年北京hadoop in china见闻

本文涉及的产品
EMR Serverless Spark 免费试用,1000 CU*H 有效期3个月
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: 谈下这次参加中国hadoop技术峰会的收获,两天大约听了20场次,上午的是必听的,下午就听了一些关心。大数据峰会肯定是包括技术和技术之上的应用的。各个公司结合自己的业务特点来构建集群,特别听到了电信和银行类的公司在用hadoop或者尝试去用。应用的情况简单的出出报表,复杂点可能会涉及到一些机器学习和

谈下这次参加中国hadoop技术峰会的收获,两天大约听了20场次,上午的是必听的,下午就听了一些关心。大数据峰会肯定是包括技术和技术之上的应用的。各个公司结合自己的业务特点来构建集群,特别听到了电信和银行类的公司在用hadoop或者尝试去用。应用的情况简单的出出报表,复杂点可能会涉及到一些机器学习和深度挖掘。

非技术的来看,本次大会传递的信息有:

  • 银行、电信也在用hadoop
  • hadoop生态圈依然是大数据相关技术的首选
  • 国内很多大小公司正在使用hadoop
  • 因为开源,所以繁荣

技术来看,本次大会传递的信息有:

  • YARN将是下一代hadoop平台,多种计算模型即将随YARN一起整合资源。
  • 硬件结合hadoop来提升性能。
  • 可以尝试在虚拟机上做YARN,如EMR。
  • 准实时的时代即将到来,也可以说spark等基于内存的分布式时代即将到来。
    数据的收集、交换、存储、计算 (分析)、管理及监控等共同构成了大数据的技术生态圈。基本每个公司都会涉及到其中的方方面面,小的公司可能比较简单直接用社区的版本去做,大点的就直接成立相关的团队专门研发相关的工具及维护相当大的集群。

目前,其中计算之上的分析能带来实际的价值,技术一般包括:实时计算、图计算、流式计算、机器学习相关、数据挖掘相关。这些实际应用于广告、个性化推荐、搜索、社交图谱及基于特定行业的多维分析等等。

说说BAT吧,百度没有人来讲,比较可惜。腾讯走corona+CDH,随后也将考虑YARN的方案。阿里分享了跨机房方案,这可不是2T直接换4T所能解决的,计算层面阿里也将走YARN的方案。目前阿里和腾讯都有团队在走社区的方案。
不能说小公司就没有大数据,适合自己的业务系统的才是最合适的。如用YARN,小公司可以直接用,对于阿里就有很大的历史包袱。

如果想学习大数据特别是hadoop,把分布式的理论弄清楚,实际部署这些分布式的软件,多看看源码,多关注业界的动态。

最后比较感谢 Hadoop中国技术峰会 提供这样的学习交流机会。不过 纠结的是 还有一场是CSDN办理的。
其他具体的可以参考:http://www.it168.com/redian/Hadoop2013/

目录
相关文章
|
分布式计算 Hadoop 大数据
2016年北京hadoop in china见闻
笔者有幸参加了今年在北京主办的hadoop in china,在与会中有不少的感受与大家分享。今年的议题是假设参加会议的同学有一定的基础,没有过多的去介绍基础的内容,比如,没有人说hadoop是啥了,单刀直入,趋势、产品、新技术。大数据改变人类的未来,正在渗透到每个行业中,甚至是人的基因分析。
3346 0
|
分布式计算 Hadoop 云计算
2015年上海hadoop in china见闻
市场在发生剧烈的变化,未来10年后的大公司有可能就是现在的小公司。技术也正在发生快速的变革,未来,谁说得好呢?!
2047 0
|
SQL 分布式计算 Hadoop
2015年上海hadoop in china见闻
今天过来参加《china hadoop summit》,听了不少的场次。从技术栈上分类,大致为了 硬件、linux等基础软件、hadoop生态圈、分析与应用。我目前主要关注底层的软件技术,主要听了sql on hadoop及hadoop系统架构两个分会场的一些内容。
1965 0
|
7月前
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
292 79
|
12月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
442 6
|
12月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
234 2
|
10月前
|
存储 分布式计算 大数据
Flume+Hadoop:打造你的大数据处理流水线
本文介绍了如何使用Apache Flume采集日志数据并上传至Hadoop分布式文件系统(HDFS)。Flume是一个高可用、可靠的分布式系统,适用于大规模日志数据的采集和传输。文章详细描述了Flume的安装、配置及启动过程,并通过具体示例展示了如何将本地日志数据实时传输到HDFS中。同时,还提供了验证步骤,确保数据成功上传。最后,补充说明了使用文件模式作为channel以避免数据丢失的方法。
419 4
|
11月前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
454 2
|
11月前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
400 1
|
12月前
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
250 5