Hadoop创始人寄语2017:五种让开源项目成功的方法

简介:

搭建一个开源平台,组织就能利用云供应商套利来降低成本

由于Doug Cutting和Apache软件基金会有多年的合作关系,于是经常被问到“什么是开源技术的未来?”。Doug的回应一般要么是“我不知道”,要么是“有无穷的可能性”。

在过去的一年中,我们已经看到开源技术强势的发展成了企业的技术主流。谁会想到十年前Doug在Hadoop所做的工作会影响到那么多的行业,从制造到电信,再到金融等等。它们都掌握了开源生态系统的力量,不仅改善了客户的体验,变得有创新性并获得了利润增长,而且支持对社会有更大利益的工作,比如通过基因组研究、精密医学等项目来阻止人口贩卖,这仅仅是一小部分例子。

有人会很好奇如何开始着手进行开源工作,以及从不断变化的生态系统里期望能得到什么,下面Doug列出5个小贴士:

1. 拥抱开源的不断改变和演进

不断地变化,这是每一个刚接触开源技术的人需要学习的第一课,也是开源有别于传统软件的最大不同之处。开源的本质是易变、灵活,它的新项目常常起源于一些特别的用例。这种动态的循环促使产品变得更好、更快。因此,公司如果想从开源获得完全的好处,他们必须对技术转变保持开放的心态。Spark和MapReduce的辩论就完美的体现了这点的重要性:

事实上,人们在构建新的应用时,MapReduce用得越来越少,而Spark成为他们默认的数据处理引擎。MapReduce正逐渐成为Hive、Pig的底层引擎,这并不意味着它过时了。它还会为现存应用很好地工作很多年,而且对某些大规模批量加载来说仍然是卓越的工具。这一趋势遵循开源技术的自然演进:MapReduce是开源数据生态系统的1.0引擎,Spark是2.0,而某一天会出现3.0让Spark成为历史。

2. 当引入一个新技术栈时,从小开始、由上而下

先不去考虑要构建、部署什么样的解决方案,我们现在有了很多通用数据平台和很多工具,它们能灵活地组合在一起去做搜索、流处理、机器学习还有更多事情。这些工作需要的不仅仅是一套不同的技能,而且还需要管理方式、组织结构等在文化上的转变。为此,重要的是要获得组织内高层的支持,并让数据管理列入董事会层面的一项重点议题。同时,建议拿一些新的应用来逐步建立一个新文化,而不是要取代所有的一切,这样可以让大家通过一个个具体的用例来适应这个变化。

3. 仔细挑选开源软件以避免云供应商捆绑

随着使用云计算的企业组织和产业越来越多,应该考虑到开源软件不仅会带来越来越好的健壮性、可扩展性和安全性,而且也可以帮助他们避免被云供应商捆绑。通过开源平台的构建,组织可以采用云供应商套利以降低成本,可以使用不同地域的不同云,或者基于云和内部部署的混合方式。事实上,开源平台已经证明了自己的技术优越性,2017年也许会取得更多的落地。大量的机构通过开源项目进行合作,单一的供应商要去竞争是很困难的。例如,现在那些开源数据系统在性能和灵活性上就处于领先地位,并且改进得更加迅速。

4. 对求职者来说,开源生态环境里要关注森林,而不是树木

IT领域的求职者,不管是编程还是数据科学,不应该仅仅专注于掌握个别技术,而应该关注理解开源数据生态系统各个组成部分的最佳利用,以及如何把它们连接起来解决问题。这种上层建筑的理解是企业在技术创新中最有价值的技能。随着新技术的到来,至关重要的是了解它们的适应力如何、它们能取代什么、它们能做到什么。

5. 在技能缺口中寻找机会

大数据的技能缺口将在明年保持相对稳定,但这不应该成为人们采用Hadoop以及其它开源技术的阻碍。大多数人都知道,当新的技术被创造出来并争夺用户时,它们对外界而言是很陌生的。只有当一个特定类型的软件成为某个规范的成熟而标准的一部分,才会开始出现大量熟练使用它的人,而即使如此仍然会存在技能缺口。只有当我们不再对技术栈做大的改进时,才会消除这种缺口,不过Doug不认为我们会希望这样做。简而言之,技能缺口是影响平台变革速度的主要因素之一,也是即将来临的创新的标志。

结论

在未来的几年内,开源生态系统将继续扩大,也会不断地在有实际意义的项目里实施。它汇聚了今天最聪明的头脑,在通力合作下,以十年前不可能的速度推进软件开发。如果你想改善现有技术,或者想支持打破传统的观念,可以加入这里。Doug鼓励每个人都有兴趣参与进来,也鼓励经验丰富的人因为这个原因继续坚持下去。点击这里可以了解更多如何加入ASF社区的信息。


本文作者:佚名

来源:51CTO

相关文章
|
4月前
|
SQL 分布式计算 数据可视化
基于Hadoop的大数据可视化方法
【8月更文第28天】在大数据时代,有效地处理和分析海量数据对于企业来说至关重要。Hadoop作为一个强大的分布式数据处理框架,能够处理PB级别的数据量。然而,仅仅完成数据处理还不够,还需要将这些数据转化为易于理解的信息,这就是数据可视化的重要性所在。本文将详细介绍如何使用Hadoop处理后的数据进行有效的可视化分析,并会涉及一些流行的可视化工具如Tableau、Qlik等。
146 0
|
5月前
|
存储 分布式计算 资源调度
hadoop确认格式化的方法
【7月更文挑战第21天】
94 5
|
SQL 分布式计算 关系型数据库
Spark SQL CLI部署CentOS分布式集群Hadoop上方法
Spark SQL CLI部署CentOS分布式集群Hadoop上方法
220 0
Spark SQL CLI部署CentOS分布式集群Hadoop上方法
|
分布式计算 算法 网络协议
Hadoop安装Hbase启动失败报错解决方法
Hadoop安装Hbase启动失败报错解决方法
1421 0
Hadoop安装Hbase启动失败报错解决方法
|
存储 资源调度 分布式计算
Hadoop集群启动和停止方法
Hadoop集群启动和停止方法
481 0
|
存储 SQL 人工智能
Hadoop创始人聊数字化变革:性能和成本不再是唯二的考虑因素
Hadoop创始人聊数字化变革:性能和成本不再是唯二的考虑因素
192 0
|
大数据 分布式数据库 Hbase
大数据_学习_01_Hadoop 2.x及hbase常用端口及查看方法
    二、参考资料 1.Hadoop 2.x常用端口及查看方法
1240 0
|
分布式计算 Java Hadoop
|
分布式计算 Linux 网络安全
Hadoop集群最迅速的配置免密码登陆方法
1:多台机器互相免密登陆的思路(默认你的linux操作系统已经安装好ssh): 第一步:在各自的机器上面生成密钥:   在第1台机器上生产一对钥匙: ssh-keygen -t rsa   在第2台机器上生产一对钥匙: ssh-keygen -t rsa   在第3台机器上生产一对钥匙: ssh-keygen -t rsa   .
1262 0
|
分布式计算 Hadoop 测试技术