开源大数据平台实施和使用中的难点-阿里云开发者社区

开发者社区> 知与谁同> 正文

开源大数据平台实施和使用中的难点

简介:
+关注继续查看

开源大数据技术是一种新一代技术和构架,它以成本较低、以快速的采集、处理和分析技术,从各种超大规模的数据中提取价值。大数据技术不断涌现和发展,让我们处理海量数据更加容易、更加便宜和迅速,成为分析和挖掘海量数据价值的一个利器,甚至可以改变许多行业的商业模式。

庞大的开源大数据技术体系,使得大数据平台在实施和使用的过程中遇到很多难点,Think Big团队总结了在开源大数据平台设施的整个过程及花费的时间,如下图所示:

开源大数据平台实施的难点

大数据平台的优化和运维

大数据平台的优化和运维应该是开源大数据平台实施的难点、也是构建大数据平台对人员的技术和经验要求最高的阶段,贯穿整个大数据平台实施过程。

大数据平台的数据整合、数据治理和数据湖

对于传统的企业使用大数据平台,数据整合、数据治理和数据湖也是非常重要和比较困难的阶段,全公司不同数据源之间的数据整合面临:数据的一致性、数据的完整性、数据的准确性、数据的安全等问题如何解决,当然还有不同数据(如:冷数据、温数据和热数据)怎么来存放,进而实现高效的数据存储和分析。这些都是我们在大数据实施过程中需要花很多时间和经验来实现的,很多的公司基本上都在直接或间接的使用大数据技术,有可能感觉大数据整合、治理、数据湖没有那么重要,把功能实现了,就觉得把大数据平台用的非常好了,其实不然,就像我上面提到的那张图,功能的实现只占大数据平台实施的一小部分。

大数据平台上面的数据建模

由于大数据平台面临数据的一致性、数据的完整性、数据的准确性等问题所以导致大数据平台上面的建模变得比较困难,此外还有不同行业面临的大数据平台建模问题各不相同。传统行业在大数据上面的建模面临的挑战还是非常多的,有的模型甚至不适合在开源大数据平台上面建模,不要一味的去和互联行业大数据平台上面的应用做比较,因为,互联网的业务比传统的业务模型简单很多。

数据挖掘和算法的实现

大数据平台的数据挖掘技术有Hadoop的Mahout、Spark的Mllib、SparkR等,这个现有的挖掘库存在很多问题,如:分布式计算。对整个团队的人员要求非常的高。

应用开发(类似于传统EDW的BI功能)

类似于在Hadoop上面实现一个传统的EDW的功能,常见用的比较多的就是SQL on Hadoop技术,如:Hive、Impala、Tez、Presto、Kylin、SparkSQL等。

大数据平台的选择和搭建

主要是Apache Hadoop、Hortonworks HDP和Cloudera CDH的选择,Apache Hadoop是纯开源的,Hortonworks HDP是开源Hadoop生态系统的管理,Cloudera CDH是开源Hadoop生态系统的增强。


本文作者:刘刚

来源:51CTO

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
开源大数据周刊-第10期
云上Hadoop之最佳实践
2072 0
【最佳实践】OSS开源工具ossutil-上传性能调优
经常碰到内部同学或者外部客户问ossutil关于并发上传性能的问题。本文简单描述下ossutil并发上传原理并举例说明。 用户可从这里获取ossutil。 官网:https://help.aliyun.com/document_detail/50452.html代码:https://github.com/aliyun/ossutil 参数 --recursive 上传文件到oss时,如果file_url为目录,则必须指定--recursive选项,否则无需指定--recursive选项。
5662 0
intellij idea搭建ssh开发框架之绑定数据源
原文: intellij idea搭建ssh开发框架之绑定数据源 在intellij idea中绑定数据源并生成hibernate实体对象。
1260 0
开源大数据周刊-第76期
本期周刊包括开源大数据核心组件Hadoop和Impala的最新消息,以及HBase、Kafka、TensorFlow等主流开源组件的实践分享和技术实现,还有来自京东推荐部门的推荐系统演进史,纯干货分享。
2973 0
开源库Magicodes.ECharts使用教程
目录 1    概要    2 2    Magicodes.ECharts工作原理    3 2.1    架构说明    3 2.1.1    Axis    4 2.1.2    CommonDefinitions    4 2.
1449 0
+关注
10077
文章
2994
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载