拥抱新技术的一点思考 & 对大数据处理的一点思考

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 无论是github上还是Apache基金会,每过一段时间都会有一些非常优秀的项目出现。如何在较短的时间内比较好的学习和把握住新项目的精髓及要点呢?

拥抱新技术的一点思考

末经本人同意,严禁转载,徽沪一郎。

概要

无论是github上还是Apache基金会,每过一段时间都会有一些非常优秀的项目出现。如何在较短的时间内比较好的学习和把握住新项目的精髓及要点呢?

就这个问题,本人做了些微的总结,主要集中于较短时间内会使用该项目,会进行相关的应用编程,能够结合实际情况进行系统调优。

https://yq.aliyun.com/attachment/download

对大数据处理的一点思考

概要

2014大部分的时间都花在了Spark这一大数据领域的热点技术上,并由此离开工作多年的电信领域转入到大数据分析行业,作为一名分析领域的新军有必要对自己一年中接触到的新内容作相应的梳理。

大数据处理

大数据处理的理解可以分成这几个层次:

  1. 数据处理
    1. 处理的种类有哪些
    2. 如何将处理落实到计算上
  2. 大数据的处理
    1. 处理的种类有哪些
    2. 如何将处理落实到计算

上面这样一列,你可能会觉着一样的啊,没区别啊,除了一个字以外,一切似乎都一样的。粗看确实如此,从目前大数据领域的实践来看,分析需求层面几乎和原有的没有太大的区别。

当然目前还有一个很火很牛逼的新兴领域叫机器学习,这玩意究竟能带来什么实际的改变,还有待时间的进一步验证。

如果换个角度来看大数据处理,就需要从需求和实现两个方面来分析,看看需求领域有哪些内容,这些需求又是如何通过哪些技术来实现的。

为此我整理了一份思维导图,也算是个人的一种理解吧。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
存储 分布式计算 Kubernetes
“后 Hadoop 时代”,大数据从业者如何应对新技术趋势带来的挑战?
对于大数据从业者们来说,开源大数据项目热力迁徙背后的技术发展逻辑及如何应对新技术趋势带来的挑战?刘京娟、贾扬清、王峰在此解读。
“后 Hadoop 时代”,大数据从业者如何应对新技术趋势带来的挑战?
婺亿信息边秀武:气象行业最缺新技术,AI和大数据是行业发展加速器
未来5年时间内,气象AI服务行业将会迎来一次小爆发。
929 0
|
2月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
74 0

热门文章

最新文章