根据当周学习情况,完成一篇学习总结
本周课程主要讲解的是近年来比较火热的技术与应用实践,包括 Spark,流计算与机器学习等。这次课程所涉及的领域都是时下比较火热的,相对而言要“高大上”的技术,正是有了这些技术,才有了我们当下日益智能化的生活。第一次课主要讲解的内容包括 Spark, Spark Streaming, Flink, Impala 等。Spark 是优化了 Hadoop 的 MapReduce 计算过程,而流计算本质上则是一段较短时间窗口内的批计算。按我个人的理解,这些大数据的架构,主要是去体会其设计,学习的重点是理解其思想,这才是架构师要注重把握的。这样未来在设计自己的系统的时候,也会有借鉴的意义。前一阵子我们组调研了定时任务框架,最终选择的 PowerJob,也有借鉴这些框架的思想,将分布式任务进行 MapReduce 划分,由 Server 通过指定的配置方式分发给各个 Worker。我想他们这些作者,正是在前人的基础之上,才有如此优秀的作品。答疑阶段,有关技术发展趋势的判断,老师强调说我们每个人要有自己的思想,多动脑,多总结。想必这也是每个大佬成长路上所必不可少的。
第二次课程里主要讲解了机器学习相关的知识。老师强调架构师的知识面必要要广,作为系统的核心把控者,有必要了解系统的方方面面的知识。非自己所在的专业领域也需要有所涉猎,一方面可以更好地与其他部门的同事合作,与其他人交流,另外一方面,可以宏观把握整个系统。