极客时间架构师训练营 - week13 - 作业 2

简介: 极客时间架构师训练营 - week13 - 作业 2

根据当周学习情况,完成一篇学习总结

本周课程主要讲解的是近年来比较火热的技术与应用实践,包括 Spark,流计算与机器学习等。这次课程所涉及的领域都是时下比较火热的,相对而言要“高大上”的技术,正是有了这些技术,才有了我们当下日益智能化的生活。第一次课主要讲解的内容包括 Spark, Spark Streaming, Flink, Impala 等。Spark 是优化了 Hadoop 的 MapReduce 计算过程,而流计算本质上则是一段较短时间窗口内的批计算。按我个人的理解,这些大数据的架构,主要是去体会其设计,学习的重点是理解其思想,这才是架构师要注重把握的。这样未来在设计自己的系统的时候,也会有借鉴的意义。前一阵子我们组调研了定时任务框架,最终选择的 PowerJob,也有借鉴这些框架的思想,将分布式任务进行 MapReduce 划分,由 Server 通过指定的配置方式分发给各个 Worker。我想他们这些作者,正是在前人的基础之上,才有如此优秀的作品。答疑阶段,有关技术发展趋势的判断,老师强调说我们每个人要有自己的思想,多动脑,多总结。想必这也是每个大佬成长路上所必不可少的。

第二次课程里主要讲解了机器学习相关的知识。老师强调架构师的知识面必要要广,作为系统的核心把控者,有必要了解系统的方方面面的知识。非自己所在的专业领域也需要有所涉猎,一方面可以更好地与其他部门的同事合作,与其他人交流,另外一方面,可以宏观把握整个系统。


目录
相关文章
|
3天前
|
机器学习/深度学习 算法 安全
隐私计算训练营第三讲-详解隐私计算的架构和技术要点
SecretFlow 是一个隐私保护的统一框架,用于数据分析和机器学习,支持MPC、HE、TEE等隐私计算技术。它提供设备抽象、计算图表示和基于图的ML/DL能力,适应数据水平、垂直和混合分割场景。产品层包括SecretPad(快速体验核心能力)和SecretNote(开发工具)。算法层涉及PSI、PIR、数据分析和联邦学习(水平、垂直、混合)。此外,SecretFlow还有YACL密码库和Kusica任务调度框架,Kusica提供轻量化部署、跨域通信和统一API接口。
83 0
|
8月前
|
消息中间件 缓存 NoSQL
|
9月前
|
消息中间件 存储 关系型数据库
极客时间架构实战营作业八
极客时间架构实战营作业八
117 0
|
9月前
|
消息中间件 Java 中间件
极客时间架构实战营作业六
极客时间架构实战营作业六
73 0
|
9月前
|
运维 关系型数据库 MySQL
极客时间架构实战营作业三
极客时间架构实战营作业三
100 0
|
9月前
|
SQL 分布式计算 架构师
极客时间架构师训练营 - week12 - 作业 2
极客时间架构师训练营 - week12 - 作业 2
75 0
|
7月前
|
资源调度 分布式计算 调度
Fink--3、Flink运行时架构(并行度、算子链、任务槽、作业提交流程)
Fink--3、Flink运行时架构(并行度、算子链、任务槽、作业提交流程)
|
9月前
|
容灾 网络协议
极客时间架构实战营模块 7 作业
极客时间架构实战营模块 7 作业
59 0
|
9月前
|
存储 缓存 负载均衡
极客时间架构实战营作业五
极客时间架构实战营作业五
91 0
|
9月前
|
存储 JSON NoSQL
极客时间架构实战营作业四
极客时间架构实战营作业四
78 0