时隔这么多年,已集合软件工程之大成(也有很多未涉及的),我们重新回归Spark 这次我们研究Spark AI技术。
那么什么AI?(千问给的答案)
人工智能(Artificial Intelligence,简称AI)并非单一的技术,而是一门通过计算机模拟、延伸和拓展人类智能的综合性技术体系16。它融合了数学、计算机科学、神经科学等多学科知识,旨在让机器具备学习、推理、感知和决策等能力,从而完成通常需要人类智慧才能完成的复杂任务。
那么Apache Spark AI组件技术有哪些?
1.MLIB:端到端的大规模机器学习流水线
2.深度学习框架集成:打破数据与计算的壁垒
3.Spark NLP:工业级自然语言处理
4.底层架构支撑:AI任务的高效执行基座。
-
我们可以从上图看到,Spark的核心组件包括 Spark SQL、Spark Streaming、MLib、GraphX 以及 核心 Apache Spark Core。我之前博客中写的有关于Spark SQL、Spark Streaming、Spark Core的运行机制,以及下面的YARN集群、HDFS相关的经验沉淀。
这是个开端,我们这次主攻 Spark AI的新模块。明天见朋友们~
