Spark AI基本概念

时隔这么多年，已集合软件工程之大成（也有很多未涉及的），我们重新回归Spark 这次我们研究Spark AI技术。
那么什么AI？（千问给的答案）
人工智能（Artificial Intelligence，简称AI）并非单一的技术，而是一门通过计算机模拟、延伸和拓展人类智能的综合性技术体系16。它融合了数学、计算机科学、神经科学等多学科知识，旨在让机器具备学习、推理、感知和决策等能力，从而完成通常需要人类智慧才能完成的复杂任务。

那么Apache Spark AI组件技术有哪些？
1.MLIB：端到端的大规模机器学习流水线
2.深度学习框架集成：打破数据与计算的壁垒
3.Spark NLP：工业级自然语言处理
4.底层架构支撑：AI任务的高效执行基座。

• • 

  我们可以从上图看到，Spark的核心组件包括 Spark SQL、Spark Streaming、MLib、GraphX 以及 核心 Apache Spark Core。我之前博客中写的有关于Spark SQL、Spark Streaming、Spark Core的运行机制，以及下面的YARN集群、HDFS相关的经验沉淀。

  这是个开端，我们这次主攻 Spark AI的新模块。明天见朋友们~