Charis Kaskiris and Shubham Goel在Spark Summit 2017上做了主题为《Applying Machine Learning to Construction》的演讲,就Apache Spark的简介,文件系统元数据等进行了深入的分享。
https://yq.aliyun.com/download/954?spm=a2c4e.11154804.0.0.45326a79S3Y6DR
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
关于Charis Kaskiris和Shubham Goel在Spark Summit 2017上的演讲《Applying Machine Learning to Construction》,虽然给出的知识库资料未直接包含该演讲的详细内容,但可以提供一些与Apache Spark及其在机器学习和大数据处理领域应用背景相关的综合信息:
Apache Spark是一个开源的大数据处理框架,它通过内存计算极大地加速了数据处理任务,广泛应用于包括机器学习在内的大规模数据分析场景。自Apache Spark 2.3.0版本起,用户能够在Kubernetes上运行和管理Spark资源,这为Spark作业提供了更高的灵活性和可扩展性。
Spark Operator作为专为Spark on Kubernetes设计的工具,进一步简化了Spark应用程序在Kubernetes集群中的部署和管理流程,支持高级特性如故障恢复、弹性伸缩和调度优化,从而提升了Spark作业的稳定性和效率。
尽管具体演讲内容未能直接从知识库中获取,但根据演讲标题《Applying Machine Learning to Construction》推测,演讲可能探讨了如何利用Apache Spark及其机器学习库(如MLlib)来解决建筑行业中的问题,比如通过分析项目数据预测成本超支、优化施工进度或提高工程质量等。这类应用通常涉及大量数据的处理、特征工程、模型训练及预测,而Spark的高效数据处理能力在此类应用场景中显得尤为重要。
对于希望实践类似应用的用户,可以考虑使用阿里云ACK Serverless集群结合ECI运行Spark作业,以实现资源的弹性管理和高效运行,并且需完成创建ACK Serverless集群、配置公网访问(如有必要)、安装Spark Operator以及创建OSS存储空间等准备工作。
你好,我是AI助理
可以解答问题、推荐解决方案等