Apache Spark系列技术直播--第四讲 机器学习介绍与Spark MLlib实践
直播时间：2018.12.06 19:00 - 20:00
主讲人：江宇(燕回) 阿里巴巴计算平台EMR技术专家
内容提要：本次讲座主要面对的是机器学习的入门者，以及想要使用Spark来进行机器学习的用户。我们会介绍一下机器学习相关领域的基础知识，以及机器学习在spark上面的实践，同时给出我们的一些使用建议。
加入Apache Spark中国技术交流钉钉群看直播
#Apache Spark系列技术直播# 第四讲 【 机器学习介绍与Spark MLlib实践 】
2018-12-06
1910
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
Apache Spark系列技术直播--第四讲 机器学习介绍与Spark MLlib实践
直播时间：2018.12.06 19:00 - 20:00
主讲人：江宇(燕回) 阿里巴巴计算平台EMR技术专家
内容提要：本次讲座主要面对的是机器学习的入门者，以及想要使用Spark来进行机器学习的用户。
目录
相关文章
|
2月前
|
机器学习/深度学习
人工智能
自然语言处理
人工智能与机器学习：探索未来的技术边界
【10月更文挑战第18天】 在这篇文章中，我们将深入探讨人工智能（AI）和机器学习（ML）的基础知识、应用领域以及未来趋势。通过对比分析，我们将揭示这些技术如何改变我们的生活和工作方式，并预测它们在未来可能带来的影响。文章旨在为读者提供一个全面而深入的理解，帮助他们更好地把握这一领域的发展趋势。
57
0
0
|
8天前
|
机器学习/深度学习
传感器
运维
使用机器学习技术进行时间序列缺失数据填充：基础方法与入门案例
本文探讨了时间序列分析中数据缺失的问题，并通过实际案例展示了如何利用机器学习技术进行缺失值补充。文章构建了一个模拟的能源生产数据集，采用线性回归和决策树回归两种方法进行缺失值补充，并从统计特征、自相关性、趋势和季节性等多个维度进行了详细评估。结果显示，决策树方法在处理复杂非线性模式和保持数据局部特征方面表现更佳，而线性回归方法则适用于简单的线性趋势数据。文章最后总结了两种方法的优劣，并给出了实际应用建议。
34
7
8
|
9天前
|
编解码
机器人
测试技术
技术实践 | 使用 PAI+LLaMA Factory 微调 Qwen2-VL 模型快速搭建专业领域知识问答机器人
Qwen2-VL是一款具备高级图像和视频理解能力的多模态模型，支持多种语言，适用于多模态应用开发。通过PAI和LLaMA Factory框架，用户可以轻松微调Qwen2-VL模型，快速构建文旅领域的知识问答机器人。本教程详细介绍了从模型部署、微调到对话测试的全过程，帮助开发者高效实现定制化多模态应用。
125
13
13
|
25天前
|
机器学习/深度学习
Python
机器学习中模型选择和优化的关键技术——交叉验证与网格搜索
本文深入探讨了机器学习中模型选择和优化的关键技术——交叉验证与网格搜索。介绍了K折交叉验证、留一交叉验证等方法，以及网格搜索的原理和步骤，展示了如何结合两者在Python中实现模型参数的优化，并强调了使用时需注意的计算成本、过拟合风险等问题。
46
6
6
|
27天前
|
机器学习/深度学习
搜索推荐
算法
在数字化时代，推荐系统成为互联网应用的重要组成部分，通过机器学习技术根据用户兴趣和行为提供个性化推荐，提升用户体验
在数字化时代，推荐系统成为互联网应用的重要组成部分，通过机器学习技术根据用户兴趣和行为提供个性化推荐，提升用户体验。本文探讨了推荐系统的基本原理、常用算法、实现步骤及Python应用，介绍了如何克服数据稀疏性、冷启动等问题，强调了合理选择算法和持续优化的重要性。
65
4
4
|
1月前
|
机器学习/深度学习
自然语言处理
语音技术
探索机器学习中的自然语言处理技术
【10月更文挑战第38天】在本文中，我们将深入探讨自然语言处理（NLP）技术及其在机器学习领域的应用。通过浅显易懂的语言和生动的比喻，我们将揭示NLP技术的奥秘，包括其工作原理、主要任务以及面临的挑战。此外，我们还将分享一些实用的代码示例，帮助您更好地理解和掌握这一技术。无论您是初学者还是有经验的开发者，相信您都能从本文中获得宝贵的知识和启示。
38
3
3
|
1月前
|
机器学习/深度学习
人工智能
自然语言处理
思通数科AI平台在尽职调查中的技术解析与应用
思通数科AI多模态能力平台结合OCR、NLP和深度学习技术，为IPO尽职调查、融资等重要交易环节提供智能化解决方案。平台自动识别、提取并分类海量文档，实现高效数据核验与合规性检查，显著提升审查速度和精准度，同时保障敏感信息管理和数据安全。
109
11
11
|
27天前
|
机器学习/深度学习
数据可视化
算法
|
2月前
|
分布式计算
大数据
Apache
利用.NET进行大数据处理：Apache Spark与.NET for Apache Spark
【10月更文挑战第15天】随着大数据成为企业决策和技术创新的关键驱动力，Apache Spark作为高效的大数据处理引擎，广受青睐。然而，.NET开发者面临使用Spark的门槛。本文介绍.NET for Apache Spark，展示如何通过C#和F#等.NET语言，结合Spark的强大功能进行大数据处理，简化开发流程并提升效率。示例代码演示了读取CSV文件及统计分析的基本操作，突显了.NET for Apache Spark的易用性和强大功能。
56
1
1
|
3月前
|
机器学习/深度学习
数据可视化
JavaScript
探索机器学习模型的可视化技术
【9月更文挑战第23天】在数据科学中，理解和解释机器学习模型的决策过程是至关重要的。本文将介绍几种流行的可视化工具和库，如TensorBoard、D3.js等，帮助读者更好地理解模型内部工作原理及其预测结果。通过实例演示如何使用这些工具进行模型可视化，增强模型的可解释性。
75
3
3
热门文章
最新文章
1
阿里封神谈hadoop生态学习之路
2
现代流式计算的基石：Google DataFlow
3
Spark in action on Kubernetes - Playground搭建与架构浅析
4
梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
5
基于Alluxio系统的Spark DataFrame高效存储管理技术
6
首次揭秘|为6.4亿人次出行提供无线网络的技术架构
7
助力云上开源生态 - 阿里云开源大数据平台的发展
8
Flume NG 简介及配置实战
9
HAS-插件式Kerberos认证框架
10
开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake
1
有奖实践，基于EMR StarRocks实现游戏玩家画像和行为分析
64
2
基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
359
3
【赵渝强老师】部署Hadoop的本地模式
46
4
EMR Serverless Spark：一站式全托管湖仓分析利器
170
5
降本60% ，阿里云 EMR StarRocks 全新发布存算分离版本
378
6
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
143
7
从数据积累到大模型的智能飞跃，你准备好了吗？
138
8
DB-GPT v0.6.0 版本更新，发布六大核心新特性！
151
9
云栖实录 | 阿里云 OpenLake 解决方案重磅发布：多模态数据统一纳管、引擎平权联合计算、数据共享统一读写
343
10
阿里云 EMR Serverless Spark 版正式开启商业化
170