《Spark机器学习》读书笔记总结
2016-12-27
3752
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
[Spark机器学习](http://book.douban.com/subject/26593179/)
[《Machine Learning with Spark》书评与作者访谈](
目录
相关文章
|
6月前
|
机器学习/深度学习
分布式计算
算法
|
6月前
|
机器学习/深度学习
数据采集
分布式计算
【机器学习】Spark ML 对数据进行规范化预处理 StandardScaler 与向量拆分
标准化Scaler是数据预处理技术，用于将特征值映射到均值0、方差1的标准正态分布，以消除不同尺度特征的影响，提升模型稳定性和精度。Spark ML中的StandardScaler实现此功能，通过`.setInputCol`、`.setOutputCol`等方法配置并应用到DataFrame数据。示例展示了如何在Spark中使用StandardScaler进行数据规范化，包括创建SparkSession，构建DataFrame，使用VectorAssembler和StandardScaler，以及将向量拆分为列。规范化有助于降低特征重要性，提高模型训练速度和计算效率。
123
6
6
|
6月前
|
机器学习/深度学习
分布式计算
算法
【机器学习】Spark ML 对数据特征进行 One-Hot 编码
One-Hot 编码是机器学习中将离散特征转换为数值表示的方法，每个取值映射为一个二进制向量，常用于避免特征间大小关系影响模型。Spark ML 提供 OneHotEncoder 进行编码，输入输出列可通过 `inputCol` 和 `outputCol` 参数设置。在示例中，先用 StringIndexer 对类别特征编码，再用 OneHotEncoder 转换，最后展示编码结果。注意 One-Hot 编码可能导致高维问题，可结合实际情况选择编码方式。
80
6
6
|
5月前
|
机器学习/深度学习
分布式计算
API
|
6月前
|
机器学习/深度学习
分布式计算
算法
|
6月前
|
机器学习/深度学习
分布式计算
算法
|
6月前
|
机器学习/深度学习
人工智能
分布式计算
|
6月前
|
机器学习/深度学习
分布式计算
搜索推荐
|
6月前
|
机器学习/深度学习
分布式计算
前端开发
【大数据技术】Spark MLlib机器学习线性回归、逻辑回归预测胃癌是否转移实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习线性回归、逻辑回归预测胃癌是否转移实战（附源码和数据集）
79
0
0
|
6月前
|
机器学习/深度学习
存储
搜索推荐
利用机器学习算法改善电商推荐系统的效率
电商行业日益竞争激烈，提升用户体验成为关键。本文将探讨如何利用机器学习算法优化电商推荐系统，通过分析用户行为数据和商品信息，实现个性化推荐，从而提高推荐效率和准确性。
239
14
14
热门文章
最新文章
1
更轻松、高效、经济的LLaMA训练——开源大模型训练框架Megatron-LLaMA
2
在PyTorch中使用DistributedDataParallel进行多GPU分布式模型训练
3
【机器学习】近邻类模型：KNN算法在数据科学中的实践与探索
4
机器学习的伦理问题与社会影响
5
超参数优化：提升机器学习模型性能
6
【机器学习】普通最小二乘法和ridge回归有什么区别？
7
论文介绍：机器学习中数据集规模增长的极限分析
8
Sklearn、TensorFlow 与 Keras 机器学习实用指南第三版（一）（4）
9
玩ST、肿瘤研究的来学习一下！16分Nature子刊的单细胞空间转录组+机器学习
10
深度学习实践篇 第四章：模型训练与示例
1
EMR Serverless Spark服务最佳实践测评
139
2
E-MapReduce Serverless Spark体验评测
305
3
EMR Serverless Spark服务和EMR Serverless StarRocks服务的比较
108
4
Spark快速大数据分析PDF下载读书分享推荐
174
5
全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
23714
6
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
150
7
大数据平台之Spark
118
8
数据处理的艺术：EMR Serverless Spark实践及应用体验
14780
9
DataWorks产品使用合集之ODPS Spark找不到自己的stdout，该如何解决
54
10
DataWorks产品使用合集之spark任务如何跨空间取表数据
42