AI 助理
文档备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

# Apache Spark系列技术直播# 第四讲 【 机器学习介绍与Spark MLlib实践 】

2018-12-07 2073
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 主讲人：江宇(燕回) 阿里巴巴计算平台EMR技术专家 直播时间：2018.12.06 19:00 - 20:00 内容提要：本次讲座主要面对的是机器学习的入门者，以及想要使用Spark来进行机器学习的用户。

主讲人：江宇(燕回) 阿里巴巴计算平台EMR技术专家

直播时间：2018.12.06 19:00 - 20:00

内容提要：本次讲座主要面对的是机器学习的入门者，以及想要使用Spark来进行机器学习的用户。我们会介绍一下机器学习相关领域的基础知识，以及机器学习在spark上面的实践，同时给出我们的一些使用建议。

_2018_12_06_8_54_10

视频分享：https://yq.aliyun.com/live/693
ppt分享：https://yq.aliyun.com/download/3129

欢迎扫码进群共同交流：

_2018_12_05_4_48_20_meitu_1

文章标签：
开源大数据平台 E-MapReduce
Apache
分布式计算
Spark
机器学习/深度学习
关键词：
Apache实践
Apache技术
人工智能平台 PAI实践
人工智能平台 PAI技术
apache spark技术
社区小助手
目录
相关文章
Echo_Wish
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
Echo_Wish
759 79
阿里云大数据
|
机器学习/深度学习 分布式计算 大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈，微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark，微财突破了单机训练使用的数据规模瓶颈，大幅提升了训练效率，解决了存算分离架构下 Shuffle 稳定性和性能困扰，为智能风控等业务提供了强有力的技术支撑。
阿里云大数据
761 15
土木林森
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代，数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件，通过HDFS存储数据和Spark进行高效计算，实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践，包括数据存储、处理、安全和可视化等方面，展示了它们在实际应用中的协同效应。
土木林森
753 2
土木林森
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用，通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理，确保高可靠性和容错性；Spark则凭借其高性能和丰富的API，进行深度分析和机器学习，实现高效的批处理和实时处理。
土木林森
675 1
张飞的猪
|
分布式计算 大数据 Spark
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
《Spark大数据处理：技术、应用与性能优化》深入浅出介绍Spark核心，涵盖部署、实战与性能调优，适合初学者。作者基于微软和IBM经验，解析Spark工作机制，探讨BDAS生态，提供实践案例，助力快速掌握。书中亦讨论性能优化策略。[PDF下载链接](https://zhangfeidezhu.com/?p=347)。![Spark Web UI](https://img-blog.csdnimg.cn/direct/16aaadbb4e13410f8cb2727c3786cc9e.png#pic_center)
张飞的猪
639 1
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
喜欢猪猪
|
分布式计算 Java Apache
Apache Spark Streaming技术深度解析
【9月更文挑战第4天】Apache Spark Streaming是Apache Spark生态系统中用于处理实时数据流的一个重要组件。它将输入数据分成小批次（micro-batch），然后利用Spark的批处理引擎进行处理，从而结合了批处理和流处理的优点。这种处理方式使得Spark Streaming既能够保持高吞吐量，又能够处理实时数据流。
喜欢猪猪
453 0
jjczqyjxgdegi
|
机器学习/深度学习 分布式计算 API
技术好文：Spark机器学习笔记一
技术好文：Spark机器学习笔记一
jjczqyjxgdegi
258 0
叫个什么名字
|
机器学习/深度学习 存储 搜索推荐
利用机器学习算法改善电商推荐系统的效率
电商行业日益竞争激烈，提升用户体验成为关键。本文将探讨如何利用机器学习算法优化电商推荐系统，通过分析用户行为数据和商品信息，实现个性化推荐，从而提高推荐效率和准确性。
叫个什么名字
758 14
东方睿赢
|
机器学习/深度学习 算法 数据可视化
实现机器学习算法时，特征选择是非常重要的一步，你有哪些推荐的方法？
实现机器学习算法时，特征选择是非常重要的一步，你有哪些推荐的方法？
东方睿赢
736 1
游客i66wb7w7cg4tk
|
机器学习/深度学习 算法 搜索推荐
Machine Learning机器学习之决策树算法 Decision Tree（附Python代码）
Machine Learning机器学习之决策树算法 Decision Tree（附Python代码）
游客i66wb7w7cg4tk
1353 0
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    如何使用Kafka Connect实现同步RDS binlog数据
  • 2
    JindoFS: 云上大数据的高性能数据湖存储方案
  • 3
    Spark in action on Kubernetes - Playground搭建与架构浅析
  • 4
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 5
    漫谈分布式计算框架
  • 6
    首次揭秘|为6.4亿人次出行提供无线网络的技术架构
  • 7
    阿里封神-大数据处理技术漫谈
  • 8
    5W1H(六何分析法)全景洞察大数据
  • 9
    在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
  • 10
    从数砖开源 Delta Lake 说起
  • 1
    优路教育借助阿里云Flink+StarRocks+Paimon湖仓一体化构建职业教育业务全链路实时数据服务平台
    424
  • 2
    OpenClaw + QQ 机器人！保姆级图文教程，一步到位
    544
  • 3
    1688商品详情API（1688.item_get）Python实战：构建B2B供应链数据中台
    343
  • 4
    迅雷基于阿里云 EMR Serverless Spark 实现数仓资源效率与业务提升
    275
  • 5
    鹰角网络：EMR Serverless Spark 在《明日方舟》游戏业务的应用
    700
  • 6
    一套底座支撑多场景：高德地图基于 Paimon + StarRocks 轨迹服务实践
    465
  • 7
    EMR Serverless Spark 携手 PAI/百炼，开启“SQL 即 AI”的新篇章
    318
  • 8
    诗悦游戏基于DLF与EMR StarRocks降本38%
    387
  • 9
    基于DLF构建实时数据湖
    291
  • 10
    数仓-湖仓-湖流，人力家基于阿里云OpenLake架构演进与思考
    408

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • 大规模机器学习在蚂蚁+阿里的应用
  • 基于Spark的面向十亿级别特征的 大规模机器学习
  • 基于Spark的大规模机器学习在微博的应用
    • 下一篇
    利用阿里云OSS（对象存储服务）快速搭建私人网盘