AI 助理
文档备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

# Apache Spark系列技术直播# 第四讲 【 机器学习介绍与Spark MLlib实践 】

2018-12-07 2042
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 主讲人：江宇(燕回) 阿里巴巴计算平台EMR技术专家 直播时间：2018.12.06 19:00 - 20:00 内容提要：本次讲座主要面对的是机器学习的入门者，以及想要使用Spark来进行机器学习的用户。

主讲人：江宇(燕回) 阿里巴巴计算平台EMR技术专家

直播时间：2018.12.06 19:00 - 20:00

内容提要：本次讲座主要面对的是机器学习的入门者，以及想要使用Spark来进行机器学习的用户。我们会介绍一下机器学习相关领域的基础知识，以及机器学习在spark上面的实践，同时给出我们的一些使用建议。

_2018_12_06_8_54_10

视频分享：https://yq.aliyun.com/live/693
ppt分享：https://yq.aliyun.com/download/3129

欢迎扫码进群共同交流：

_2018_12_05_4_48_20_meitu_1

文章标签：
开源大数据平台 E-MapReduce
Apache
分布式计算
Spark
机器学习/深度学习
关键词：
Apache实践
Apache技术
人工智能平台 PAI实践
人工智能平台 PAI技术
apache spark技术
社区小助手
目录
相关文章
ShaFaChuang-36210
|
机器学习/深度学习 人工智能 自然语言处理
人工智能与机器学习：探索未来的技术边界
【10月更文挑战第18天】 在这篇文章中，我们将深入探讨人工智能（AI）和机器学习（ML）的基础知识、应用领域以及未来趋势。通过对比分析，我们将揭示这些技术如何改变我们的生活和工作方式，并预测它们在未来可能带来的影响。文章旨在为读者提供一个全面而深入的理解，帮助他们更好地把握这一领域的发展趋势。
ShaFaChuang-36210
221 0
颜淡慕潇
|
数据采集 人工智能 API
生物医药蛋白分子数据采集：支撑大模型训练的技术实践分享
作为生物信息学领域的数据工程师，近期在为蛋白质相互作用预测AI大模型构建训练集时，我面临着从PDB、UniProt等学术数据库获取高质量三维结构、序列及功能注释数据的核心挑战。通过综合运用反爬对抗技术，成功突破了数据库的速率限制、验证码验证等反爬机制，将数据采集效率提升4倍，为蛋白质-配体结合预测模型训练提供了包含10万+条有效数据的基础数据集，提高了该模型预测的准确性。
颜淡慕潇
603 1
Deephub
|
机器学习/深度学习 传感器 运维
使用机器学习技术进行时间序列缺失数据填充：基础方法与入门案例
本文探讨了时间序列分析中数据缺失的问题，并通过实际案例展示了如何利用机器学习技术进行缺失值补充。文章构建了一个模拟的能源生产数据集，采用线性回归和决策树回归两种方法进行缺失值补充，并从统计特征、自相关性、趋势和季节性等多个维度进行了详细评估。结果显示，决策树方法在处理复杂非线性模式和保持数据局部特征方面表现更佳，而线性回归方法则适用于简单的线性趋势数据。文章最后总结了两种方法的优劣，并给出了实际应用建议。
Deephub
880 7
使用机器学习技术进行时间序列缺失数据填充：基础方法与入门案例
东方睿赢
|
机器学习/深度学习 Python
机器学习中模型选择和优化的关键技术——交叉验证与网格搜索
本文深入探讨了机器学习中模型选择和优化的关键技术——交叉验证与网格搜索。介绍了K折交叉验证、留一交叉验证等方法，以及网格搜索的原理和步骤，展示了如何结合两者在Python中实现模型参数的优化，并强调了使用时需注意的计算成本、过拟合风险等问题。
东方睿赢
1180 6
龙大吉
|
机器学习/深度学习 搜索推荐 算法
在数字化时代，推荐系统成为互联网应用的重要组成部分，通过机器学习技术根据用户兴趣和行为提供个性化推荐，提升用户体验
在数字化时代，推荐系统成为互联网应用的重要组成部分，通过机器学习技术根据用户兴趣和行为提供个性化推荐，提升用户体验。本文探讨了推荐系统的基本原理、常用算法、实现步骤及Python应用，介绍了如何克服数据稀疏性、冷启动等问题，强调了合理选择算法和持续优化的重要性。
龙大吉
659 4
思通聚宝
|
机器学习/深度学习 人工智能 自然语言处理
思通数科AI平台在尽职调查中的技术解析与应用
思通数科AI多模态能力平台结合OCR、NLP和深度学习技术，为IPO尽职调查、融资等重要交易环节提供智能化解决方案。平台自动识别、提取并分类海量文档，实现高效数据核验与合规性检查，显著提升审查速度和精准度，同时保障敏感信息管理和数据安全。
思通聚宝
776 11
技术混子
|
机器学习/深度学习 自然语言处理 语音技术
探索机器学习中的自然语言处理技术
【10月更文挑战第38天】在本文中，我们将深入探讨自然语言处理（NLP）技术及其在机器学习领域的应用。通过浅显易懂的语言和生动的比喻，我们将揭示NLP技术的奥秘，包括其工作原理、主要任务以及面临的挑战。此外，我们还将分享一些实用的代码示例，帮助您更好地理解和掌握这一技术。无论您是初学者还是有经验的开发者，相信您都能从本文中获得宝贵的知识和启示。
技术混子
274 3
龙大吉
|
分布式计算 大数据 Apache
利用.NET进行大数据处理：Apache Spark与.NET for Apache Spark
【10月更文挑战第15天】随着大数据成为企业决策和技术创新的关键驱动力，Apache Spark作为高效的大数据处理引擎，广受青睐。然而，.NET开发者面临使用Spark的门槛。本文介绍.NET for Apache Spark，展示如何通过C#和F#等.NET语言，结合Spark的强大功能进行大数据处理，简化开发流程并提升效率。示例代码演示了读取CSV文件及统计分析的基本操作，突显了.NET for Apache Spark的易用性和强大功能。
龙大吉
478 1
Star时光
|
机器学习/深度学习 数据可视化 算法
机器学习中的特征选择与降维技术
机器学习中的特征选择与降维技术
Star时光
607 0
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    分布式快照算法: Chandy-Lamport
  • 2
    Spark in action on Kubernetes - Playground搭建与架构浅析
  • 3
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 4
    如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue
  • 5
    基于Alluxio系统的Spark DataFrame高效存储管理技术
  • 6
    HIVE MapJoin异常问题处理总结
  • 7
    漫谈分布式计算框架
  • 8
    阿里封神-大数据处理技术漫谈
  • 9
    5W1H(六何分析法)全景洞察大数据
  • 10
    助力云上开源生态 - 阿里云开源大数据平台的发展
  • 1
    迅雷基于阿里云 EMR Serverless Spark 实现数仓资源效率与业务提升
    118
  • 2
    鹰角网络：EMR Serverless Spark 在《明日方舟》游戏业务的应用
    293
  • 3
    一套底座支撑多场景：高德地图基于 Paimon + StarRocks 轨迹服务实践
    208
  • 4
    EMR Serverless Spark 携手 PAI/百炼，开启“SQL 即 AI”的新篇章
    179
  • 5
    诗悦游戏基于DLF与EMR StarRocks降本38%
    267
  • 6
    基于DLF构建实时数据湖
    215
  • 7
    数仓-湖仓-湖流，人力家基于阿里云OpenLake架构演进与思考
    284
  • 8
    淘宝闪购基于阿里云 EMR Serverless Spark&Paimon的湖仓实践：超大规模下的特征生产&多维分析双提效
    452
  • 9
    有奖实践：EMR Serverless StarRocks × Serverless Spark x DLF 共探 TPC 极致性能
    601
  • 10
    大模型RAG实战：从零搭建专属知识库问答助手
    1129

    • 相关课程

    更多
  • PAI平台学习路线：机器学习入门到应用
  • 场景实践 - 机器学习PAI实现精细化营销
  • 场景实践 - 基于阿里云PAI机器学习平台使用时间序列分解模型预测商品销量
  • 场景实践 - 基于机器学习进行收入预测分析
  • 机器学习概览及常见算法
  • 机器学习入门-概念原理及常用算法

    • 相关电子书

    更多
  • 阿里巴巴机器学习平台AI
  • 微博机器学习平台架构和实践
  • 机器学习及人机交互实战

    • 相关实验场景

    更多
  • 使用PAI+LLaMA Factory微调Qwen2-VL模型，搭建文旅领域知识问答机器人
  • 在PAI ArtLab一键设计AIGC新春红包

    • 推荐镜像

    更多
  • apache
    • 下一篇
    阿里云重磅发布Agentic SOC，企业级AI Agent驱动的安全运营平台