AI 助理
文档备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

# Apache Spark系列技术直播# 第四讲 【 机器学习介绍与Spark MLlib实践 】

2018-12-07 2085
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
在线体验各类最新模型，更有模型 免费Token 额度领取！
立即体验
简介： 主讲人：江宇(燕回) 阿里巴巴计算平台EMR技术专家 直播时间：2018.12.06 19:00 - 20:00 内容提要：本次讲座主要面对的是机器学习的入门者，以及想要使用Spark来进行机器学习的用户。

主讲人：江宇(燕回) 阿里巴巴计算平台EMR技术专家

直播时间：2018.12.06 19:00 - 20:00

内容提要：本次讲座主要面对的是机器学习的入门者，以及想要使用Spark来进行机器学习的用户。我们会介绍一下机器学习相关领域的基础知识，以及机器学习在spark上面的实践，同时给出我们的一些使用建议。

_2018_12_06_8_54_10

视频分享：https://yq.aliyun.com/live/693
ppt分享：https://yq.aliyun.com/download/3129

欢迎扫码进群共同交流：

_2018_12_05_4_48_20_meitu_1

文章标签：
开源大数据平台 E-MapReduce
Apache
分布式计算
Spark
机器学习/深度学习
关键词：
Apache实践
Apache技术
人工智能平台 PAI实践
人工智能平台 PAI技术
apache spark技术
社区小助手
目录
相关文章
不吃核桃
|
存储 消息中间件 Java
Apache Flink 实践问题之原生TM UI日志问题如何解决
Apache Flink 实践问题之原生TM UI日志问题如何解决
不吃核桃
249 1
SelectDB
|
10月前
|
SQL 人工智能 数据挖掘
Apache Doris 4.0 AI 能力揭秘（二）：为企业级应用而生的 AI 函数设计与实践
Apache Doris 4.0 原生集成 LLM 函数，将大语言模型能力深度融入 SQL 引擎，实现文本处理智能化与数据分析一体化。通过十大函数，支持智能客服、内容分析、金融风控等场景，提升实时决策效率。采用资源池化管理，保障数据一致性，降低传输开销，毫秒级完成 AI 分析。结合缓存复用、并行执行与权限控制，兼顾性能、成本与安全，推动数据库向 AI 原生演进。
SelectDB
1016 0
Apache Doris 4.0 AI 能力揭秘（二）：为企业级应用而生的 AI 函数设计与实践
SelectDB
|
11月前
|
SQL 存储 运维
Apache Doris 在菜鸟的大规模湖仓业务场景落地实践
本文介绍了 Apache Doris 在菜鸟的大规模落地的实践经验，菜鸟为什么选择 Doris，以及 Doris 如何在菜鸟从 0 开始，一步步的验证、落地，到如今上万核的规模，服务于各个业务线，Doris 已然成为菜鸟 OLAP 数据分析的最优选型。
SelectDB
638 2
Apache Doris 在菜鸟的大规模湖仓业务场景落地实践
郑小健
|
消息中间件 存储 监控
构建高可用性Apache Kafka集群：从理论到实践
【10月更文挑战第24天】随着大数据时代的到来，数据传输与处理的需求日益增长。Apache Kafka作为一个高性能的消息队列服务，因其出色的吞吐量、可扩展性和容错能力而受到广泛欢迎。然而，在构建大规模生产环境下的Kafka集群时，保证其高可用性是至关重要的。本文将从个人实践经验出发，详细介绍如何构建一个高可用性的Kafka集群，包括集群规划、节点配置以及故障恢复机制等方面。
郑小健
594 4
不吃核桃
|
消息中间件 分布式计算 Hadoop
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
不吃核桃
284 3
不吃核桃
|
消息中间件 运维 Kafka
Apache Flink 实践问题之达到网卡的最大速度如何解决
Apache Flink 实践问题之达到网卡的最大速度如何解决
不吃核桃
259 2
SelectDB
|
存储 安全 数据挖掘
天翼云：Apache Doris + Iceberg 超大规模湖仓一体实践
天翼云基于 Apache Doris 成功落地项目已超 20 个，整体集群规模超 50 套，部署节点超 3000 个，存储容量超 15PB
SelectDB
1126 2
天翼云：Apache Doris + Iceberg 超大规模湖仓一体实践
龙大吉
|
存储 数据挖掘 数据处理
巴别时代使用 Apache Paimon 构建 Streaming Lakehouse 的实践
随着数据湖技术的发展，企业纷纷探索其优化潜力。本文分享了巴别时代使用 Apache Paimon 构建 Streaming Lakehouse 的实践。Paimon 支持流式和批处理，提供高性能、统一的数据访问和流批一体的优势。通过示例代码和实践经验，展示了如何高效处理实时数据，解决了数据一致性和故障恢复等挑战。
龙大吉
463 61
SelectDB
|
存储 运维 监控
金融场景 PB 级大规模日志平台：中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条（80TB），全量归档日志量超 40PB，早期基于 Elasticsearch 构建的日志云平台，面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch，实现资源投入降低 50%、查询速度提升 2～4 倍，同时显著提高了运维效率。
SelectDB
1212 3
金融场景 PB 级大规模日志平台：中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
阿里云大数据
|
机器学习/深度学习 分布式计算 大数据
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈，微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark，微财突破了单机训练使用的数据规模瓶颈，大幅提升了训练效率，解决了存算分离架构下 Shuffle 稳定性和性能困扰，为智能风控等业务提供了强有力的技术支撑。
阿里云大数据
786 15
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    阿里封神谈hadoop生态学习之路
  • 2
    分布式快照算法: Chandy-Lamport
  • 3
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 4
    如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue
  • 5
    HIVE MapJoin异常问题处理总结
  • 6
    漫谈分布式计算框架
  • 7
    首次揭秘|为6.4亿人次出行提供无线网络的技术架构
  • 8
    JindoFS概述：云原生的大数据计算存储分离方案
  • 9
    基于Spark Streaming 进行 MySQL Binlog 日志准实时传输
  • 10
    从数砖开源 Delta Lake 说起
  • 1
    优路教育借助阿里云Flink+StarRocks+Paimon湖仓一体化构建职业教育业务全链路实时数据服务平台
    582
  • 2
    OpenClaw + QQ 机器人！保姆级图文教程，一步到位
    723
  • 3
    1688商品详情API（1688.item_get）Python实战：构建B2B供应链数据中台
    414
  • 4
    迅雷基于阿里云 EMR Serverless Spark 实现数仓资源效率与业务提升
    323
  • 5
    鹰角网络：EMR Serverless Spark 在《明日方舟》游戏业务的应用
    806
  • 6
    一套底座支撑多场景：高德地图基于 Paimon + StarRocks 轨迹服务实践
    514
  • 7
    EMR Serverless Spark 携手 PAI/百炼，开启“SQL 即 AI”的新篇章
    345
  • 8
    诗悦游戏基于DLF与EMR StarRocks降本38%
    420
  • 9
    基于DLF构建实时数据湖
    317
  • 10
    数仓-湖仓-湖流，人力家基于阿里云OpenLake架构演进与思考
    453

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • Apache Flink 入门到实战 - Flink开源社区出品
  • 大数据实时计算框架Spark快速入门
  • Apache Flink 入门

    • 相关电子书

    更多
  • Apache Flink技术进阶
  • Apache Spark: Cloud and On-Prem
  • Hybrid Cloud and Apache Spark

    • 推荐镜像

    更多
  • apache
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！