AI 助理
文档备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

6月23日 Spark 社区技术直播【半小时，将你的Spark SQL模型变为在线服务】

2020-06-22 959
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： SparkSQL在机器学习场景中应用模型从批量到实时面临的问题 - SparkSQL 转换成实时执行成本高 - 离线特征和在线特征保持一致困难 - 离线效果与在线效果差距大 我们是如何解决这些问题 相对传统实现方式我们优势 SparkSQL实时上线demo

讲师：

王太泽
第四范式特征工程数据库负责人
曾在百度担任资深研发工程师
一直致力于解决机器学习模型从离线到在线特征一致性问题和性能问题。

时间：

6月23日 19：00

观看直播方式：

扫描下方二维码入群，或届时进入直播间（回看链接）
https://developer.aliyun.com/live/43347?spm=a2c6h.12873587.0.0.127052c22xBiZl

直播介绍

SparkSQL在机器学习场景中应用模型从批量到实时面临的问题

  • SparkSQL 转换成实时执行成本高
  • 离线特征和在线特征保持一致困难
  • 离线效果与在线效果差距大

我们是如何解决这些问题
相对传统实现方式我们优势
SparkSQL实时上线demo

6月23.png

文章标签：
客服工作台
开源大数据平台 E-MapReduce
机器学习/深度学习
分布式计算
SQL
Spark
数据库
阿里云E-MapReduce团队
目录
相关文章
Echo_Wish
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
Echo_Wish
844 79
Aron_NeAr
|
SQL JSON 分布式计算
Spark SQL架构及高级用法
Spark SQL基于Catalyst优化器与Tungsten引擎，提供高效的数据处理能力。其架构涵盖SQL解析、逻辑计划优化、物理计划生成及分布式执行，支持复杂数据类型、窗口函数与多样化聚合操作，结合自适应查询与代码生成技术，实现高性能大数据分析。
Aron_NeAr
942 2
瓴羊Dataphin
|
SQL 分布式计算 资源调度
Dataphin功能Tips系列（48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
瓴羊Dataphin
571 4
土木林森
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代，数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件，通过HDFS存储数据和Spark进行高效计算，实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践，包括数据存储、处理、安全和可视化等方面，展示了它们在实际应用中的协同效应。
土木林森
814 2
土木林森
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用，通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理，确保高可靠性和容错性；Spark则凭借其高性能和丰富的API，进行深度分析和机器学习，实现高效的批处理和实时处理。
土木林森
759 1
技术小达人
|
SQL 分布式计算 Java
Spark SQL向量化执行引擎框架Gluten-Velox在AArch64使能和优化
本文摘自 Arm China的工程师顾煜祺关于“在 Arm 平台上使用 Native 算子库加速 Spark”的分享，主要内容包括以下四个部分： 1.技术背景 2.算子库构成 3.算子操作优化 4.未来工作
技术小达人
2347 0
赵渝强老师
|
SQL JSON 分布式计算
【赵渝强老师】Spark SQL的数据模型：DataFrame
本文介绍了在Spark SQL中创建DataFrame的三种方法。首先，通过定义case class来创建表结构，然后将CSV文件读入RDD并关联Schema生成DataFrame。其次，使用StructType定义表结构，同样将CSV文件读入RDD并转换为Row对象后创建DataFrame。最后，直接加载带有格式的数据文件（如JSON），通过读取文件内容直接创建DataFrame。每种方法都包含详细的代码示例和解释。
赵渝强老师
543 0
武子康
|
SQL 分布式计算 大数据
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
武子康
791 0
武子康
|
SQL 分布式计算 算法
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
武子康
375 0
热烈的马
|
SQL 分布式计算 数据库
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战（附源码）
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战（附源码）
热烈的马
1077 0
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    阿里封神谈hadoop生态学习之路
  • 2
    分布式快照算法: Chandy-Lamport
  • 3
    梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
  • 4
    助力云上开源生态 - 阿里云开源大数据平台的发展
  • 5
    Apache Spark 3.0 将内置支持 GPU 调度
  • 6
    使用Hive进行OSS数据处理的一个最佳实践
  • 7
    HAS-插件式Kerberos认证框架
  • 8
    开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake
  • 9
    HBase写性能优化
  • 10
    csv导入HBase
  • 1
    EMR Serverless StarRocks AI Function构建智能驾驶训练数据管理平台
    124
  • 2
    淘天集团基于 Fluss、Paimon 与 StarRocks 构建湖流一体数据链路
    174
  • 3
    EMR Serverless Spark AI Function 的双维降本实践
    157
  • 4
    【直播】StarRocks Stella 2.0 发布｜具身行业训练数据圈选实战
    151
  • 5
    活动报名 | Agentic Lakehouse Meetup · 北京站，从开源技术创新到多模态数据智能化
    309
  • 6
    基于 StarRocks提效多模态工单标注与舆情研判的实践
    180
  • 7
    EMR Serverless Spark PB级文本语义去重4倍加速的技术方案解读
    235
  • 8
    分链路差异化设计的DSP准实时数仓｜钛动科技基于阿里云实时计算 Flink 版 + DLF Paimon + EMR Serverless StarRocks 的实践
    198
  • 9
    阿里云 EMR Serverless StarRocks（Stella 2.2.0）发布：多模态处理与分析闭环，内表与湖表统一检索
    396
  • 10
    EMR Serverless Daft 如何简化多模态数据处理：视频抽帧、清洗、标注全流程与具身智能实践
    374

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 大数据实时计算框架Spark快速入门
  • 数据库及SQL/MySQL基础

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！