开发者社区大数据与机器学习开源大数据平台 E-MapReduce 文章正文

6月23日 Spark 社区技术直播【半小时，将你的Spark SQL模型变为在线服务】

2020-06-22 771

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

EMR Serverless StarRocks，5000CU*H 48000GB*H

EMR Serverless Spark 免费试用，1000 CU*H 有效期3个月

简介： SparkSQL在机器学习场景中应用模型从批量到实时面临的问题 - SparkSQL 转换成实时执行成本高 - 离线特征和在线特征保持一致困难 - 离线效果与在线效果差距大我们是如何解决这些问题相对传统实现方式我们优势 SparkSQL实时上线demo

讲师：

王太泽
第四范式特征工程数据库负责人
曾在百度担任资深研发工程师
一直致力于解决机器学习模型从离线到在线特征一致性问题和性能问题。

时间：

6月23日 19：00

观看直播方式：

扫描下方二维码入群，或届时进入直播间（回看链接）
https://developer.aliyun.com/live/43347?spm=a2c6h.12873587.0.0.127052c22xBiZl

直播介绍

SparkSQL在机器学习场景中应用模型从批量到实时面临的问题

SparkSQL 转换成实时执行成本高
离线特征和在线特征保持一致困难
离线效果与在线效果差距大

我们是如何解决这些问题
相对传统实现方式我们优势
SparkSQL实时上线demo

6月23.png

文章标签：

客服工作台

机器学习/深度学习

分布式计算

SQL

Spark

数据库

关键词：

apache spark SQL

客服工作台模型

技术客服工作台

apache spark技术

SQL spark

阿里云E-MapReduce团队

TiAmoZhang

25天前

SQL 数据可视化关系型数据库

MCP与PolarDB集成技术分析：降低SQL门槛与简化数据可视化流程的机制解析

阿里云PolarDB与MCP协议融合，打造“自然语言即分析”的新范式。通过云原生数据库与标准化AI接口协同，实现零代码、分钟级从数据到可视化洞察，打破技术壁垒，提升分析效率99%，推动企业数据能力普惠化。

TiAmoZhang

117 3 3

游客wkqymr43luqiu

3月前

SQL JSON 分布式计算

Spark SQL架构及高级用法

Spark SQL基于Catalyst优化器与Tungsten引擎，提供高效的数据处理能力。其架构涵盖SQL解析、逻辑计划优化、物理计划生成及分布式执行，支持复杂数据类型、窗口函数与多样化聚合操作，结合自适应查询与代码生成技术，实现高性能大数据分析。

游客wkqymr43luqiu

250 2 3

Echo_Wish

7月前

存储分布式计算 Hadoop

从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路

Echo_Wish

300 79 80

瓴羊Dataphin

7月前

SQL 分布式计算资源调度

Dataphin功能Tips系列（48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列

如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列

瓴羊Dataphin

229 4 4

wiker24

8月前

SQL 存储关系型数据库

【SQL技术】不同数据库引擎 SQL 优化方案剖析

不同数据库系统（MySQL、PostgreSQL、Doris、Hive）的SQL优化策略。存储引擎特点、SQL执行流程及常见操作（如条件查询、排序、聚合函数）的优化方法。针对各数据库，索引使用、分区裁剪、谓词下推等技术，并提供了具体的SQL示例。通用的SQL调优技巧，如避免使用`COUNT(DISTINCT)`、减少小文件问题、慎重使用`SELECT *`等。通过合理选择和应用这些优化策略，可以显著提升数据库查询性能和系统稳定性。

wiker24

286 9 10

技术小达人

9月前

SQL 分布式计算 Java

Spark SQL向量化执行引擎框架Gluten-Velox在AArch64使能和优化

本文摘自 Arm China的工程师顾煜祺关于“在 Arm 平台上使用 Native 算子库加速 Spark”的分享，主要内容包括以下四个部分： 1.技术背景 2.算子库构成 3.算子操作优化 4.未来工作

技术小达人

999 0 0

游客nsyhaoxcmeiq6

11月前

SQL 存储算法

比 SQL 快出数量级的大数据计算技术

SQL 是大数据计算中最常用的工具，但在实际应用中，SQL 经常跑得很慢，浪费大量硬件资源。例如，某银行的反洗钱计算在 11 节点的 Vertica 集群上跑了 1.5 小时，而用 SPL 重写后，单机只需 26 秒。类似地，电商漏斗运算和时空碰撞任务在使用 SPL 后，性能也大幅提升。这是因为 SQL 无法写出低复杂度的算法，而 SPL 提供了更强大的数据类型和基础运算，能够实现高效计算。

游客nsyhaoxcmeiq6

188 1 1

土木林森

11月前

存储分布式计算 Hadoop

数据湖技术：Hadoop与Spark在大数据处理中的协同作用

【10月更文挑战第27天】在大数据时代，数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件，通过HDFS存储数据和Spark进行高效计算，实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践，包括数据存储、处理、安全和可视化等方面，展示了它们在实际应用中的协同效应。

土木林森

469 2 2

赵渝强老师

11月前

SQL JSON 分布式计算

【赵渝强老师】Spark SQL的数据模型：DataFrame

本文介绍了在Spark SQL中创建DataFrame的三种方法。首先，通过定义case class来创建表结构，然后将CSV文件读入RDD并关联Schema生成DataFrame。其次，使用StructType定义表结构，同样将CSV文件读入RDD并转换为Row对象后创建DataFrame。最后，直接加载带有格式的数据文件（如JSON），通过读取文件内容直接创建DataFrame。每种方法都包含详细的代码示例和解释。

赵渝强老师

235 0 0

游客j4mujezz7vm7y

关系型数据库 MySQL 网络安全

5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")

游客j4mujezz7vm7y

178 1 1

大数据与机器学习

6月23日 Spark 社区技术直播【半小时，将你的Spark SQL模型变为在线服务】

讲师：

时间：

观看直播方式：

直播介绍

开源大数据平台 E-MapReduce

热门文章

最新文章

相关课程

相关电子书