AI 助理
文档备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

6月23日 Spark 社区技术直播【半小时，将你的Spark SQL模型变为在线服务】

2020-06-22 983
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： SparkSQL在机器学习场景中应用模型从批量到实时面临的问题 - SparkSQL 转换成实时执行成本高 - 离线特征和在线特征保持一致困难 - 离线效果与在线效果差距大 我们是如何解决这些问题 相对传统实现方式我们优势 SparkSQL实时上线demo

讲师：

王太泽
第四范式特征工程数据库负责人
曾在百度担任资深研发工程师
一直致力于解决机器学习模型从离线到在线特征一致性问题和性能问题。

时间：

6月23日 19：00

观看直播方式：

扫描下方二维码入群，或届时进入直播间（回看链接）
https://developer.aliyun.com/live/43347?spm=a2c6h.12873587.0.0.127052c22xBiZl

直播介绍

SparkSQL在机器学习场景中应用模型从批量到实时面临的问题

  • SparkSQL 转换成实时执行成本高
  • 离线特征和在线特征保持一致困难
  • 离线效果与在线效果差距大

我们是如何解决这些问题
相对传统实现方式我们优势
SparkSQL实时上线demo

6月23.png

文章标签：
客服工作台
开源大数据平台 E-MapReduce
机器学习/深度学习
分布式计算
SQL
Spark
数据库
阿里云E-MapReduce团队
目录
相关文章
JackJiang2026
|
数据采集 监控 机器人
浅谈网页端IM技术及相关测试方法实践（包括WebSocket性能测试）
最开始转转的客服系统体系如IM、工单以及机器人等都是使用第三方的产品。但第三方产品对于转转的业务，以及客服的效率等都产生了诸多限制，所以我们决定自研替换第三方系统。下面主要分享一下网页端IM技术及相关测试方法，我们先从了解IM系统和WebSocket开始。
JackJiang2026
587 4
TiAmoZhang
|
SQL 数据可视化 关系型数据库
MCP与PolarDB集成技术分析：降低SQL门槛与简化数据可视化流程的机制解析
阿里云PolarDB与MCP协议融合，打造“自然语言即分析”的新范式。通过云原生数据库与标准化AI接口协同，实现零代码、分钟级从数据到可视化洞察，打破技术壁垒，提升分析效率99%，推动企业数据能力普惠化。
TiAmoZhang
948 3
Echo_Wish
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
Echo_Wish
882 79
Aron_NeAr
|
SQL JSON 分布式计算
Spark SQL架构及高级用法
Spark SQL基于Catalyst优化器与Tungsten引擎，提供高效的数据处理能力。其架构涵盖SQL解析、逻辑计划优化、物理计划生成及分布式执行，支持复杂数据类型、窗口函数与多样化聚合操作，结合自适应查询与代码生成技术，实现高性能大数据分析。
Aron_NeAr
983 2
nefelibata
|
机器学习/深度学习 人工智能 自然语言处理
AI技术如何重塑客服系统？解析合力亿捷AI智能客服系统实践案例
本文探讨了人工智能技术在客服系统中的应用，涵盖技术架构、关键技术和优化策略。通过感知层、认知层、决策层和执行层的协同工作，结合自然语言处理、知识库构建和多模态交互技术，合力亿捷客服系统实现了智能化服务。文章还提出了用户体验优化、服务质量提升和系统性能改进的方法，并展望了未来发展方向，强调其在客户服务领域的核心价值与潜力。
nefelibata
971 6
瓴羊Dataphin
|
SQL 分布式计算 资源调度
Dataphin功能Tips系列（48)-如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
如何根据Hive SQL/Spark SQL的任务优先级指定YARN资源队列
瓴羊Dataphin
600 4
wiker24
|
SQL 存储 关系型数据库
【SQL技术】不同数据库引擎 SQL 优化方案剖析
不同数据库系统（MySQL、PostgreSQL、Doris、Hive）的SQL优化策略。存储引擎特点、SQL执行流程及常见操作（如条件查询、排序、聚合函数）的优化方法。针对各数据库，索引使用、分区裁剪、谓词下推等技术，并提供了具体的SQL示例。通用的SQL调优技巧，如避免使用`COUNT(DISTINCT)`、减少小文件问题、慎重使用`SELECT *`等。通过合理选择和应用这些优化策略，可以显著提升数据库查询性能和系统稳定性。
wiker24
856 9
nefelibata
|
机器学习/深度学习 存储 人工智能
AI实践：智能工单系统的技术逻辑与应用
智能工单系统是企业服务管理的核心工具，通过多渠道接入、自然语言处理等技术，实现工单自动生成、分类和分配。它优化了客户服务流程，提高了效率与透明度，减少了运营成本，提升了客户满意度。系统还依托知识库和机器学习，持续改进处理策略，助力企业在竞争中脱颖而出。
nefelibata
2096 5
nefelibata
|
机器学习/深度学习 自然语言处理 监控
智能客服系统集成技术解析和价值点梳理
在 2024 年的智能客服系统领域，合力亿捷等服务商凭借其卓越的技术实力引领潮流，它们均积极应用最新的大模型技术，推动智能客服的进步。
nefelibata
814 7
游客nsyhaoxcmeiq6
|
SQL 存储 算法
比 SQL 快出数量级的大数据计算技术
SQL 是大数据计算中最常用的工具，但在实际应用中，SQL 经常跑得很慢，浪费大量硬件资源。例如，某银行的反洗钱计算在 11 节点的 Vertica 集群上跑了 1.5 小时，而用 SPL 重写后，单机只需 26 秒。类似地，电商漏斗运算和时空碰撞任务在使用 SPL 后，性能也大幅提升。这是因为 SQL 无法写出低复杂度的算法，而 SPL 提供了更强大的数据类型和基础运算，能够实现高效计算。
游客nsyhaoxcmeiq6
432 1
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    E-MapReduce HDFS文件快速CRC校验工具介绍
  • 2
    使用E-MapReduce服务处理阿里云文件存储（NAS）的数据
  • 3
    云上基于Kerberos的大数据安全实践
  • 4
    开源大数据周刊-第22期
  • 5
    E-MapReduce集群启停HDFS/YARN服务
  • 6
    通过Spark SQL实时归档SLS数据
  • 7
    开源大数据周刊-第69期
  • 8
    2013年北京hadoop in china见闻
  • 9
    【译】SQL Pivot介绍
  • 10
    Virgin Hyperloop One如何使用Koalas将处理时间从几小时降到几分钟--无缝的将pandas切换成Apache Spark指南
  • 1
    EMR Serverless Daft 算子市场免费公测｜10分钟极速实战（附视频教程）
    135
  • 2
    EMR Serverless StarRocks AI Function构建智能驾驶训练数据管理平台
    187
  • 3
    淘天集团基于 Fluss、Paimon 与 StarRocks 构建湖流一体数据链路
    233
  • 4
    EMR Serverless Spark AI Function 的双维降本实践
    200
  • 5
    【直播】StarRocks Stella 2.0 发布｜具身行业训练数据圈选实战
    207
  • 6
    活动报名 | Agentic Lakehouse Meetup · 北京站，从开源技术创新到多模态数据智能化
    390
  • 7
    基于 StarRocks提效多模态工单标注与舆情研判的实践
    226
  • 8
    EMR Serverless Spark PB级文本语义去重4倍加速的技术方案解读
    303
  • 9
    分链路差异化设计的DSP准实时数仓｜钛动科技基于阿里云实时计算 Flink 版 + DLF Paimon + EMR Serverless StarRocks 的实践
    246
  • 10
    阿里云 EMR Serverless StarRocks（Stella 2.2.0）发布：多模态处理与分析闭环，内表与湖表统一检索
    497

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • SQL Server在电子商务中的应用与实践
  • GeoMesa on Spark SQL
  • 原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！