AI 助理
备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

6月23日 Spark 社区技术直播【半小时，将你的Spark SQL模型变为在线服务】

2020-06-22 717
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
EMR Serverless StarRocks，5000CU*H 48000GB*H
简介： SparkSQL在机器学习场景中应用模型从批量到实时面临的问题 - SparkSQL 转换成实时执行成本高 - 离线特征和在线特征保持一致困难 - 离线效果与在线效果差距大 我们是如何解决这些问题 相对传统实现方式我们优势 SparkSQL实时上线demo

讲师：

王太泽
第四范式特征工程数据库负责人
曾在百度担任资深研发工程师
一直致力于解决机器学习模型从离线到在线特征一致性问题和性能问题。

时间：

6月23日 19：00

观看直播方式：

扫描下方二维码入群，或届时进入直播间（回看链接）
https://developer.aliyun.com/live/43347?spm=a2c6h.12873587.0.0.127052c22xBiZl

直播介绍

SparkSQL在机器学习场景中应用模型从批量到实时面临的问题

  • SparkSQL 转换成实时执行成本高
  • 离线特征和在线特征保持一致困难
  • 离线效果与在线效果差距大

我们是如何解决这些问题
相对传统实现方式我们优势
SparkSQL实时上线demo

6月23.png

文章标签：
客服工作台
机器学习/深度学习
分布式计算
SQL
Spark
数据库
关键词：
apache spark SQL
SQL技术
技术客服工作台
apache spark模型
SQL模型
阿里云E-MapReduce团队
目录
相关文章
开发V|TG_ch3nguang
|
2月前
|
安全 前端开发 关系型数据库
IM即时通讯系统开发技术规则
IM即时通讯系统开发涵盖客户端与服务器端，涉及前端、后端、网络通信及多媒体处理等技术领域，支持文字、语音、图片、视频等多种实时交流方式。开发流程包括需求分析、技术选型、系统设计、开发实现、测试优化及部署维护等阶段，需关注网络通信、多媒体处理、安全性及可扩展性等关键技术点，广泛应用于社交、客服、团队协作及游戏等领域。
开发V|TG_ch3nguang
86 0
武子康
|
1月前
|
存储 缓存 分布式计算
大数据-83 Spark 集群 RDD编程简介 RDD特点 Spark编程模型介绍
大数据-83 Spark 集群 RDD编程简介 RDD特点 Spark编程模型介绍
武子康
36 4
土木林森
|
1月前
|
存储 自然语言处理 机器人
实战揭秘：当RAG遇上企业客服系统——从案例出发剖析Retrieval-Augmented Generation技术的真实表现与应用局限，带你深入了解背后的技术细节与解决方案
【10月更文挑战第3天】随着自然语言处理技术的进步，结合检索与生成能力的RAG技术被广泛应用于多个领域，通过访问外部知识源提升生成内容的准确性和上下文一致性。本文通过具体案例探讨RAG技术的优势与局限，并提供实用建议。例如，一家初创公司利用LangChain框架搭建基于RAG的聊天机器人，以自动化FAQ系统减轻客服团队工作负担。尽管该系统在处理简单问题时表现出色，但在面对复杂或多步骤问题时存在局限。此外，RAG系统的性能高度依赖于训练数据的质量和范围。因此，企业在采用RAG技术时需综合评估需求和技术局限性，合理规划技术栈，并辅以必要的人工干预和监督机制。
土木林森
93 3
天下无贼001
|
1月前
|
人工智能 自然语言处理 搜索推荐
AI技术在智能客服系统中的应用与挑战
【9月更文挑战第32天】本文将探讨AI技术在智能客服系统中的应用及其面临的挑战。我们将分析AI技术如何改变传统客服模式，提高服务质量和效率，并讨论在实际应用中可能遇到的问题和解决方案。
天下无贼001
232 65
aliyun4381607004
|
17天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景，随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码，发现使用的`nativeBooster.saveModel`方法不支持OSS路径，而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令，帮助用户顺利迁移模型存储路径。
aliyun4381607004
43 1
我不是游客20240119
|
15天前
|
人工智能 自然语言处理 安全
AI技术在智能客服系统中的应用与挑战
【10月更文挑战第28天】本文将深入探讨人工智能（AI）技术在智能客服系统中的应用及其面临的挑战。我们将通过实例分析，了解AI如何改善客户服务体验，提高效率和降低成本。同时，我们也将关注AI在实际应用中可能遇到的问题，如语义理解、情感识别和数据安全等，并提出相应的解决方案。
我不是游客20240119
68 0
jsjsjjs
|
1月前
|
存储 安全 开发工具
百度公共IM系统的Andriod端IM SDK组件架构设计与技术实现
本文主要介绍了百度公共IM系统的Andriod端IM SDK的建设背景、IM SDK主要结构和工作流程以及建设过程遇到的问题和解决方案。
jsjsjjs
53 3
jsjsjjs
|
2月前
|
移动开发 前端开发 JavaScript
开源即时通讯IM框架MobileIMSDK的H5端技术概览
开源即时通讯IM框架MobileIMSDK的H5端技术概览
jsjsjjs
61 2
开源即时通讯IM框架MobileIMSDK的H5端技术概览
一缕微风绕指柔
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在智能客服中的应用：重塑客户体验
AI技术在智能客服中的应用：重塑客户体验
一缕微风绕指柔
234 1
jsjsjjs
|
2月前
|
网络协议 程序员 5G
IM开发者的零基础通信技术入门(十五)：理解定位技术，一篇就够
本系列文章尽量使用最浅显易懂的文字、图片来组织内容，力求通信技术零基础的人群也能看懂。但个人建议，至少稍微了解过网络通信方面的知识后再看，会更有收获。如果您大学学习过《计算机网络》这门课，那么一定不要错过本系列文章。
jsjsjjs
56 7
IM开发者的零基础通信技术入门(十五)：理解定位技术，一篇就够
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    5W1H(六何分析法)全景洞察大数据
  • 2
    开源大数据周刊-第90期
  • 3
    HAS-插件式Kerberos认证框架
  • 4
    EMR Spark Relational Cache如何支持雪花模型中的关联匹配
  • 5
    Apache Spark中国技术交流社区历次直播回顾（持续更新）
  • 6
    开源大数据周刊-第16期
  • 7
    欢迎加入Spark中国社区
  • 8
    使用Spark Streaming SQL进行PV/UV统计
  • 9
    使用ApacheDS对Presto用户进行认证
  • 10
    玩转阿里云EMR三部曲-入门篇
  • 1
    基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
    78
  • 2
    【赵渝强老师】部署Hadoop的本地模式
    24
  • 3
    EMR Serverless Spark：一站式全托管湖仓分析利器
    114
  • 4
    降本60% ，阿里云 EMR StarRocks 全新发布存算分离版本
    256
  • 5
    阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
    120
  • 6
    从数据积累到大模型的智能飞跃，你准备好了吗？
    110
  • 7
    DB-GPT v0.6.0 版本更新，发布六大核心新特性！
    114
  • 8
    云栖实录 | 阿里云 OpenLake 解决方案重磅发布：多模态数据统一纳管、引擎平权联合计算、数据共享统一读写
    270
  • 9
    阿里云 EMR Serverless Spark 版正式开启商业化
    147
  • 10
    小红书 API 接口使用指南：笔记详情数据接口的接入与使用
    430

    • 相关课程

    更多
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 大数据实时计算框架Spark快速入门
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • 原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili
  • AnalyticDB基础版：云原生My SQL 敏捷数仓
  • 第十二届 BigData NoSQL Meetup — 基于hbase的New sql落地实践

    • 相关实验场景

    更多
  • SQL的增删改查及函数应用
  • 基于函数计算一键部署简易论坛
  • PolarDB MySQL自动SQL限流
  • 如何开通SQL Server的专属集群
  • 使用DAS实现数据库自动SQL优化
  • 使用DAS实现数据库自动SQL限流
    • 下一篇
    阿里云OSS设置跨域访问