AI 助理
备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

6月23日 Spark 社区技术直播【半小时，将你的Spark SQL模型变为在线服务】

2020-06-22 728
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
EMR Serverless StarRocks，5000CU*H 48000GB*H
简介： SparkSQL在机器学习场景中应用模型从批量到实时面临的问题 - SparkSQL 转换成实时执行成本高 - 离线特征和在线特征保持一致困难 - 离线效果与在线效果差距大 我们是如何解决这些问题 相对传统实现方式我们优势 SparkSQL实时上线demo

讲师：

王太泽
第四范式特征工程数据库负责人
曾在百度担任资深研发工程师
一直致力于解决机器学习模型从离线到在线特征一致性问题和性能问题。

时间：

6月23日 19：00

观看直播方式：

扫描下方二维码入群，或届时进入直播间（回看链接）
https://developer.aliyun.com/live/43347?spm=a2c6h.12873587.0.0.127052c22xBiZl

直播介绍

SparkSQL在机器学习场景中应用模型从批量到实时面临的问题

  • SparkSQL 转换成实时执行成本高
  • 离线特征和在线特征保持一致困难
  • 离线效果与在线效果差距大

我们是如何解决这些问题
相对传统实现方式我们优势
SparkSQL实时上线demo

6月23.png

文章标签：
客服工作台
机器学习/深度学习
分布式计算
SQL
Spark
数据库
关键词：
apache spark SQL
模型客服工作台
SQL技术
技术客服工作台
apache spark模型
阿里云E-MapReduce团队
目录
相关文章
jsjsjjs
|
1月前
|
数据采集 监控 机器人
浅谈网页端IM技术及相关测试方法实践（包括WebSocket性能测试）
最开始转转的客服系统体系如IM、工单以及机器人等都是使用第三方的产品。但第三方产品对于转转的业务，以及客服的效率等都产生了诸多限制，所以我们决定自研替换第三方系统。下面主要分享一下网页端IM技术及相关测试方法，我们先从了解IM系统和WebSocket开始。
jsjsjjs
60 4
开发V|TG_ch3nguang
|
4月前
|
安全 前端开发 关系型数据库
IM即时通讯系统开发技术规则
IM即时通讯系统开发涵盖客户端与服务器端，涉及前端、后端、网络通信及多媒体处理等技术领域，支持文字、语音、图片、视频等多种实时交流方式。开发流程包括需求分析、技术选型、系统设计、开发实现、测试优化及部署维护等阶段，需关注网络通信、多媒体处理、安全性及可扩展性等关键技术点，广泛应用于社交、客服、团队协作及游戏等领域。
开发V|TG_ch3nguang
226 0
武子康
|
3月前
|
存储 缓存 分布式计算
大数据-83 Spark 集群 RDD编程简介 RDD特点 Spark编程模型介绍
大数据-83 Spark 集群 RDD编程简介 RDD特点 Spark编程模型介绍
武子康
55 4
土木林森
|
3月前
|
存储 自然语言处理 机器人
实战揭秘：当RAG遇上企业客服系统——从案例出发剖析Retrieval-Augmented Generation技术的真实表现与应用局限，带你深入了解背后的技术细节与解决方案
【10月更文挑战第3天】随着自然语言处理技术的进步，结合检索与生成能力的RAG技术被广泛应用于多个领域，通过访问外部知识源提升生成内容的准确性和上下文一致性。本文通过具体案例探讨RAG技术的优势与局限，并提供实用建议。例如，一家初创公司利用LangChain框架搭建基于RAG的聊天机器人，以自动化FAQ系统减轻客服团队工作负担。尽管该系统在处理简单问题时表现出色，但在面对复杂或多步骤问题时存在局限。此外，RAG系统的性能高度依赖于训练数据的质量和范围。因此，企业在采用RAG技术时需综合评估需求和技术局限性，合理规划技术栈，并辅以必要的人工干预和监督机制。
土木林森
216 3
nefelibata
|
3天前
|
机器学习/深度学习 存储 人工智能
AI实践：智能工单系统的技术逻辑与应用
智能工单系统是企业服务管理的核心工具，通过多渠道接入、自然语言处理等技术，实现工单自动生成、分类和分配。它优化了客户服务流程，提高了效率与透明度，减少了运营成本，提升了客户满意度。系统还依托知识库和机器学习，持续改进处理策略，助力企业在竞争中脱颖而出。
nefelibata
19 5
nefelibata
|
1月前
|
机器学习/深度学习 自然语言处理 监控
智能客服系统集成技术解析和价值点梳理
在 2024 年的智能客服系统领域，合力亿捷等服务商凭借其卓越的技术实力引领潮流，它们均积极应用最新的大模型技术，推动智能客服的进步。
nefelibata
107 7
天下无贼001
|
3月前
|
人工智能 自然语言处理 搜索推荐
AI技术在智能客服系统中的应用与挑战
【9月更文挑战第32天】本文将探讨AI技术在智能客服系统中的应用及其面临的挑战。我们将分析AI技术如何改变传统客服模式，提高服务质量和效率，并讨论在实际应用中可能遇到的问题和解决方案。
天下无贼001
378 65
游客nsyhaoxcmeiq6
|
2月前
|
SQL 存储 算法
比 SQL 快出数量级的大数据计算技术
SQL 是大数据计算中最常用的工具，但在实际应用中，SQL 经常跑得很慢，浪费大量硬件资源。例如，某银行的反洗钱计算在 11 节点的 Vertica 集群上跑了 1.5 小时，而用 SPL 重写后，单机只需 26 秒。类似地，电商漏斗运算和时空碰撞任务在使用 SPL 后，性能也大幅提升。这是因为 SQL 无法写出低复杂度的算法，而 SPL 提供了更强大的数据类型和基础运算，能够实现高效计算。
游客nsyhaoxcmeiq6
67 1
aliyun4381607004
|
2月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景，随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码，发现使用的`nativeBooster.saveModel`方法不支持OSS路径，而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令，帮助用户顺利迁移模型存储路径。
aliyun4381607004
108 1
jsjsjjs
|
4月前
|
移动开发 前端开发 JavaScript
开源即时通讯IM框架MobileIMSDK的H5端技术概览
开源即时通讯IM框架MobileIMSDK的H5端技术概览
jsjsjjs
94 2
开源即时通讯IM框架MobileIMSDK的H5端技术概览
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    现代流式计算的基石：Google DataFlow
  • 2
    如何使用Kafka Connect实现同步RDS binlog数据
  • 3
    JindoFS: 云上大数据的高性能数据湖存储方案
  • 4
    基于Alluxio系统的Spark DataFrame高效存储管理技术
  • 5
    漫谈分布式计算框架
  • 6
    JindoFS概述：云原生的大数据计算存储分离方案
  • 7
    使用Hive进行OSS数据处理的一个最佳实践
  • 8
    HAS-插件式Kerberos认证框架
  • 9
    hive在E-MapReduce集群的实践（二）集群hive参数优化
  • 10
    csv导入HBase
  • 1
    打造无缝社交体验：多平台适配，开启线上线下陪玩系统小程序社交新时代
    29
  • 2
    阿里云 EMR 发布托管弹性伸缩功能，支持自动调整集群大小，最高降本60%
    51
  • 3
    关于商品详情 API 接口 JSON 格式返回数据解析的示例
    82
  • 4
    EMR管控平台全面升级：智能化助力客户实现在离线混部和降本增效
    41
  • 5
    年轻人如何运用圈子系统进行扩列，社交圈子论坛app扩列的好处，兴趣行业圈子提升社交技能
    79
  • 6
    拍立淘API是基于图像识别技术的服务接口，支持淘宝、1688和义乌购平台。
    81
  • 7
    有奖实践，基于EMR StarRocks实现游戏玩家画像和行为分析
    96
  • 8
    基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
    586
  • 9
    【赵渝强老师】部署Hadoop的本地模式
    78
  • 10
    EMR Serverless Spark：一站式全托管湖仓分析利器
    222

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 大数据实时计算框架Spark快速入门
  • SQL进阶及查询

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • PolarDB for AI：在数据库中通过SQL实现AI能力
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
  • 使用Flink实时发现最热Github项目
  • SQL进阶之约束、索引
  • SQL进阶之子句、关键字和操作符
  • 一小时快速掌握 SQL 语法
    • 下一篇
    阿里云oss简介和如何对接使用