开发者社区> 阿里云实时计算Flink> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

【行业应用】阿里云实时计算 Flink 版在线教育解决方案

简介: iiMedia Research(艾媒咨询)数据显示,2020 年中国在线教育用户规模将达 3.09 亿人,市场规模将达到 4538 亿元。受政策利好、社会教育意识加强以及中小学学生升学压力等因素的积极影响,未来 K12 在线教育市场需求还将继续扩大。
+关注继续查看

行业挑战

随着互联网技术快速发展、经济水平不断提高、社会对教育重视程度也越来越高,在线教育行业的发展呈显著增长趋势。iiMedia Research(艾媒咨询)数据显示,2020 年中国在线教育用户规模将达 3.09 亿人,市场规模将达到 4538 亿元。受政策利好、社会教育意识加强以及中小学学生升学压力等因素的积极影响,未来 K12 在线教育市场需求还将继续扩大。

同时,在线教育行业与大数据及 AI 的结合也越来越紧密:

  • 人工智能:利用 AI 技术可以将知识点进行分解,构建学生知识网络,精准发现学生的知识漏洞,并即时反馈,从而有针对性的推送相关教学内容,促进个性化教学,提高学习效率。
  • 大数据:运用大数据和生物特征识别技术,可以分析学生的特征和学习状态,精准描述用户画像,掌握学生学习时的专注度和投入度。

在线教育行业实时化和智能化转型的过程中,对实时数据处理面临很多问题:

  • 数据量大:包括日志、数据库、业务集群数据等均有实时分析需求。
  • 低延时:很多场景对低延时需求非常迫切。
  • 使用角色多样化:公司中各个角色,包括 BI 分析师、其他技术人员、业务运营人员等对实时报表都有需求。
  • 需求复杂:在线教育行业业务模型复杂,一些实时 BI 场景逻辑也非常复杂,需要平台有完善的 SQL 支持。

解决方案

1 教育.jpg

在线教育行业,实时计算 Flink版的典型使用场景:

  1. 实时 ETL&索引构建:提供 Flink SQL,大大简化计算模型,降低用户使用 Flink 的门槛。
  2. 实时统计&分析:实时数仓构建。
  3. 实时机器学习平台:实时特征处理,为下游机器学习模型训练准备数据。
  4. 实时事件处理:在线教育行业定型的监控及风控业务。

实时计算 Flink版在这些场景的优势:

  1. Flink SQL大大降低实时数据处理的门槛,BI 分析师、普通工程师、业务运营人员等都可开发 Flink 任务。
  2. Checkpoint 实现 exactly-once 语意。
  3. Watermark 解决数据延时和乱序问题。
  4. 丰富的 Window 实现,满足不同业务需求。
  5. 多种内置 Connector 支持,无缝对接各种开源及云产品,大大降低生态对接成本。

成功案例

VIPKID

客户简介

VIPKID 是全球增长速度最快的在线青少儿英语教育品牌,纯北美外教 1 对 1 在线授课,通过互联网的方式将中国小朋友与北美老师连接起来。2017 年 8 月,VIPKID 推出全球首个 100% 浸入式教学在线少儿中文教育平台 Lingo Bus,正式发力中文出海业务。2019 年 6 月 11 日,VIPKID 入选“2019 福布斯中国最具创新力企业榜”。截至 2019 年 8 月,VIPKID 平台付费学生规模超过 70 万人,北美外教数量超过 9 万人。2019 年 12 月,教育部办公厅公布第一批教育 App 备案名单,VIPKID 通过备案。

*数据来源:百度百科

业务需求

  1. BI 实时指标计算:VIPKID 的核心业务场景中,需要实时统计当前时间的约课数量,是计算平台团队的一个核心需求。
  2. 实时 ETL:VIPKID 日常的业务中,包含大量的数据 ETL 工作,数据来源也非常多样,包括:

    • 在线教室网络链路的状态和日志
    • 业务系统日志
    • 业务数据
    • 操作日志

系统架构

2 教育.jpg

实时计算处理架构为 MQ + 实时计算 Flink 版:

  • 使用 MQ 对接上游的数据来源,包括日志信息、数据库、业务数据集群。
  • 然后通过实时计算 Flink版,完成对于数据的“抽取”、“转换”、“装载”;之后对接到下游的数据库,Kafka 队列、ES、大数据集群(Hadoop)。

业务总结

  1. 实时计算 Flink 版提供了完整的SQL能力,能够大大降低用户使用实时计算的门槛。VIPKID 计算平台团队使用实时计算 Flink 版,能够快速构建计算模型,响应实时指标计算需求,完成对业务需求的快速适配。
  2. 基于阿里云实时计算 Flink版,计算平台团队为公司建设了统一的实时计算平台,目前支撑了监控告警、数据清洗以及一些实时消息处理方面的需求

未来规划

  1. 从业务平台到公司平台:基于实时计算Flink 版建设实时数仓能力,延伸数据 ETL 平台到更多业务线。
  2. 商业智能从 1 到 N:扩展更多 BI 业务场景,为业务提供实时统计和数据支撑。
  3. 实时视频分析和预警:与视频分析结合,尝试实现在线教育场景分析和业务实时预警

实时计算 Flink 版产品交流群

test

阿里云实时计算Flink - 解决方案:
https://developer.aliyun.com/article/765097
阿里云实时计算Flink - 场景案例:
https://ververica.cn/corporate-practice
阿里云实时计算Flink - 产品详情页:
https://www.aliyun.com/product/bigdata/product/sc

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
[企业云-实时计算]SLS 全新 Connector 实现来看 Flink Connector 的细节(FLIP-27/FLIP-191)
背景根据之前的企业云的实时计算架构可以知道,我们的选型中,SLS 承担的重要的角色:打通弹外向弹内实时数据回流的链路作为接口 Interface,向工程和算法同学提供宽表和服务,满足业务的自定义需求。但是 SLS 的 connector 怎么说呢,几个字:严重不满足需求。目前网上搜索,大体上有以下几个实现aliyun-log-flink-connector:貌似是SLS 官方团队的实现,只提供了 
0 0
《实时计算 Flink 版独家实战秘籍》电子版地址
由阿里巴巴实时计算核心研发团队出品,技术大佬手把手教学,从基础场景解析到进阶任务迁移、demo实操等,9天帮您轻松Get企业级实时计算能力!
0 0
《Apache Flink-实时计算正当时》电子版下载地址
本书将为开发者们在第一时间 get Apache Flink 1.13 版本新特色和功能提升;同时剖析知乎、腾讯、民生银行、B站等厂商提供 Flink 在多场景中的实战经验,让你轻松 Get 企业大数据服务能力!
0 0
蚂蚁实时计算团队的Flink提交攻坚之路
flink作业提交主要分为两个阶段client段和服务端,本文主要从客户端优化出发,讲述蚂蚁技术演讲方案
0 0
《实时计算 Flink 版独家实战秘籍》电子版下载地址
由阿里巴巴实时计算核心研发团队出品,技术大佬手把手教学,从基础场景解析到进阶任务迁移、demo实操等,9天帮您轻松Get企业级实时计算能力!
0 0
《开发者专场-瓦力 探索实时计算新架构-Apache Flink 的云原生部署架构和实践最终版》电子版地址
开发者专场-瓦力 探索实时计算新架构-Apache Flink 的云原生部署架构和实践最终版
0 0
如何开通实时计算 Flink 版|学习笔记(三)
快速学习如何开通实时计算 Flink 版
0 0
实时计算 Flink 训练营场景与应用|学习笔记(三)
快速学习实时计算 Flink 训练营场景与应用
0 0
实时计算 Flink 与你相约阿里云|学习笔记(二)
快速学习实时计算 Flink 与你相约阿里云
0 0
实时计算 Flink 与你相约阿里云 | 学习笔记
快速学习实时计算 Flink 与你相约阿里云,介绍了实时计算 Flink 与你相约阿里云系统机制, 以及在实际应用过程中如何使用。
0 0
文章
问答
来源圈子
更多
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
+ 订阅
相关文档: 实时计算 Flink版
文章排行榜
最热
最新
相关电子书
更多
Apache Flink-实时计算正当时
立即下载
实时计算正当时-Apache Flink 理论和实战精解
立即下载
阿里巴巴大数据产品最新特性介绍—实时计算 Flink on Kubernetes
立即下载