【行业应用】阿里云实时计算 Flink 版在线教育解决方案

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: iiMedia Research(艾媒咨询)数据显示,2020 年中国在线教育用户规模将达 3.09 亿人,市场规模将达到 4538 亿元。受政策利好、社会教育意识加强以及中小学学生升学压力等因素的积极影响,未来 K12 在线教育市场需求还将继续扩大。

行业挑战

随着互联网技术快速发展、经济水平不断提高、社会对教育重视程度也越来越高,在线教育行业的发展呈显著增长趋势。iiMedia Research(艾媒咨询)数据显示,2020 年中国在线教育用户规模将达 3.09 亿人,市场规模将达到 4538 亿元。受政策利好、社会教育意识加强以及中小学学生升学压力等因素的积极影响,未来 K12 在线教育市场需求还将继续扩大。

同时,在线教育行业与大数据及 AI 的结合也越来越紧密:

  • 人工智能:利用 AI 技术可以将知识点进行分解,构建学生知识网络,精准发现学生的知识漏洞,并即时反馈,从而有针对性的推送相关教学内容,促进个性化教学,提高学习效率。
  • 大数据:运用大数据和生物特征识别技术,可以分析学生的特征和学习状态,精准描述用户画像,掌握学生学习时的专注度和投入度。

在线教育行业实时化和智能化转型的过程中,对实时数据处理面临很多问题:

  • 数据量大:包括日志、数据库、业务集群数据等均有实时分析需求。
  • 低延时:很多场景对低延时需求非常迫切。
  • 使用角色多样化:公司中各个角色,包括 BI 分析师、其他技术人员、业务运营人员等对实时报表都有需求。
  • 需求复杂:在线教育行业业务模型复杂,一些实时 BI 场景逻辑也非常复杂,需要平台有完善的 SQL 支持。

解决方案

1 教育.jpg

在线教育行业,实时计算 Flink版的典型使用场景:

  1. 实时 ETL&索引构建:提供 Flink SQL,大大简化计算模型,降低用户使用 Flink 的门槛。
  2. 实时统计&分析:实时数仓构建。
  3. 实时机器学习平台:实时特征处理,为下游机器学习模型训练准备数据。
  4. 实时事件处理:在线教育行业定型的监控及风控业务。

实时计算 Flink版在这些场景的优势:

  1. Flink SQL大大降低实时数据处理的门槛,BI 分析师、普通工程师、业务运营人员等都可开发 Flink 任务。
  2. Checkpoint 实现 exactly-once 语意。
  3. Watermark 解决数据延时和乱序问题。
  4. 丰富的 Window 实现,满足不同业务需求。
  5. 多种内置 Connector 支持,无缝对接各种开源及云产品,大大降低生态对接成本。

成功案例

VIPKID

客户简介

VIPKID 是全球增长速度最快的在线青少儿英语教育品牌,纯北美外教 1 对 1 在线授课,通过互联网的方式将中国小朋友与北美老师连接起来。2017 年 8 月,VIPKID 推出全球首个 100% 浸入式教学在线少儿中文教育平台 Lingo Bus,正式发力中文出海业务。2019 年 6 月 11 日,VIPKID 入选“2019 福布斯中国最具创新力企业榜”。截至 2019 年 8 月,VIPKID 平台付费学生规模超过 70 万人,北美外教数量超过 9 万人。2019 年 12 月,教育部办公厅公布第一批教育 App 备案名单,VIPKID 通过备案。

*数据来源:百度百科

业务需求

  1. BI 实时指标计算:VIPKID 的核心业务场景中,需要实时统计当前时间的约课数量,是计算平台团队的一个核心需求。
  2. 实时 ETL:VIPKID 日常的业务中,包含大量的数据 ETL 工作,数据来源也非常多样,包括:

    • 在线教室网络链路的状态和日志
    • 业务系统日志
    • 业务数据
    • 操作日志

系统架构

2 教育.jpg

实时计算处理架构为 MQ + 实时计算 Flink 版:

  • 使用 MQ 对接上游的数据来源,包括日志信息、数据库、业务数据集群。
  • 然后通过实时计算 Flink版,完成对于数据的“抽取”、“转换”、“装载”;之后对接到下游的数据库,Kafka 队列、ES、大数据集群(Hadoop)。

业务总结

  1. 实时计算 Flink 版提供了完整的SQL能力,能够大大降低用户使用实时计算的门槛。VIPKID 计算平台团队使用实时计算 Flink 版,能够快速构建计算模型,响应实时指标计算需求,完成对业务需求的快速适配。
  2. 基于阿里云实时计算 Flink版,计算平台团队为公司建设了统一的实时计算平台,目前支撑了监控告警、数据清洗以及一些实时消息处理方面的需求

未来规划

  1. 从业务平台到公司平台:基于实时计算Flink 版建设实时数仓能力,延伸数据 ETL 平台到更多业务线。
  2. 商业智能从 1 到 N:扩展更多 BI 业务场景,为业务提供实时统计和数据支撑。
  3. 实时视频分析和预警:与视频分析结合,尝试实现在线教育场景分析和业务实时预警

实时计算 Flink 版产品交流群

test

阿里云实时计算Flink - 解决方案:
https://developer.aliyun.com/article/765097
阿里云实时计算Flink - 场景案例:
https://ververica.cn/corporate-practice
阿里云实时计算Flink - 产品详情页:
https://www.aliyun.com/product/bigdata/product/sc

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
3天前
|
SQL 关系型数据库 MySQL
实时计算 Flink版操作报错合集之从mysql读数据写到hive报错,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
3天前
|
SQL 流计算
实时计算 Flink版操作报错合集之怎么向一个未定义列的表中写入数据
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
3天前
|
数据采集 DataWorks 数据库
DataWorks产品使用合集之是否可以和Flink 实时计算结合使用
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
3天前
|
存储 JSON Kubernetes
实时计算 Flink版操作报错合集之 写入hudi时报错,该如何排查
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
3天前
|
资源调度 分布式计算 Hadoop
实时计算 Flink版操作报错合集之perjob提交给yarn,报错显示无法连接yarn- Connecting to ResourceManager,是什么导致的
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
4天前
|
消息中间件 Kafka 数据处理
实时计算 Flink版操作报错合集之使用kafka connector时,报错:java.lang.ClassNotFoundException,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
3天前
|
消息中间件 关系型数据库 MySQL
实时计算 Flink版操作报错合集之运行mysql to doris pipeline时报错,该如何排查
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
4天前
|
消息中间件 分布式计算 Hadoop
实时计算 Flink版操作报错合集之使用flink jar开发,报错:找不到main方法,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
3天前
|
Oracle 关系型数据库 Java
实时计算 Flink版操作报错合集之cdc postgres数据库,当表行记录修改后报错,该如何修改
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
3天前
|
消息中间件 关系型数据库 MySQL
实时计算 Flink版操作报错合集之整库同步mysql到starRock提交任务异常,该如何处理
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。

热门文章

最新文章

相关产品

  • 实时计算 Flink版