基于 YOLO11 的学生课堂行为检测：从数据标注到云上训练全流程实践

随着教育信息化的深入发展，智慧课堂已成为提升教学质量和管理效率的重要方向。通过对学生在课堂上的行为进行自动检测与分析，教师可以更直观地了解学生的参与状态、互动频率和学习专注度。本文将围绕一个学生课堂行为检测数据集，详细介绍如何使用 YOLO11 模型完成从数据准备、标注管理到模型训练与评估的完整工程化流程，并探讨如何将这一套实践迁移到云上环境，实现更高效、可复现的 AI 工程管理。

业务场景

在传统的课堂教学中，教师通常通过肉眼观察来判断学生的听课状态，这种方式不仅主观性强，而且难以做到实时、全面的覆盖。智慧课堂系统通过部署摄像头，结合计算机视觉技术，可以自动识别学生的多种行为，例如：

• 低头写字
• 低头看书
• 抬头听课
• 转头
• 举手
• 站立
• 小组讨论
• 教师指导

这些行为数据可以用于生成课堂热力图、学生参与度报告、师生互动频率统计等，为教学反思和教研活动提供数据支撑。同时，这类系统还可以辅助课堂秩序管理，例如在考试或自习场景中自动检测异常行为。

数据集说明（来源：数据集说明表）

本实践所使用的数据集名为“学生课堂行为检测数据集”，项目代号为 xueshengketangxingwei。该数据集专注于智慧课堂场景，包含了来自多个教室的监控画面，覆盖了不同角度、光线条件和学生分布情况。数据集共包含 100 张经过挑选的代表性图片，这些图片已统一整理至 label_studio_import\oss_selected_100 目录下，并生成了对应的 Label Studio 导入 JSON 文件。此外，数据集还附带了一段由这些图片生成的轮播视频，可用于项目展示或快速预览。

数据集的标注类别涵盖了上述 8 种常见课堂行为，这些类别基本覆盖了学生在课堂上的主要活动状态，能够支撑大多数课堂行为分析需求。需要注意的是，由于样本数量有限（100 张），该数据集更适合作为模型训练的概念验证（PoC）或快速原型开发使用。在实际生产环境中，建议在此基础上大幅扩充样本量，并覆盖更多教室布局、年龄段和教学场景。

云上数据存储与版本管理建议

在云上 AI 工程实践中，数据管理是第一步，也是最为关键的一步。对于课堂行为检测这类涉及大量图片和标注文件的项目，建议采用以下组织方式：

1. 对象存储（OSS）作为数据湖：将原始图片、标注结果、训练集/验证集/测试集都统一存储在对象存储服务中。例如，可以创建以下目录结构：

   oss://your-bucket/classroom-behavior/
   ├── raw_images/          # 原始图片（按日期或批次归档）
   ├── annotations/         # 标注文件（JSON/XML/TXT 格式）
   ├── datasets/            # 按版本划分的数据集
   │   ├── v1.0/
   │   ├── v1.1/
   │   └── ...
   └── models/              # 训练好的模型权重
   

2. 数据版本管理：使用 DVC（Data Version Control）或类似工具对数据集进行版本管理。每次新增样本、修正标注或重新划分数据后，都创建一个新的版本标签，确保训练结果可追溯。

3. Label Studio 与 OSS 集成：Label Studio 支持直接读取 OSS 中的图片进行标注，标注完成后将结果写回 OSS。这种方式避免了数据在本地的多次拷贝，也便于多人协作。

训练任务设计：基于 YOLO11 的课堂行为检测

YOLO11 是当前目标检测领域的主流模型之一，以其在速度和精度之间的良好平衡而著称。对于课堂行为检测这类需要实时处理多路视频流的场景，YOLO11 是一个非常合适的选择。以下是一个典型的训练任务设计示例。

训练配置示例

# classroom_behavior.yaml
path: ./datasets/classroom_behavior_v1.0  # 数据集根目录
train: images/train  # 训练集图片目录
val: images/val      # 验证集图片目录

# 类别
names:
  0: 低头写字
  1: 低头看书
  2: 抬头听课
  3: 转头
  4: 举手
  5: 站立
  6: 小组讨论
  7: 教师指导

在模型选择上，可以根据实际硬件条件和实时性要求选择不同的 YOLO11 变体（如 YOLO11n、YOLO11s、YOLO11m 等）。对于课堂场景，通常建议使用 YOLO11s 或 YOLO11m，在保证检测精度的同时，也能达到较好的推理速度。

训练流程

1. 数据预处理：将原始图片和标注文件转换为 YOLO 格式（每个图片对应一个 .txt 文件，每行记录类别和归一化后的边界框坐标）。
2. 数据划分：按照 8:1:1 的比例划分为训练集、验证集和测试集。注意确保不同集合中不包含来自同一视频片段的连续帧，避免数据泄漏。
3. 模型初始化：使用预训练权重（如 YOLO11s.pt）进行迁移学习，可以显著加快收敛速度并提高最终精度。
4. 超参数设置：根据数据集规模设置合适的超参数。对于 100 张图片的小数据集，建议使用较小的批次大小（如 batch=8）和较低的初始学习率（如 lr=0.001），并开启数据增强（如 mosaic、mixup 等）来防止过拟合。

模型评估与复核

训练完成后，需要对模型进行全面的评估。除了查看 mAP（mean Average Precision）和召回率等常规指标外，针对课堂行为检测场景，还应重点关注以下几点：

• 低置信度检测分析：课堂场景中，学生可能处于遮挡、侧脸或光线不足的位置，导致模型输出较低的置信度。需要分析这些低置信度样本的分布，判断是否存在系统性漏检。
• 群体场景中的个体识别：当多个学生距离较近时，模型是否能够准确区分每个个体的行为？例如，两个相邻的学生一个在写字、一个在看书，模型能否正确分别检测？
• 不同视角的泛化能力：教室中的摄像头通常安装在教室前方或后方，视角差异较大。需要验证模型在不同视角下的表现是否一致。

对于评估中发现的问题，可以采取以下优化策略：

• 难例挖掘：将模型检测失败的样本（如漏检、误检）收集起来，重新进行人工复核和修正标注，然后加入训练集进行迭代训练。
• 数据增强：针对光照变化、遮挡等场景，增加对应的数据增强操作，如随机亮度调整、随机遮挡（Random Erasing）等。
• 模型集成：在资源允许的情况下，可以训练多个不同初始化的模型，然后进行集成推理，以提高检测的稳定性。

工程化落地注意点

将训练好的 YOLO11 模型部署到实际的智慧课堂系统中，还需要考虑以下几个工程化问题：

1. 推理服务设计：建议将模型封装为 RESTful API 或 gRPC 服务，支持单张图片和批量图片的推理。同时，需要设计合理的超时和重试机制，以应对网络波动或服务过载。

2. 视频流处理：课堂行为检测通常需要处理实时视频流。可以使用 RTSP/RTMP 协议接入摄像头，通过视频帧抽帧（如每秒 2-5 帧）进行推理，避免对每一帧都进行处理，以平衡计算资源消耗和检测实时性。

3. 结果后处理：模型输出的检测结果（类别、置信度、边界框）需要进行后处理，例如使用 NMS（非极大值抑制）去除重复框，并根据业务规则过滤掉置信度过低的检测结果。此外，还可以结合时间序列信息（如连续多帧的检测结果）来平滑行为判断，减少单帧误检的影响。

4. 云上部署与弹性伸缩：在云上部署推理服务时，建议使用容器化技术（如 Docker + Kubernetes）进行管理。根据课堂数量和使用时段，可以设置自动扩缩容策略，在高峰时段（如下午第一节课）自动增加推理节点，在低峰时段释放资源以节省成本。

5. 数据合规与隐私保护：课堂行为检测涉及学生的人脸和活动信息，必须严格遵守数据隐私法规。建议在采集和存储阶段对人脸进行脱敏处理（如模糊化），并设置严格的访问权限控制。推理服务返回的结果应只包含行为类别和统计信息，不包含原始图像数据。

素材配图建议

• 在介绍数据集样本来源和场景背景时，可使用以下图片展示教室场景的典型画面：
  

• 在讲解数据标注流程和类别体系时，可使用 Label Studio 标注界面截图：
  

• 在展示模型验证结果和检测效果时，可使用模型验证结果截图：
  

• 在介绍模型训练流程和环境配置时，可使用训练操作界面截图：
  

总结

本文围绕学生课堂行为检测这一具体业务场景，详细介绍了从数据集准备、标注管理、YOLO11 模型训练到评估与工程化落地的全流程实践。通过将这一套流程迁移到云上环境，可以实现数据的高效存储与版本管理、训练任务的弹性调度以及推理服务的自动化部署。

需要强调的是，本文所使用的数据集仅包含 100 张图片，属于小规模验证集。在实际生产项目中，建议将样本量扩充至数千甚至数万张，并覆盖更多样的教室布局、光照条件和学生年龄段。同时，模型的训练和优化是一个持续迭代的过程，需要结合业务反馈不断收集难例、修正标注、调整模型结构，才能最终达到可商用的检测精度和稳定性。

希望本文的实践分享能为正在构建或优化课堂行为分析系统的开发者提供一些参考和启发。