项目：专注力辅助训练装备

作品背景

线上教育日益发展、网络教育资源日益优化的当今，如何提高学生在无人监督环境下的专注力水平，以及实现师生有效交流，成为了线上教育进一步发展的必要需求。本项目针对该问题提出了一个解决方案，即以学生的姿态及面部信息为基础，通过检测、判断、识别等手段，为教育平台提供一定的反馈，例如捕获学生的疑惑表情以及相应动作，给老师传递即时信息，促进师生的交流。同时，若能够将项目进一步延伸，线下授课以及考试等同样有其功能，特别是涉及到高考等规格高、规模大的考试，实现人工智能监考。

作品功能

以图像识别，姿势识别，面部神态识别为基础，对学生学习的专注力水平进行评定，得到的专注力信息以及专注力谷峰对应的视频剪辑结果通过蓝牙传送给手机APP或者电脑软件，APP或者软件对信息进行处理，对学生进行监督提醒，对老师进行反馈。从而提高授课效率以及学生专注力的训练。

技术实现

综上所述，该系统的工作分为三个阶段，即专注力收集，专注力分析以及视频剪辑，应用端对老师学生进行反馈。

目前各个功能的实现方案：

姿势识别：自己复现现有模型以及使用数据集识别出人体的关节，数据集方面将网上现有的数据集进行重新标注，加上自己收集的数据集，将输出作为专注力评分的标准之一。例如商汤的视觉处理开源项目openmmlab便是一个比较好的参考对象。

神态识别：阅读相关论文和项目实现，收集数据集，使用深度学习方法对人脸的神态进行识别，并且将模型输出作为专注力评分的标准之一。目前的难点在于如何实现精细化的识别，因为人类的面部动作及其微妙，这因此也是我们需要克服的一个方面。分为两个阶段，第一个阶段是识别人脸，使用mtcnn和facenet可以解决，第二阶段打算复现论文中的模型，使用数据集CK+来实现这一功能。

专注力分析：使用mysql语言存储收集到的各个时段的专注力信息以及得分，然后使用这些信息自己建立数学模型对专注力进行评分，并且对特定的视频片段进行剪辑。将剪辑好的视频和信息通过蓝牙传输到应用端。
AI剪辑方法：根据数据库中专注力的高峰时段，以此为依据进行视频的挑选，使用python的moviepy库对对采集到的视频进行剪辑，添加字幕等操作。

反馈：使用QT软件制作手机APP，实现弹出提醒信息，必要时候可以锁机，并且实现专注力高峰低谷点播功能。

标签：赛道,开新坑,实现,剪辑,信息,专注,海思,识别,进行
来源： https://www.cnblogs.com/xianyi-yk/p/14764328.html