ICMU2025@釜山
国際会議ICMU2025にて4件の研究発表、Best Paper Candidate受賞
研究発表 受賞
国際会議 · 2025
Student Engagement Measurement Through Micro-Action Detection with Multi-Modal Foundation Model
Abstract
Accurately measuring student engagement in collaborative learning environments is essential yet challenging, especially in dynamic group settings where traditional methods like analyzing facial expressions and speech patterns are often inadequate. This paper introduces a novel approach that focuses on detecting micro-actions, which offer a more consistent and reliable gauge of engagement across such settings. Instead of creating individual detectors for each micro-action, our method utilizes ImageBind, a pre-trained multimodal foundation model. This model efficiently encodes text, video, and audio into a unified latent space. We generate textual descriptions of these microactions and convert them, along with real-time classroom video and audio data, into comparable latent space representations. The resulting similarities between these representations are used as features for an engagement-level classifier. Our method was validated in a simulated university setting with eight groups of three students each performing a 20 -minute programming task, achieving an accuracy of 80.1 % in classifying engagement levels. It demonstrated real-time processing capabilities, confirming its practicality for classroom use. This enhances the deployment of AI-driven tools to improve educational outcomes by providing reliable engagement measurement.
解説
グループ学習が身についているかどうかを測ろうとすると、表情や発話の分析がよく使われますが、複数人が動き回る場では顔が映らない時間も長く、誰が話しているのかもはっきりしません。そこで本研究が着目したのが微細動作です。うなずく、手元の資料に手を伸ばす、身体の向きを変えるといった小さな動きは、そうした場でも比較的安定して観測でき、関与の度合いをよく表します。
ただ、微細動作ごとに検出器を作っていくと種類の数だけ学習データが必要になります。ここで使われているのがマルチモーダル基盤モデルという考え方です。ImageBind は、テキストと映像と音声を一つの共通した潜在空間に埋め込むよう事前学習されたモデルで、種類の違うデータどうしを同じ土俵で比較できるようにします。
この性質を使うと、微細動作の検出を「その動作を説明する文章と、いま撮れている映像と音声が、どれくらい近いか」という類似度の計算に置き換えられます。動作ごとの検出器を用意せずに済み、新しい動作を足したいときは説明文を書き足すだけで対応できます。本研究はこの類似度を特徴量として関与度の分類器に入力しています。
大学を模した環境で 3 人ずつ 8 グループが 20 分のプログラミング課題に取り組む様子で検証したところ、関与度の分類精度は 80.1% でした。実時間で処理できることも確認されており、教室での利用に耐えることを示しています。
関連する研究室活動
