国際会議 · 2023
Multi-Person Tracking Method Robust to Dynamic Viewport Changes for AR apps
Abstract
Augmented reality (AR) devices have gained a lot of attention in recent years due to their ability to enhance people’s abilities through 2D/3D spatial sensing and recognition functions. RGB cameras are most often used as sensors in this type of spatial recognition, and a particularly important task is the detection and tracking of objects and people in physical space. However, the camera positions and orientations on AR devices such as smartphones and smart glasses, frequently change due to the user wearing them on their head, leading to non-linear and complex motion in the video frames and reducing the accuracy of tracking people. To address this issue, the proposed method combines person re-identification based on deep metric learning with trajectory prediction to estimate the person’s sequential positions in 3D space around the camera. The experimental result shows 95.45% accuracy with our dataset.
解説
近年，Augmented Reality（AR）グラスやスマートグラスが備えるRGBカメラや深度カメラを用いて現実空間の人やモノを認識が行われている．それらに関するサイバー情報を現実空間映像やグラスに重畳して表示する様々なアプリケーションが提案されている．例えばスポーツ分野では，カメラによって試合やトレーニング中の選手を検出・識別し，スマートグラスを装着する観客やコーチに対してそれらのデバイスを通して選手情報を提供するシステムも提案されている．このようなスマートグラス用アプリケーションの実現のためには，カメラが捉えた映像中の人の追跡が不可欠である．
映像中の物体追跡手法は数多く提案されている．例えばDeepSORTは，物体検出手法Yoloを用いて画像内の対象オブジェクトを検出し，2次元画像フレーム内での移動を想定したカルマンフィルタを用いて連続フレーム間で対象物体の追跡を実現する．しかしDeepSORTを含め，既存の映像中の人物追跡手法は定点観測映像を想定しているものが多い．実際，カメラの位置や向きが変化する状況では，数フレーム以上に渡る遮蔽（オクルージョン）や追跡対象の画像フレーム内，あるいはフレーム内外での想定以上の移動が頻繁に発生する．そのため安定的な移動を想定しているカルマンフィルタでは追跡精度が大幅に低下するといった課題がある．
本研究では，定点観測映像の既存の複数人物追跡（MOT）手法に対し，映像内で新たに検出された人物が過去に追跡されていた人物かどうかを判定する手法を提案する．過去に検出された人物であればどの人物かを識別する人物再識別（Re-ID）を適切に適用することで，スマートグラスが捉える可変視点の動画像に出現する人物を継続的に追跡する．また一度検出した人物は，最後に映像から消失した位置と時刻からその存在位置を推定し続ける．そしてスマートグラスの視線方向および位置を元に，現在の視野内にその人物が含まれるかを推定することで，明らかに存在し得ない人物を再識別対象とすることを抑制する．これにより人物再識別精度の向上を図る．
発表論文
- 高橋直也, 天野辰哉, 山口弘純, & 東野輝夫. (2021). 深層距離学習を用いた AR デバイス向けの人物識別手法. マルチメディア, 分散協調とモバイルシンポジウム 2021 論文集, 2021(1), 388-394.
- 高橋直也, 天野辰哉, & 山口弘純. (2021). スマートグラスの可視領域情報を用いた不連続動画上の人物追跡. 研究報告モバイルコンピューティングと新社会システム (MBL), 2021(29), 1-8.
- Takahashi, N., Amano, T., & Yamaguchi, H. (2023, June). Multi-Person Tracking Method Robust to Dynamic Viewport Changes for AR apps. In 2023 19th International Conference on Intelligent Environments (IE) (pp. 1-4). IEEE.
関連プロジェクト
