Robust Pedestrian Tracking Against Occlusions in Public Spaces Using 3D Point Clouds from Depth/LiDAR Sensors

We propose an approach to pedestrian tracking in a public passageway with pedestrians, such as those carrying luggage and baby strollers, and family groups close to each other, based on 3D point cloud data captured by a single 3D depth sensor. Since we assume a wall-attached sensor, which is easy to deploy in passageways, pedestrians walking nearby the sensor frequently occlude the others behind. This causes a severe error in pedestrian segmentation in the 3D point cloud and Kalman-filter-based tracking. We introduce a new technique to spatially complement the missing part of segments in Kalman-filter-based multi-object tracking to cope with this issue. We have evaluated our method using the 3D point cloud data capturing pedestrians at the entrance of an existing commercial facility (shopping small) and the one collected in our laboratory space. As a result, the tracking accuracy index (MOTA) for multiple objects is 0.914, with severe and frequent occlusions.

Demonstration



Published Paper:

• 右京莉規, 扇田幹己, 山田遊馬, 廣森聡仁, 山口弘純, & 東野輝夫. (2020). 三次元深度センサーを用いた移動制約者検出手法の提案と評価. マルチメディア, 分散協調とモバイルシンポジウム 2204 論文集, 2020, 1280-1289.
• 右京莉規, 廣森聡仁, 山口弘純, & 東野輝夫. (2020). 公共空間における三次元点群の不完全性に対して堅牢な歩行者トラッキング手法. 研究報告マルチメディア通信と分散処理 (DPS), 2020(2), 1-8.
• 右京莉規, 天野辰哉, 廣森聡仁, 山口弘純, & 東野輝夫. (2021). 多様な人物属性を考慮した堅牢なトラッキング手法の実装と評価. 研究報告モバイルコンピューティングと新社会システム (MBL), 2021(25), 1-8.
• 右京莉規, 天野辰哉, 廣森聡仁, 山口弘純, & 守屋充雄. (2021). 複数 LiDAR による大規模三次元点群を用いた歩行者トラッキング手法の実装と評価. 研究報告モバイルコンピューティングと新社会システム (MBL), 2021(28), 1-7.
• Riki Ukyo, Tatsuya Amano, Akihito Hiromori and Hirozumi Yamaguchi, "Pedestrian Tracking in Public Passageway by Single 3D Depth Sensor", Proceedings of the 2022 IEEE International Workshop on Pervasive Computing for Vehicular Systems Co-located with IEEE PerCom 2022, pp. 581-586
• 右京莉規, 天野辰哉, 廣森聡仁, & 山口弘純. (2022). 3 次元点群を用いた高密度群衆の人数推定手法. マルチメディア, 分散, 協調とモバイルシンポジウム 2022 論文集, 2022, 852-858.
• 右京 莉規, 天野 辰哉, 廣森 聡仁, 山口 弘純, 東野 輝夫, "公共空間における三次元点群の不完全性に対して堅牢な歩行者トラッキング手法", 情報処理学会論文誌, Vol.63, No.8, pp.1361-1370 (2022-08-15)
• 右京莉規, 天野辰哉, & 山口弘純. (2023). 3 次元点群を用いた不規則に移動する高密度群衆下での歩行者トラッキング. マルチメディア, 分散, 協調とモバイルシンポジウム 2023 論文集, 2023, 986-995.
• Ukyo, R., Amano, T., Rizk, H., & Yamaguchi, H. (2023, September). Pedestrian tracking using 3d lidars–case for proximity scenario. In 2023 IEEE 26th International Conference on Intelligent Transportation Systems (ITSC) (pp. 4683-4689). IEEE.