Journal · 2020
FlowScan: Estimating People Flows on Sidewalks Using Dashboard Cameras Based on Deep Learning
Abstract
In this paper, we propose FlowScan: a pedestrian flow estimation technique based on a dashboard camera. Grasping flows of people is important for various purposes such as city planning and event detection. FlowScan can estimate pedestrian flows on sidewalks without taking much cost. Currently, dashboard cameras have been becoming so popular for preserving the evidence of traffic accidents and security reasons. FlowScan assumes that an application which analyzes video from the camera is installed on an on-board device. To realize such an application, we need to design a method for pedestrian recognition and occlusion-proof tracking of pedestrians. For pedestrian recognition, the application uses Deep Learning-based techniques; CNN (Convolutional Neural Networks) and LSTM (Long-Short-Term-Memory). In this process, the faces and backs of their heads are searched in the video separately to detect not only the number of pedestrians but also their directions. Then, a series of detected positions of heads are arranged into tracks depending on the similarity of locations and colors considering the knowledge about the movement of the vehicle and pedestrians. We have evaluated FlowScan using real video data recorded by a dashboard camera. The mean absolute error rate for people flow estimation of both directions was 18.5%, highlighting its effectiveness compared with the state-of-the-art.
Research Note
歩行者の流れを把握することは都市計画やイベントの検知に役立ちますが、そのために計測機器を街なかに設置していくとコストがかさみます。一方で、事故の証拠を残す目的や防犯のためにドライブレコーダーを積んだ車はすでに大量に走っているので、その映像を使えれば追加の設置なしに歩道の人流を測れることになります。
本研究の FlowScan は、車載機器の上で動くアプリケーションが車載カメラの映像を解析するという想定で設計されています。ここで必要になるのは、歩行者を認識することと、車も歩行者も動いているなかで隠れが起きても追跡を切らさないことの二つです。
歩行者の認識には CNN と LSTM を使っており、顔と後頭部を別々に探すという作り方をしています。こうすることで人数を数えるだけでなく、それぞれの歩行者がどちらを向いて歩いているかまで同時に得られます。そのうえで、検出された頭の位置の並びを、位置と色の似かよいに加えて車と歩行者それぞれの動きに関する知識を使ってつなぎ、軌跡にまとめます。
実際にドライブレコーダーで撮影した映像による評価では、双方向の人流推定における平均絶対誤差率は 18.5% となり、既存の最高性能の手法を上回りました。
