人・行動・環境のセンシングと活用
スマホや装着型センサ・LiDARなどから得られるデータを集約・解析し、人々の様々な状態を推定・活用します。
メンタル/ヘルスケア・スマートエイジング
近年,ウェアラブルセンサの発展により,様々な生体データを手軽に収集することが可能となりました. 我々は,これらの生体データをスポーツジムや大学などの多種多様な環境において収集し,ウェアラブルセンサを用いた深部体温推定法の改良や,熱中症の予兆検知,ストレスレベルの推定といった目的で利用する方法を研究しています.
![洗面行動のモニタリングによる疲労回復度推定 洗面行動のモニタリングによる疲労回復度推定](https://images.microcms-assets.io/assets/1909f44556aa4db1802e23ba78dbc874/f6c97ee8479345d480930d722b3f4d3a/recovery_estimation.png?fm=webp&w=300&q=50)
洗面行動のモニタリングによる疲労回復度推定
疲労回復度推定, スマート歯ブラシ
![ウェアラブルセンサを用いたスマートフォン装着型サーモグラフィ補正手法 ウェアラブルセンサを用いたスマートフォン装着型サーモグラフィ補正手法](https://images.microcms-assets.io/assets/1909f44556aa4db1802e23ba78dbc874/d046e0a68a0548b6b5a50ad436457377/thermal_yoshikawa.png?fm=webp&w=300&q=50)
ウェアラブルセンサを用いたスマートフォン装着型サーモグラフィ補正手法
サーモグラフィ, スマートフォン, 基準熱源, 測定値補正, ウェアラブルセンサ
![敵対的生成ネットワークを用いた温冷感データセットの拡張手法 敵対的生成ネットワークを用いた温冷感データセットの拡張手法](https://images.microcms-assets.io/assets/1909f44556aa4db1802e23ba78dbc874/22d2a4f9c2204a1d91d9f58917624de1/thermal_sensation_distributions.jpg?fm=webp&w=300&q=50)
敵対的生成ネットワークを用いた温冷感データセットの拡張手法
機械学習, 敵対的生成ネットワーク(GANs), データバランシング
![機械学習における不均衡データのためのデータバランシング手法 機械学習における不均衡データのためのデータバランシング手法](https://images.microcms-assets.io/assets/1909f44556aa4db1802e23ba78dbc874/cb78bf33528e4583983fffd180807650/data_generation.png?fm=webp&w=300&q=50)
機械学習における不均衡データのためのデータバランシング手法
機械学習, 不均衡データ, データバランシング, 時系列データ
![生体センシングによる機械学習を用いた屋内居住者の温冷感推定 生体センシングによる機械学習を用いた屋内居住者の温冷感推定](https://images.microcms-assets.io/assets/1909f44556aa4db1802e23ba78dbc874/0f7d4f98aa154e84950992a9a6ca0a15/TSVNet_method.jpg?fm=webp&w=300&q=50)
生体センシングによる機械学習を用いた屋内居住者の温冷感推定
機械学習, 転移学習, サーモグラフィ, ウェアラブルセンサ, 温冷感, 時系列処理, 画像処理
![スマートウォッチによる顔接触行動のリアルタイム検出 スマートウォッチによる顔接触行動のリアルタイム検出](https://images.microcms-assets.io/assets/1909f44556aa4db1802e23ba78dbc874/faf95e0fe7af495ba98aad1d129fd5d0/face-touch.jpg?fm=webp&w=300&q=50)
スマートウォッチによる顔接触行動のリアルタイム検出
行動認識, スマートウォッチ, COVID-19
![深層学習を利用した三次元点群データに基づく着座姿勢推定 深層学習を利用した三次元点群データに基づく着座姿勢推定](https://images.microcms-assets.io/assets/1909f44556aa4db1802e23ba78dbc874/5f132cd5bc3e4f8f894bf12b46ede600/sitting-posture-assesment-based-on-point-cloud.jpg?fm=webp&w=300&q=50)
深層学習を利用した三次元点群データに基づく着座姿勢推定
着座姿勢,物体認識,点群,深層学習
![新生児熱画像を用いた体温抽出のための身体部位検出法 新生児熱画像を用いた体温抽出のための身体部位検出法](https://images.microcms-assets.io/assets/1909f44556aa4db1802e23ba78dbc874/b69a8379995b4ab58161a7a78dfe1f53/body_parts.png?fm=webp&w=300&q=50)
新生児熱画像を用いた体温抽出のための身体部位検出法
新生児, 熱画像, 部位検出, 体温抽出, 深層学習
省電力AI
近年,様々なウェアラブルデバイスが普及しつつあり,高齢者の見守りやヘルスケアなどへの応用が期待されている一方で, 充電や電池交換の手間がかかることから,依然として普及には課題が残っています. これに対して,環境発電により駆動する複数の環境発電型センサを協調させることで,充電の手間を無くしつつ, センシング性能の向上を図る取り組みが進められています.
従来,センサ間の協調は無線通信の消費電力が高すぎるため避けるべきものとされてきましたが, 近年注目を集めているbackscatter通信を用いることにより,センサ協調にかかる消費電力を大幅に抑えられることが分かってきています. 圧力や光,振動等で発電する環境発電型センサを靴や鞄,腕などの発電量が十分見込める部位に装着することにより,センサごとに役割を分担し,少ない発電量でも行動認識を行ったり, 複数センサで取得したデータを併用して行動認識の精度向上を図るといった応用が期待されています. 本研究では,これらの環境発電型センサを協調させ,機械学習によって学習済みの分類器をマイコンに実装することで「歩いている」「バス・電車に乗っている」などの移動状況の推定に取り組んでいます.
また無線センサネットワークにおける深層学習の分散実行に関する研究を行っています.無線センサーネットワークにおいて,センサーに付随するマイコンの高機能化・省電力化が進めば,従来クラウドで行っていた学習や異常検出,判定などのタスク処理をセンサーネットワークにオフローディングし,データ発生場所に近い場所でそれらを効率よく行うことができる自律的な知能センサーネットワークが実現できます。
スポーツセンシング
近年,様々なスポーツにおいてビッグデータを活用することにより,選手のパフォーマンス向上や高度な戦術プランの作成に役立てられています.
例えば,サッカーのトラキングデータを用いた機械学習に基づくプレー認識手法や 9軸センサ(3軸加速度・3軸角速度・3軸地磁気)を用いた車いすバスケットボール中の屋内位置推定に取り組んでいます. 車椅子バスケットボールの屋内位置推定では,車いすのいす下と両車輪の車軸につけられたセンサから得られたデータと事前に計測した車いす形状から,単位時間ごとの変位と方向を推定し選手一人ひとりの移動軌跡を導出します. しかし,センサデータによる屋内位置推定において累積誤差が大きな課題の一つであり,これを解決するために車いす同士の衝突を利用しています.
無線センシング
Wi-Fi電波による位置推定や行動推定などの研究を行っています.
例えばWi-Fi電波を用いて,反射強度を空間的に捉えることにより人やモノの識別行っています.電波の反射は物体の素材によって異なる特徴を持つという点に着目し,人やモノに対して電波反射特性の異なる物質を対象ごとに別々の配置したタグを取り付けます.受信機は反射波の強度を2次元的に捉え,タグの配置を読み取ることで対象の識別を行います.このようにして,対象が複数ある場合に対してもそれぞれの識別が可能になります.
またBackscatterと呼ばれる技術を利用したタグを開発しています.Backscatterは鏡の反射のように,周囲の電波に影響を及ぼす状態とそうでない状態を切り替えて通信する超低消費電力の通信技術です.人やモノにタグを取り付けて,それぞれのタグは異なる電波変動を生み出すことで,複数の対象が存在する場合でもそれらの影響の分離を行います.さらに,複数の反射波の変動を時系列で獲得することで,特定の人やモノの位置関係から「AさんとBさんが会話している」,「Cさんがテレビを見ている」といった周囲の状況の認識を行います.また,ワイヤレスセンシングの新しいアプローチを探究しています.例えば,人の動きに応じてスイッチのオンオフを切り替える,といった工夫により,センサデバイスの電池交換といった手間を必要とせずに,医療や介護施設での高齢者の方の見守りが可能になると考えます.
![拡張型Autoencoderに基づく環境非依存なWi-Fi CSI行動認識手法の検討 拡張型Autoencoderに基づく環境非依存なWi-Fi CSI行動認識手法の検討](https://images.microcms-assets.io/assets/1909f44556aa4db1802e23ba78dbc874/3ab8290bbe314073a66da26db3f7b46e/environment-independent-har-using-wifi-csi_overview.png?fm=webp&w=300&q=50)
拡張型Autoencoderに基づく環境非依存なWi-Fi CSI行動認識手法の検討
Wi-Fi CSI, Autoencoder, 行動認識, 環境非依存
![Wi-Fi信号を用いた環境非依存な家庭内行動認識 Wi-Fi信号を用いた環境非依存な家庭内行動認識](https://images.microcms-assets.io/assets/1909f44556aa4db1802e23ba78dbc874/abe8651788624de88d09dfa813ded4d0/in-home_activity_recognition.png?fm=webp&w=300&q=50)
Wi-Fi信号を用いた環境非依存な家庭内行動認識
ワイヤレスセンシング, 家庭内行動認識, Wi-Fi CSI, Wi-Fiイメージング
![Wi-Fiセンシングのための正弦波フレームを用いたBackscatterタグ検出法 Wi-Fiセンシングのための正弦波フレームを用いたBackscatterタグ検出法](https://images.microcms-assets.io/assets/1909f44556aa4db1802e23ba78dbc874/bafcabf0a75c49bf93405b0764873e3e/backscatter_tag_detection.png?fm=webp&w=300&q=50)
Wi-Fiセンシングのための正弦波フレームを用いたBackscatterタグ検出法
Wi-Fiセンシング, Backscatter
![Backscatterタグを用いたMUSIC法による到来角推定の性能評価 Backscatterタグを用いたMUSIC法による到来角推定の性能評価](https://images.microcms-assets.io/assets/1909f44556aa4db1802e23ba78dbc874/3d084793f4284159b1a870dad9267620/MUSIC_backscatter.png?fm=webp&w=300&q=50)
Backscatterタグを用いたMUSIC法による到来角推定の性能評価
Backscatter, Wi-Fi
![LSTMを用いた電波反射パターンに基づく導電性タグ識別 LSTMを用いた電波反射パターンに基づく導電性タグ識別](https://images.microcms-assets.io/assets/1909f44556aa4db1802e23ba78dbc874/5455793131c3452db5563f175a3379a4/tag_identification_using_lstm.png?fm=webp&w=300&q=50)
LSTMを用いた電波反射パターンに基づく導電性タグ識別
対象識別,Wi-Fiイメージング,ワイヤレスセンシング,深層学習