INTELLIGENT ENVIRONMENT & WIRELESS SENSING

知的環境・無線センシング 大阪大学 大学院情報科学研究科 山口研

研究キーワード

ウェアラブル スポーツセンシング 深部体温推定 メンタル・ヘルスケア・モニタリング エンゲージメント推定 家庭内行動認識 高齢者見守り 人間中心デジタルツイン

知的環境(Intelligent Environment) とは、物理的な環境に情報通信技術(ICT)やセンサーシステム、 組み込み型コンピューターを導入し、そこにいる人間の活動を支援・向上させる空間のことを指します。 単純に言えば、物理的な環境そのものが「知性」を持ち、人間のニーズや行動を察知して反応するという考え方です。

このような環境では、コンピュータやセンサが日常生活に溶け込み、人々が意識することなく自然に支援を受けられます。 例えば、ジェスチャーや音声、動きなどを通じて環境とインタラクションが可能であり、 人の行動や状況に応じて最適な反応を示します。また、ユーザーが特に指示をしなくても、環境が自ら先回りしてニーズを予測し行動するプロアクティブな性質も持っています。 知的環境を実現するには多くの課題もあり、特に、ユーザーの意図を正確に予測するアルゴリズムの開発や、ユーザーの行動を支援しつつ過剰な介入を避けるためのバランス調整、 さらには、プライバシーの観点で必要な情報のみを効率よく収集する技術的な工夫が求められています。

無線(電波)を用いた人の行動や環境センシング技術 Wi-FiやBluetoothなどの電波を利用して人や物体の動きを検出する技術や、電波の反射を利用して物体の位置や動きを把握する技術(JST さきがけプロジェクト)

  • Hikoto Iseda, Keiichi Yasumoto, Akira Uchiyama, Teruo Higashino, Daily Living Activity Recognition with Frequency-Shift WiFi Backscatter Tags, MDPI Sensors, Vol. 24, No. 11, pp. 3277, May 2024.
  • Viktor Erdelyi, Kazuki Miyao, Akira Uchiyama, Tomoki Murakami, Activity Recognition Using CSI Backscatter with Commodity Wi-Fi, The 22nd ACM International Conference on Mobile Systems, Applications, and Services (MobiSys'24 Posters)
  • Akira Uchiyama, Wireless Sensing for Future Smart Home and Society, The 34th International Conference on Computer Theory and Applications (ICCTA 2024)

など

例えばWi-Fi電波を用いて,物体や人からの反射強度を空間的に捉えることで人やモノを識別する研究を行います.電波の反射は物体の素材によって異なる特徴を持つという点に着目し,電波反射特性の異なる物質を対象ごとに別々の配置したタグを取り付けます.またBackscatterと呼ばれる技術を利用したタグを開発しています.Backscatterは鏡の反射のように,周囲の電波に影響を及ぼす状態とそうでない状態を切り替えて通信する超低消費電力の通信技術です.モノにタグを取り付けて,それぞれのタグは異なる電波変動を生み出すことで,複数の対象が存在する場合でもそれらの影響の分離を行います.さらに,複数の反射波の変動を時系列で獲得することで,特定の人やモノの位置関係から「AさんとBさんが会話している」,「Cさんがテレビを見ている」といった周囲の状況の認識を行います.また,ワイヤレスセンシングの新しいアプローチを探究しています.例えば,人の動きに応じてスイッチのオンオフを切り替える,といった工夫により,センサデバイスの電池交換といった手間を必要とせずに,医療や介護施設での高齢者の方の見守りが可能になると考えてます.

超小型3D LiDARセンサを用いた可搬型センシングデバイス「ひとなび-μ」(JST A-Stepプロジェクト)

  • Shota Yamada, Hamada Rizk, Tatsuya Amano, Hirozumi Yamaguchi, Fall Detection and Assessment using Multitask Learning and Micro-Sized LiDAR in Elderly Care, EAI MobiQuitous 2023 - 20th EAI International Conference on Mobile and Ubiquitous Systems: Computing, Networking and Services
  • Hamada Rizk, Yuma Okochi, Hirozumi Yamaguchi, Demonstrating Hitonavi-µ: A Novel Wearable LiDAR for Human Activity Recognition, Proceedings of the 28th Annual International Conference on Mobile Computing And Networking (MobiCom '22) POSTER/DEMO, pp.756 - 757 (BEST DEMO AWARD)

など.「ひとなび-μ」プロジェクトのページはこちら

NICT委託研究「新生活様式におけるコミュニティ形成のためのサイバーフィジカル空間共有基盤」プロジェクト プライバシー保護

  • Tomokazu Matsui, Shigetomo Sakuma, Yuki Mishima, Hirohiko Suwa, Keiichi Yasumoto, Tatsuya Amano, and Hirozumi Yamaguchi, "Understanding Privacy Awareness in Immersive Spatial Sharing System", Sensors and Materials, Volume 36, Number 10(3) (2024), pp. 4567-4583
  • Tatsuya Amano, Teruhiro Mizumoto, Srikant Manas Kala, Hirozumi Yamaguchi, Tomokazu Matsui, Keiichi Yasumoto, "Visual Privacy Control for Metaverse and the Beyond", IEEE Pervasive Computing, 2024

など.空間共有プロジェクトのページはこちら

スマートフォンセンシングを用いた登校問題の早期発見 Viktor Erdélyi, Teruhiro Mizumoto, Yuichiro Kitai, Daiki Ishimaru, Hiroyoshi Adachi, Teruo Higashino, Manabu Ikeda, IEEE Access

新生児熱モデルによる体温推定 Natsumi Sakamoto, Hiroki Kudo, Akira Uchiyama, Keisuke Hamada, Eiji Hirakawa, "A Preliminary Study on Core Temperature Estmiation Using a Neonatal Thermal Model via Backpropagation Algorithm", In Proc. of the EAI MobiQuitous 2024- 21st EAI International Conference on Mobile and Ubiquitous Systems: Computing, Networking and Services, (to appear)

ウェアラブルセンサの発展により,様々な生体データを手軽に収集することが可能となりました. 我々は,これらの生体データを病院・スポーツジムや大学などの多種多様な環境において収集し,深部体温推定法の改良や,熱中症の予兆検知,ストレスレベルの推定といった目的で利用する方法を研究しています.

さらに研究トピックの一部を紹介します

BackscatterによるWi-Fi CSI行動認識 大阪大学 山口研

BackscatterによるWi-Fi CSI行動認識

Wi-FiのCSI(チャネル状態情報)を使用した活動認識は、低コストでWi-Fiデバイスのみで高齢者の監視などに利用できるため、注目されています。しかし、CSIベースのセンシングの精度とカバレッジは、環境内のWi-Fiデバイスの数に依存して...

Backscatter 行動認識 無線センシング +2
三次元点群に基づく転倒検知 大阪大学 山口研

三次元点群に基づく転倒検知

高齢者にとって転倒は重大な健康リスクであり,WHOは転倒が世界で2番目に多い偶発的な死亡原因であるとしています.特に日本では,高齢化が進むこともあり,家庭内での死亡事故の主な原因となっています.転倒は骨折や頭部外傷を引き起こし,要介護状態や...

転倒検出 プライバシー保護 LiDAR
Bluetooth Channel Sounding を用いた人の存在検知手法 大阪大学 山口研

Bluetooth Channel Sounding を用いた人の存在検知手法

子供が車内に取り残される事故は, 国内外問わず深刻な社会問題となっている. 置き去り防止のため,重量センサ,カメラ,ミリ波レーダーなど,様々な機器を用いた方式が提案されており,それらの一部は既に実用化されている.しかし,導入コストの問題や,...

Bluetooth Channel Sounding BLE 無線センシング +1
Wi-Fi CSI による屋内ドローンのプロペラ回転数推定手法 大阪大学 山口研

Wi-Fi CSI による屋内ドローンのプロペラ回転数推定手法

ドローン技術の進化に伴い,その応用範囲は物流,監視,点検,農業など多岐にわたり,室内での活用も広がっています。しかし,ドローンの制御精度向上が大きな課題となっており,その解決には正確なプロペラ回転数の把握が不可欠です.本研究では,Wi-Fi...

WiFi CSI ドローン
Encoder-Decoder Networkを用いた環境非依存なWi-Fi行動認識 大阪大学 山口研

Encoder-Decoder Networkを用いた環境非依存なWi-Fi行動認識

Wi-Fi Channel State Information(CSI)を用いた行動認識は、ヘルスケア、スマートホーム、セキュリティといった分野で、デバイス不要かつ低コストな手法として注目されている。しかし、CSIベースの行動認識は、デバイ...

Wi-Fi CSI オートエンコーダ 行動認識 +1
サーモグラフィを用いた顔の部位別表面温度に基づく深部体温推定法の検討 大阪大学 山口研

サーモグラフィを用いた顔の部位別表面温度に基づく深部体温推定法の検討

熱中症は深部体温の上昇により発生するため,熱中症予防には深部体温のモニタリングが重要である.一般に深部体温は体内へのプローブの挿入により測定されるが,侵襲性を伴うため運動時の計測が困難である.これまでに,ウェアラブルセンサを用いた深部体温推...

深部体温推定 サーモグラフィ 特徴量選択 +2
拡張型Autoencoderに基づく環境非依存なWi-Fi CSI行動認識手法の検討 大阪大学 山口研

拡張型Autoencoderに基づく環境非依存なWi-Fi CSI行動認識手法の検討

近年,Wi-Fiを用いた人の行動認識の研究が盛んに行われています.Wi-Fiを用いることにより,映像を用いる場合よりもプライバシの懸念が少ない,充電などに伴うメンテナンスが不要,既存のWi-Fi設備が利用できるため導入コストを抑えられる,と...

Wi-Fi CSI Autoencoder 行動認識 +1
太陽電池を用いたエナジーフリーセンシングと状況認識の研究 大阪大学 山口研

太陽電池を用いたエナジーフリーセンシングと状況認識の研究

近年外部電源を必要としないIoTデバイス, とりわけEnergy-Free sensingや室内状況認識が注目されている. 太陽電池を電力源と同時にセンサーとして使用することで, ユーザの行動推定をエネルギー効率よく行うためスマー...

歩数推定 位置推定 ユーザ推定 +1
洗面行動のモニタリングによる疲労回復度推定 大阪大学 山口研

洗面行動のモニタリングによる疲労回復度推定

精神障害の労災請求件数・認定件数は年々増加傾向にあり,厚生労働省はその対策として年に1回のストレスチェックを義務付けているが,受けたダメージばかりが着目され,日々の疲労からの回復度(リカバリ)は着目されていない.他方で,IoT機器を用いた日...

疲労回復度推定 スマート歯ブラシ
Wi-Fi信号を用いた環境非依存な家庭内行動認識 大阪大学 山口研

Wi-Fi信号を用いた環境非依存な家庭内行動認識

 近年,低コストでプライバシの懸念が少ない行動認識手法として,Wi-Fi CSI(チャネル状態情報)を用いた研究が盛んに行われている.CSIは送信信号の振幅や位相がどのように変化して受信機に到達するかを表している.CSIにより,プライバシ,...

ワイヤレスセンシング 家庭内行動認識 Wi-Fi CSI +1
小型LiDARセンサを用いた3次元点群の軽量なオブジェクト検出 大阪大学 山口研

小型LiDARセンサを用いた3次元点群の軽量なオブジェクト検出

3-D認識の技術は、自動運転における障害物検知やロボティクスの分野で注目され、急速に発展しています。この3-D認識に用いられる代表的なセンサが3次元測域センサ(LiDAR)です。LiDARはレーザー光を物体に照射しその光が返ってくるまでの...

3次元点群 オブジェクト検出 LiDAR +1
ウェアラブルセンサを用いたスマートフォン装着型サーモグラフィ補正手法 大阪大学 山口研

ウェアラブルセンサを用いたスマートフォン装着型サーモグラフィ補正手法

近年スマートフォンに装着することのできる簡易型サーモグラフィが製品化されており,サーモグ ラフィによる温度計測は身近になりつつある.しかし簡易型サーモグラフィによる温度計測は環境変化に対するパラメータ調節精度などの影響から,高機能なサーモグ...

サーモグラフィ スマートフォン 基準熱源 +2
腕装着デバイスによるランニング中の心拍数測定値の信頼性推定 大阪大学 山口研

腕装着デバイスによるランニング中の心拍数測定値の信頼性推定

手首装着型デバイスによる心拍計測は、体動に伴うノイズに悩まされる。このようなノイズはセンサデータを本来の傾向から大きく逸脱させてしまうため、補正が困難である。そこで本研究では、測定された心拍数の信頼性推定手法を考案する。本手法では、体動の大...

心拍数 信頼性 腕装着型デバイス +1
車いすバスケットボールにおける単眼カメラによる選手位置情報を用いた行動認識 大阪大学 山口研

車いすバスケットボールにおける単眼カメラによる選手位置情報を用いた行動認識

近年、スポーツにおけるデータ分析が盛んになっており、特に試合中のプレーを認識することは戦術構築をする上で重要な役割を果たします。例えば、どこからシュートを打ってどれくらい成功したかといった画像のようなシュートチャートが得られると、どの方向か...

車椅子バスケットボール 行動認識 スポーツセンシング
Wi-Fiセンシングのための正弦波フレームを用いたBackscatterタグ検出法 大阪大学 山口研

Wi-Fiセンシングのための正弦波フレームを用いたBackscatterタグ検出法

人の行動やモノの状況認識に関する研究はカメラを用いたものやウェアラブルデバイスを用いたものなど様々な方式が存在しますが,それらにはプライバシの問題や充電や電池交換が必要であるといった課題があります.上述の課題を解決する手段としてBacksc...

Wi-Fiセンシング Backscatter
Backscatterタグを用いたMUSIC法による到来角推定の性能評価 大阪大学 山口研

Backscatterタグを用いたMUSIC法による到来角推定の性能評価

人や物の屋内位置情報は様々なアプリケーションに応用できると考えています.例えば,ショッピングモール,介護施設,オフィスなどで人の動きを把握したり,探し物の位置を表示したりするものを想定しています.しかし,多数の物にWi-FiやBLEの電波を...

Backscatter Wi-Fi
小型深度センサを用いた三次元点群に基づく人物識別手法 大阪大学 山口研

小型深度センサを用いた三次元点群に基づく人物識別手法

昨今COVID-19の急速な蔓延を制限するために、安全性を向上させるシステムの需要が高まっています。特に、学校や企業などといった特定の閉鎖空間内での感染拡大を防ぐためには人の接触行動の記録が重要です。そして感染を追跡するためにはリアルタイム...

人物識別 3次元点群 小型深度センサ(LiDAR)
深層学習を利用した三次元点群データに基づく着座姿勢推定 大阪大学 山口研

深層学習を利用した三次元点群データに基づく着座姿勢推定

日本人の一日の平均着座時間は約7時間と非常に長く,これは先進国及び中所得国20か国の中で一番長いと言われています.またデスクワーク時に姿勢を意識するということは非常に難しく,長い時間姿勢を意識せずに着座を続けていると,身体に大きな負担がかか...

着座姿勢 物体認識 点群 +1
LSTMを用いた電波反射パターンに基づく導電性タグ識別 大阪大学 山口研

LSTMを用いた電波反射パターンに基づく導電性タグ識別

近年,人やモノの識別(対象識別)は在庫管理や勤務時間管理,セキュリティなど様々な分野で注目を集めています.RFIDなどがこの目的でよく利用されていますが,RFIDリーダーの導入が必要となるという課題があります.一方で,Wi-Fiを使ったセン...

対象識別 Wi-Fiイメージング ワイヤレスセンシング +1