WiMob2022@ギリシャ
ギリシャ・テッサロニキで開催されたWiMob2022で2件の口頭発表
その他
国際会議 · 2022
Semantic Communication for Capacity-aware Remote Collaboration
Abstract
The global spread of coronavirus has sparked a considerable interest in technologies that facilitate seamless communication between users which are physically or spatially distant. Using current remote collaboration systems that utilize 3D sensing with LiDAR and depth cameras, point cloud streaming, and MR/VR devices, distant users can communicate with each other as if they did in person. However, these systems may violate users' privacy since they can share information of their entire personal space with other users. In addition, although various point cloud compression methods have been proposed, remote transmission of 3D scenes still requires significant bandwidth. This paper proposes a 3D spatial data sharing system based on the paradigm of “semantic communication”, i.e., controlling communication in the units of semantic objects. Our system understands the semantics of the scene and leverages point cloud streaming, thereby enabling users to assert fine-grained control over their privacy. Further, the system adaptively controls the size of the data frame based on network capacity and scene context. The experimental results show that the network delay can be reduced by 96%. We have also tested our system in a commercial 4G network, showing that 3-D spatial sharing with point clouds over severe networks is possible.
解説
新型コロナウイルスの世界的な流行をきっかけに、物理的に離れた人どうしが滞りなくやり取りするための技術に関心が集まりました。LiDAR や深度カメラによる 3 次元センシング、点群のストリーミング、MR や VR の機器を使う遠隔協調システムを使えば、離れた相手と対面しているかのように話せます。
ただ、この方式には二つの難点があります。一つは、自分の私的な空間の情報がまるごと相手に渡ってしまうこと。もう一つは、点群の圧縮手法が各種提案されてきたにもかかわらず、3 次元の場面を遠隔に送るにはなお相当な帯域が要ることです。
本研究が持ち込んでいるのが意味通信という考え方です。データを信号の羅列として送るのではなく、意味を持つ物体という単位で扱い、その単位で通信を制御します。こうすると、どの物体を送りどの物体を送らないかを選べるようになるので、プライバシーの制御と帯域の削減が同じ仕組みの上で成り立ちます。何を送るかを選べること自体が、両方の問題への答えになるわけです。
提案するシステムは場面の意味を理解したうえで点群のストリーミングを行い、利用者が自分のプライバシーを細かく制御できるようにします。さらに、ネットワークの容量と場面の文脈に応じてデータフレームの大きさを適応的に制御します。実験ではネットワーク遅延を 96% 削減できました。商用の 4G 網でも試験しており、条件の厳しい回線の上でも点群による 3 次元空間共有が成り立つことを示しています。
関連プロジェクト
新生活様式におけるコミュニティ形成のためのサイバーフィジカル空間共有基盤
NICT（情報通信研究機構） 高度通信・放送研究開発委託研究
ウイルス等感染症対策に資する情報通信技術の研究開発 課題C: アフターコロナ社会を形成するICT
