2. 脳の情報処理機能に着想を得たネットワーク化プラットフォームに関する研究
2.1. 脳の情報処理機能のネットワーク化プラットフォームへの応用に関する研究
2.1.1. 脳の情報処理機構に着想を得たマルチモーダルオブジェクト認識技術に関する研究（NEC B5G協働研究所の成果）
Beyond 5G/6Gにおいては、膨大な数のセンサ機器（IoT 機器）の接続をサポートするMassive Machine Type Communications (mMTC) の要件が着目されている。センサから得られる情報の応用例として、実世界のさまざまな物体を瞬時に識別し、その位置を特定し、仮想世界上に表現する、デジタルツインの実現が望まれている。近年、CNN（畳み込みニューラルネットワーク）などの機械学習分野の発展が目覚ましく、映像解析の分野では高い認識率が達成されている。しかしながら、エッジコンピュータのように、計算資源が限られている場合は、リアルタイムかつ高精度な物体認識を常に提供することは非常に困難である。また、センサ機器から得られる情報の不確かさに起因する認識率の低下を解決することも重要な課題となる。
不確実な観察情報に基づいて判断を行うシステムの身近な例として、人の脳がある。近年、脳の情報処理機構を数理的にモデル化する研究が進められており、その一つに、ベイジアンアトラクターモデル（BAM）がある。BAMでは観測情報に基づいた人の意思決定過程がモデル化されている。また、人の脳では、視覚や聴覚といった複数のモダリティから得た情報を適切に統合する機能がある。この知覚過程をモデル化したベイズ型因果推論（BCI）を用いてBAMを拡張することで、マルチモーダルな観測情報に基づく意思決定過程モデルを構築した。
3Dカメラ（DepthセンサとRGBカメラ）から撮影した映像を分析し、映像・位置に関する特徴量を抽出し、認識した結果をマルチモーダル統合する手法によって、認識誤り率の低下を抑制可能であることを示した。また、LiDARを用いて取得した点群を分析し、物体の三次元座標位置に関する特徴量を抽出し、前述のマルチモーダル認識手法に組み込んだ。これにより、認識精度の向上が実現できることを示した。さらに、映像に含まれる複数の物体を認識する際に、それらの持つ時空間的な情報に基づく制約（例えば同じ物体は１つまでしか存在しない）を与えることで、認識精度を向上できることを示した。
[関連発表論文]
- Ryoga Seki, Daichi Kominami, Hideyuki Shimonishi, Masayuki Murata, and Masaya Fujiwaka, “Object recognition method for digital twin inspired by multimodal information processing in the human brain,” submitted for publication, March 2024.
- Haruhito Ando, Daichi Kominami, Ryoga Seki, Masayuki Murata and Hideyuki Shimonishi, “Multimodal object recognition using Bayesian attractor model for 2D and 3D data,” in Proceedings of 27th Conference on Innovation in Clouds, Internet and Networks (ICIN 2024), March 2024.
- 安藤 覇人, 小南 大智, 関 良我, 村田 正幸, 下西 英之, “脳の情報処理モデルに基づく 3 次元点群と RGB 画像を用いたマルチモーダルな物体認識手法の実装および評価,” 電子情報通信学会 ネットワークシステム研究会, February 2024.
- 下西 英之，小南 大智，大下 裕一, “ローカル 5G・デジタルツインテストベッド,” 大阪大学先導的学際研究機構 DX 社会研究部門シンポジウム～6G 社会の実現に向けた革新的技術開発～（ポスター発表）, January 2024.
- 小南 大智，下西 英之，村田 正幸, “人の脳に倣ったマルチモーダル物体認識技術,” 大阪大学先導的学際研究機構 DX 社会研究部門シンポジウム～6G 社会の実現に向けた革新的技術開発～（ポスター発表）, January 2024.
2.1.2. Magnitude-Sensitivityを用いたエッジ-クラウド連携制御に関する研究（NECブレイン・インスパイヤード・コンピューティング協働研究所における成果）
近年、エッジコンピューティングに対応したアプリケーションが注目されている。AI蒸留を始めとしてモデルサイズの軽減技術により、従来のクラウドで提供されるAIよりも低いレイテンシーで、計算能力の限られたエッジや端末上にコンパクトなAIモデルを配置することができる。しかし、一般的にモデルが小さいAIは精度が低いため、処理割り当てを決める際には、精度とレイテンシーのトレードオフ、さらに消費電力を考慮する必要がある。このようなタスク割り当て問題では、計算の困難さからヒューリスティックな解法が必要であるが、環境が準静的な場合、最適解から乖離が問題となる。我々の研究グループでは、準静的環境では最適解を連続的に探索し、動的な環境変化に対しては過去の準静的環境との類似性に基づいて準最適解を即座に決定するというアプローチをとっている。特に、類似性に基づく準最適解の選択には、脳の意思決定の性質であるMagnitude-Sensitivityを応用することが有効である。Magnitude-Sensitivityは良い結果をもたらす選択肢が多い場合に高速に選択を行い、逆に悪い結果をもたらす選択肢が多い場合は時間をかけて慎重に選択を行う。本研究ではゆらぎ学習における生成モデルにMagnitude-Sensitivityを取り込むことでゆらぎ学習を拡張し、エッジ-クラウド連携制御に適用した。シミュレーションを用いた評価により、提案手法は最適化ソルバーと同等の解を短時間で選択可能であることを示した。
[関連発表論文]
- Tatsuya Otoshi, Hideyuki Shimonishi, Tetsuya Shimokawa and Masayuki Murata, “Power efficient edge-cloud cooperation by value-sensitive Bayesian attractor model,” to be presented at The Sixth In-ternational Workshop on Intelligent Cloud Computing and Networking (ICCN 2024), May 2024.
2.1.3. 能動推論を用いた観測・制御ループ統合型ビームフォーミング制御に関する研究
近年、電波による無線通信とセンシングを統合的に制御するIntegrated Sensing and Communication (ISAC)が注目されている。ISACでは同一周波数・同一ハードウェアを用いてセンシングと通信を同時に行う。従来のISACでは、センシングのアプリケーションと通信のアプリケーションは異なるものと想定されている。本研究では、センシング情報を通信におけるビームフォーミング制御に活用することで、センシングと統合されたビームフォーミング制御の実現を目指している。この統合のためには、常に変動する電波環境の中で、センシングによって環境の情報を正確に把握することによる間接的な制御性能の利得と、センシングのリソースを通信側に割くことによる直接的な制御性能の利得の双方を考慮した意思決定が必要となる。人の意思決定においても、状況を正確に知るための行動を行いながら行動の決定が行われるという能動推論が常に行われている。我々は、脳の能動推論との類似性に着目し、能動推論を応用することで、センシングと統合されたビームフォーミング制御を提案している。本研究では、受信電波強度のフィードバックをセンシング情報として、送信側でビームを能動推論により選択することで、環境変動に追随してビーム選択が可能であることを示した。また、受信電波の到達時間、反射電波の到達時間を用いた端末の位置推定をセンシング情報に加えたビームフォーミング制御への拡張も行なっており、位置情報を利用することでよりスループットの高いビーム制御が可能であることを示した。
[関連発表論文]
- Tatsuya Otoshi and Masayuki Murata, “Coordinated multi-point by hierarchical active inference with position and CSI feedback,” submitted for presentation, March 2024.
- Tatsuya Otoshi and Masayuki Murata, “Beamforming with free energy principle under hierarchical codebook,” in Proceedings of International Conference on Computing, Networking and Communications (ICNC 2024), (United States), February 2024.
- Tatsuya Otoshi and Masayuki Murata, “Distributed beamforming by multi-agent active inference,” in Proceedings of International Conference on Computing, Networking and Communications (ICNC 2024), (United States), February 2024.
- Tatsuya Otoshi and Masayuki Murata and Hideyuki Shimonishi and Tetsuya Shimokawa, “Distributed timeslot allocation in mMTC network by magnitude-sensitive Bayesian attractor model,” in Proceedings of IEEE 9th International Conference on Network Softwarization (IEEE NetSoft 2023), June 2023.
- 大歳 達也, 村田 正幸, “位置と伝搬チャネルの能動的推論による基地局間協調送受信,” 電子情報通信学会 技術研究報告 (RCS2023-238), vol. 123, no. 340, pp. 181–186, January 2024.
2.1.4. 能動推論の搬送ロボット制御への適用に関する研究
近年、自律走行を行うことができるロボットが多く開発され、工場や物流倉庫内で多く活用されている。これらのロボットが動作する環境においては、荷物が一時的に置かれる等、各地点の状況は時間帯によって大きく変わる。さらには、倉庫内には作業員や他のロボットも存在し、それらとの衝突を避けつつ、ロボットによる作業を効率的に行うためには、倉庫内の不確実な状況を把握しながら、衝突のリスクを回避し、可能な限り望ましい状況となるようにロボットを制御することが必要となる。
我々は、このような不確実な状況下でのロボット制御を能動推論に基づいて行う手法の確立に向けた研究を進めている。能動推論は、我々の脳が常に予測を行い、観測とのずれが小さくなるように予測モデルの更新や行動を行うプロセスである。能動推論では、情報がなく状況を特定できていない状況から、観測と行動を繰り返し、自由エネルギーを最小化する状態が移るべき状態とし行動する。倉庫内でのロボットの動作における、壁や棚，倉庫内で働く作業者などの障害物の回避しつつ、目的となる動作を行う行動についても、状況が不明であるという情報がない状態から，探索と状況の観測を繰り返し目的地という望ましい場所へと移動を行うという解釈ができ、能動推論に基づくことで、適切なロボットの行動を決定できる可能性がある。
我々は、特に、周囲の状況を観測するようなセンサをつけた倉庫内で荷物を搬送するロボットにおける、倉庫内の状況把握しつつ荷物の搬送を行うための制御を例として、ロボット制御への能動推論の適用の検討を進めている。
[関連発表論文]
- 福山 敦也, “能動推論に基づく搬送と倉庫内の状況監視を両立する搬送ロボット制御手法の提案と評価,” 大阪大学基礎工学部情報科学科特別研究報告, February 2024.
2.1.5. 能動推論を用いた物理空間状態の実時間把握に関する研究
CPS においては物理空間を正確に把握し、仮想空間に多くの情報を集積することが求められる。しかしながら、物理空間の情報は過去情報を含めると膨大な情報量となり、仮想空間上において情報が欠損することが不可避である。そのため欠損した情報を CPS 上に存在する情報などの利用によって補う欠損情報の補間や、情報が不足している領域を能動的にセンシングすることによる欠損補填を行うことが必要となる。
以下の研究では、仮想空間上における欠損情報の補間や欠損補填を行うために物理空間にセンシングを適切に働きかけることを目標として、複数の可動式カメラによる人物探索を題材とし、能動推論による環境の状態推論と、推論に基づく観測行動の実現に取り組んでいる。能動推論は、情報の不確実性およびあいまいさを捉え、対象物の観測や自身の行動を推論する制御フレームワークであり、エージェントは環境の状態に対する事前の信念と観測結果を組み合わせることで環境の状態を確率的に推論し、かつ、自身の行動による確率の変化を把握することができる。複数の可動式カメラによる人物探索のユースケースにおいては、探索の対象となるターゲットは移動し続けるため、常に追跡し続けることは困難であり、ターゲットに関する情報が欠損する。そのため、ある可動式カメラでターゲットをセンシングできないときに、その位置を推論し、他の可動式カメラの捕捉範囲を制御することで、ターゲットをより効率的に捕捉することが期待できる。シミュレーションを用いた評価の結果、能動推論を利用しない場合に比べて、ターゲットの交差点における移動方向に一定の傾向がある場合に捕捉割合が向上することがわかった。これは、能動推論によって移動の傾向を把握しながら探索していることによるものである。また、移動方向が無作為である時は、能動推論を用いない場合と同等の捕捉割合となることも明らかとなった。
[関連発表論文]
- 小菅 瑛斗, “複数のセンサ・アクチュエータを用いた人物探索における能動推論の有効性の評価,” 大阪大学基礎工学部情報科学科特別研究報告, February 2024.
2.2. ニューロダイバーシティを理解し尊重するデジタル・ウェルビーイング空間の実現に関する研究
2.2.1. ウェルビーイング空間制御手法に関する研究（ダイキン工業株式会社との共同研究）
近年の我々を取り巻く労働環境は見直されつつあり、個人のワークライフバランスに寄り添った働き方が推奨されている。しかしながら、限界生産性向上による労働時間の短縮は、単位時間当たりで見れば労働者のストレスを高める可能性があり、個人がストレスなく伸び伸びと過ごしている状態 (ウェルビーイング) をかえって損ねてしまう可能性がある。
一般に、精神的に負荷のかかる状態においては、ある種の生体反応が現れることが知られており、ウェアラブルセンサーを用いることにより得られる生体情報から精神的な負荷状態を推定することが可能である。我々の研究グループでは、ゆらぎ学習に対してマルチモーダル統合処理を組み合わせた新たな手法を提案しており、これにより、個人差を捉えたストレスの推定が可能であることが確認できている。この手法をもとに、本研究ではウェアラブルセンサーによって個人から取得した生体情報に基づき、その人の心理的状態を推定し、その推定結果に応じて空調機器を制御して精神的負荷を和らげるための空間 (ウェルビーイング空間) を実現する。部屋の温湿度に対するストレス/非ストレス状態を推定し、推定結果に基づき空調機器の制御をリアルタイムに行う手法の提案と評価、複数アクチュエータにより個人ごとに適切な制御を実現するためのフィードバック機能の実現を行った。
[関連発表論文]
- Keita Hara, Risa Yoshida, Daichi Kominami, Yuichi Oshita, Michiko Kaihotsu, and Masayuki Murata, “Indoor environment control method for improving well-being using human thermal stress estimated by yuragi learning,” in Proceedings of 2024 IEEE International Conference on Consumer Electronics (IEEE ICCE 2024), January 2024.
- 東田 昂大, “ゆらぎ学習を用いた室内快適性向上のためのマルチアクチュエータ制御手法の考案と実装,” 大阪大学基礎工学部情報科学科特別研究報告, February 2024.