Blog

5G/MEC経由での手術支援ロボットの遠隔操作 実証実験レポート

2022/09/30

1. はじめに

KDDI ソフトウェア技術部 松本です。普段、5G/MEC(AWS Wavelength)に関する案件推進・技術支援などを担当しています。

6/6にKDDIニュースリリース「医療業界にDX、5G SAとMECによる遠隔医療実証を実施」として報道発表しましたが、手術支援ロボットを5G/MEC経由で遠隔操作する実証実験を行いました。ニュースリリースではお伝えしきれなかった、現場の雰囲気なども含めてレポートしたいと思います。

2. 背景

  • KDDIでは、今回使用した映像伝送装置の開発元である株式会社ソリトンシステムズ(以下、ソリトンシステムズ)と、様々な低遅延映像伝送の取組みを実施してきました。(取組の一部については、本ブログのこちらのエントリでも紹介しています。)

  • 一方、手術支援ロボットの開発元であるリバーフィールド株式会社(以下、リバーフィールド)も、ソリトンシステムズと協力し、手術支援ロボットの遠隔操作に取り組んできました。リバーフィールド、ソリトンシステムズの2社は、こちらの外部記事にもあるように、既に有線ネットワーク環境を経由した、遠隔操作の実証実験を行っていました。

  • 今回、3社それぞれの技術を活用し、さらなるチャレンジとして、ネットワーク環境として5G/MECを用いた遠隔操作の可能性、課題を確認するための実証実験を行うことに至りました。

  • 今回の検証で5G/MEC経由で手術支援ロボットの遠隔操作ができたからといって、それですぐに遠隔からの手術が可能になるわけではありません。実用化に向けては、法的な整備、ガイドラインの策定、回線の低遅延性、冗長性/信頼性、セキュリティの担保など、様々な課題の解決や技術革新が必要になります。今回の実証実験では、まずは「5G/MEC経由での遠隔操作は使い物になるレベルなのか?」ということを確認するところから始めて、今後のこの社会課題の解決へ向けての取り組みを進めていく上での技術的検討課題を洗い出すことを目的としています。

3. 実施内容

手術支援ロボットレポート 概要図

環境

  • リバーフィールドの手術支援ロボットを、港区虎ノ門のKDDIの技術開発拠点であるKDDI Digital Gate(以下KDG)に設置し、また、そのロボットを操作するためのコンソールを、KDG及び新宿区左門町のリバーフィールド社内にそれぞれ設置し、5GネットワークおよびMEC経由で接続しました。
  • 過去、本ロボットの操作経験もある、弘前大学 諸橋先生(外科医)をKDGにお招きし、5G/MECを経由した環境でのロボット操作や、他のロボット操作者への遠隔指導をご対応頂きました。

実施内容

実験1: ロボットの映像を複数モニタへ伝送し、遠隔指導を実施

  • ロボットのアームの先には内視鏡カメラが付いており、その映像を見ながら、コンソールで操作を行います。そのため、通常はロボットからの映像をコンソールに対して1:1で伝送すればよいことになります。
  • 今回は機能拡張の試みとして、経路上のMECに構築した中継サーバを用いて、低遅延を維持しつつ、映像を複数のモニタに伝送することに成功しました。
  • この1:Nでの映像伝送の仕組みを用いて、リバーフィールド側のコンソールの操作者が遠隔操作中に、その映像をKDGの諸橋先生(外科医)にも伝送し、リアルタイムでの操作指導を実施頂きました。映像がリアルタイムに配信されるため、模擬臓器を切る操作において、「次にそこの脂肪部分を持ち上げて切ろう!」など、スムーズな指導を行うことができました。

実験2: 5G SA/MECを経由したロボット操作を実施

  • KDGのコンソールを用いて諸橋先生にロボットを操作して頂き、模擬臓器を用いた切除のオペレーションを実施しました。ロボットとコンソールはKDGの同じ部屋にありますが、直結されているわけではなく、映像やロボットの制御信号は、5GネットワークおよびMECを経由しています。その部分の伝送遅延は発生しますが、それでも諸橋先生からは、「以前有線ネットワーク経由で操作した時と同等の操作感を得ることができた」とのコメントを頂くことができました。
  • なお、KDG内では、5G スタンドアローン(以下、5G SA)の使用が可能であり、5G SAの環境を用いてより安定的な通信を実現しました。

4. アーキテクチャ

手術支援ロボットレポート アーキテクチャ図

  • KDGのロボットに対し、KDGの主コンソール、もしくはリバーフィールドの副コンソールのどちらかを用いて操作を行うことができます。
  • ロボットからの映像(=内視鏡カメラの映像)は、ソリトンシステムズの映像伝送装置(Zao-X)によりエンコードされ、5G端末を経由して、MEC上の中継サーバに送信されます。中継サーバは映像を複数クライアントに対して配信可能なため、ロボットの操縦者だけでなく、閲覧者(アドバイザーや研修医など)も同時にロボットからの映像を見ることができます。映像受信側では、専用の映像伝送装置を用いて映像をデコードして再生します。
  • 制御情報(ロボットアームの操作など)については、ロボットとコンソールの双方向での通信が発生します。制御情報についても、Zao-Xを用いてデータをトンネリングし、映像同様に5G端末およびMEC上の中継サーバを経由して相互に疎通可能としています。
  • 実験1では、映像はロボットから副コンソール(操作者)と閲覧者(諸橋先生)の2か所に配信され、制御信号はロボット-副コンソール間で相互通信されます。(赤線の経路)
  • 実験2では、映像はロボットから主コンソール(諸橋先生)へ配信され、制御信号はロボット-主コンソール間で相互通信されます。(青線の経路)

5. 現場から

手術支援ロボットレポート 操作体験風景

  • KDDI社内の関係者がロボットの操縦を体験しているところです。社内では「5G経由でロボットの操縦なんて無理なんじゃないの?」との声もあったのですが、実際にロボットの現物を見て、簡単な操作(練習用のリングをつまんで移動させるなど)を行ってみると、「これ将来実際に使えるようになったらすごいよね」とすっかり推進派になったりもしていました。

手術支援ロボットレポート 四谷からの操作

  • リバーフィールド社オフィス(新宿区左門町)に設置したコンソールからの操作を行っているところです。KDGでは、同社オフィスの様子を壁面モニタに中継表示しました(写真右上)。実際に物理的に離れた場所からの操作を見ると、5G/MEC経由で遠隔操作が行われているということを改めて実感できました。

手術支援ロボットレポート 集合写真

  • 関係者(弘前大学 諸橋先生、およびリバーフィールド/ソリトンシステムズ/KDDIの関係者)での記念写真です。プロジェクトを開始してからの数か月間、検証シナリオ作成、機材手配や設定のチューニング、複数回の事前動作検証などの準備を行い、当日、無事諸橋先生に動作確認頂くことができました。

6. 終わりに

  • 繰り返しになりますが、今回の検証で5G/MEC経由で手術支援ロボットの遠隔操作ができたからといって、それですぐに遠隔からの手術が可能になるわけではありません。実用化に向けては、法的な整備、ガイドラインの策定、回線の低遅延性、冗長性/信頼性、セキュリティの担保など、様々な課題の解決や技術革新が必要になります。
  • 上記の課題解決につながるようなアクションができるよう、引き続き取り組んでいければと思います。