ページの本文へ

Hitachi
お問い合わせお問い合わせ

医療現場における技術継承のためのMR技術活用

日本メドトロニック株式会社との協創

ハイライト

昨今,医療現場では次々と新しい医療機器が導入されており,現場の医師や看護師は新しい機器や技術に常に,かつ早急に習熟することを求められている。これに対し,株式会社日立ソリューションズは,米国Microsoft CorporationのMR技術を活用したサービスを提供している。今回,医療機器メーカーとして世界最大手であるMedtronic plcの日本法人の一つである,日本メドトロニック株式会社の有識者らにヒアリングを実施し,手術室における「器械出し」業務への適用が有効ではないかとのアドバイスに基づき,株式会社日立ソリューションズ・クリエイトと共同で熟練器械出し看護師の目線を可視化するトレーニングツールHoloMeの開発を支援した。

本稿では,2022年3月に日本メドトロニックよりリリースされた本ツールの開発経緯,使用技術と想定効果について述べる。

目次

執筆者紹介

八巻 美紀代Yamaki Mikiyo

八巻 美紀代

  • 株式会社日立ソリューションズ 産業イノベーション事業部 グローバル本部 グローバル推進センタ 所属
  • 現在,Microsoft Mixed Reality技術を含むDynamics 365プロダクトを中心に,MR技術を使ったDX(デジタルトランスフォーメーション)推進の提案およびプロモーション活動に従事

1. はじめに

少子高齢化が進む日本の地域医療において,医師や看護師の労働量の増加や,患者一人当たりにかけられるリソースの不足が課題となっている。また,医療技術の高度化が進み,医師や看護師は多忙な日常業務の合間に新しい医療機器の適切な取り扱いなどにも習熟しなければならない。特に手術室で「器械出し」業務を行う看護師は,安全で円滑な手術を医師と共に進行するために患者を術前訪問からアセスメントし,術中に起こり得る事態に対応するため,器械などの準備を綿密に行う。術中は進行を先読みし,的確なタイミングで正しく器械を組み立てて操作する技術と,それらを迅速に医師へ提供することが要求される。従来,非熟練器械出し看護師はスキル取得のため熟練者が参加する手術に同席し,実際の現場で学んでいた。しかし,新型コロナウイルス感染症拡大の影響で,手術の立ち会い人数を最小限に抑えなければならなくなったほか,病院の内外で行われていた集合型研修などの学習機会の多くも失い,非熟練者がスキルを習得する貴重な機会が失われた。その結果,非熟練器械出し看護師の学習機会および効率的に医療機器の適正な取り扱いを学習できる新たな手段の確保が必要となった。

2. 看護師のスキル向上と業務負荷軽減の両立

熟練者と非熟練者のスキル差は,医療機器の素早く正確な組み立てはもちろんのこと,手術中に行われる先の手順を見越した「目配り」にあることが分かっていた。この目配りが次に何を準備しておくかを判断し,タイミングよくその器械を差し出すことにつながる。しかし,非熟練者が目配りを身に付けようとしても,熟練者の手術中の目線を外見から追って理解することは難しい。そこで日本メドトロニック株式会社,株式会社日立ソリューションズ,株式会社日立ソリューションズ・クリエイトは,医療機器の使用方法と差し出すタイミングを熟知した器械出し看護師の目線の動きをMR(Mixed Reality)※1)技術によって空間上に可視化し,非熟練者がなぞることで熟練者の技を学ぶトレーニングツールの開発を検討した。実現すれば,熟練者は指導に充てる時間を大幅に削減でき,非熟練者は手元に再生デバイスさえあれば勤務中の空き時間を使って学習できる。これにより,器械出し看護師の業務負荷軽減とスキル向上の双方が可能となる。

3. MR技術の器械出し業務への活用

3.1 ハードウェアの進化とHoloLens 2の採用

図1|HoloLens 2ハードウェアの仕様図1|HoloLens 2ハードウェアの仕様HoloLens 2の機器仕様と前面から見たハードウェア構成図を示す。

MR技術を活用したトレーニングツールの検討を開始した2019年ごろから,市場にはさまざまなVR(Virtual Reality)グラスが登場していた。形状に加え,一昔前と比較して軽量化と多機能化が進み,価格も抑えられている傾向にあった。中でもMicrosoft Corporation製のHoloLens※2) 2は,レンズ内側の赤外線カメラで装着者の瞳の動きを追うことが可能で,Microsoft Corporationの開発ツールキットMRTK(Mixed Reality Toolkit)を併用することで,装着者の目線情報を取得して空間上に投影し,可視化できる。かつてこの目線情報の取得や可視化には,高額の専用装置を使用することが主流であったが,HoloLens 2の出現により従来よりも安価に実現可能となった。触れられるものが制限される医療現場において,非接触型操作のデバイスであるHoloLens 2は適していた。開発ベースとなったHoloLens 2の仕様を図1に示す。

3.2 実現方式

図2|HoloLens 2のアイトラッキング機能を使用して可視化した目線図2|HoloLens 2のアイトラッキング機能を使用して可視化した目線中央辺りの医療機器上部に,視点を表すオブジェクトが表示されている様子を示す。

図3|HoloLens 2装着者の視点可視化概略図図3|HoloLens 2装着者の視点可視化概略図HoloLens 2装着者の目線は,HoloLens 2のレンズ内側にある赤外線カメラを通して取得される。

  1. HoloLens 2のアイトラッキング機能
    HoloLens 2装着者の目線を,レンズ内側の赤外線カメラで捉えて座標情報として取り出す。その情報を基にオブジェクトを使い,現実空間に描写し可視化する(図2参照)。
    本機能の開発にはMRTK2.4,開発プラットフォームにはUnity※3)を使用した。HoloLens 2のアイトラッキング機能を用いた目線可視化の概念図を図3に示す。
    可視化された目線情報は,HoloLens 2装着者の注視方向だけでなく,眼を動かす速さや注視の長さ,目線をある点から別の点へ動かすタイミングまで見て取ることができる。目線の可視化は,テクノロジーを用いて,人間の身体能力や知覚などを拡張させる人間拡張の領域の技術とも言える。
  2. 空間上のUI設計
    次に,本システムの要素技術であるアイトラッキングをHoloLens 2を用いて実現するためには,誰もが戸惑うことなく操作可能なUI(User Interface)設計が重要である。HoloLens 2では,空間に表示されたメニューやボタンの操作を指や音声,視線で行う設計になっており,キーボードやマウスを使った操作とは大きく異なっている。また,今回の操作者である器械出し看護師は業務で両手を使用するため,主に音声コマンドで操作でき,シンプルかつ適切な情報量と見やすさを両立した操作メニューを,視界の最適な場所に表示するようにした。操作時には,ビジュアルの変化と音の出力により,あたかも実際のボタンを押しているかのように感じられるよう工夫した。
    こうして,初めてHoloLens 2を手にするユーザーでも比較的スムーズに操作可能なUIを持ったトレーニングアプリケーションHoloMe※4)が完成した。HoloMeで空中に表示されたメニューを操作している様子を図4に示す。
  3. オフラインでの活用
    医療現場では,他の医療機器への影響を考慮しWi-Fi※5)に接続できないケースも想定しなければならないため,今回はオフラインで使用できる仕様とした。

図4|医療現場でのHoloMe活用の様子図4|医療現場でのHoloMe活用の様子HoloMeのメニューを音声で呼び出し表示した様子(左)と,HoloLens 2を装着しHoloMeの操作をしている看護師(右)を示す。

3.3 熟練器械出し看護師の目線を学習する具体的な方法

HoloMeの具体的な活用方法には,STEP-1とSTEP-2の2段階がある。実装済みであるSTEP-1では,HoloLens 2を装着した熟練者に手術に必要な器械の組み立てを含む術前準備の目線を準備の流れとともに録画してもらい,その録画データをPCなどで再生する。非熟練者は,術前準備の流れとともに熟練者の目線をPCの画面でなぞり学習する(図5参照)。また,同じ術前準備において非熟練者が HoloLens 2を装着し,自身の目線情報を術前準備の流れとともに録画して,熟練者と自身の目線入り録画をPCの画面で並べて表示することで,差異を時系列に沿って比較学習できる。

さらに今後,開発・実装予定のSTEP-2では,手術の流れに沿って録画した熟練者の目線と,学習者のリアルな目線情報を実空間上に同時に再現し,その場でタイミングを含めた熟練者との目配りの差異をよりリアルに体験させることなどを検討している。なお,将来的に拡張現実をフル活用すれば,手術室をいつでも,どこにでも再現できるなど,物理的・時間的制約を取り払うことも不可能ではない。今後も,MR技術による医療業務への新しい価値提供が期待されている。

本ツールを使用することで得られると想定される効果を図6に示す。日本メドトロニックは,HoloMeの活用を通じて熟練者,非熟練者ともに学習時間の20%を削減することを目標としている。また,これにより医療従事者の独り立ちまでの時間を短縮できるため,医療従事者の長時間労働だけでなく人財不足解消への貢献も可能と見込まれる。

図5|熟練者の目線を可視化しスキルを学ぶSTEP-1のイメージ図5|熟練者の目線を可視化しスキルを学ぶSTEP-1のイメージ手術の様子と熟練器械出し看護師の目線を同時に録画し,熟練者の目線をなぞり学習するイメージを示す。

図6|HoloMe導入による想定効果図6|HoloMe導入による想定効果HoloMeの活用により,医療従事者のトレーニング実施時間を20%削減する[現状のトレーニング実施時間(60〜90分/1回)を週5回実施から週4回実施に削減することを想定して試算した(値は目標値)]。また,医療従事者が独り立ちするまでの時間短縮により,人財不足解消に貢献する。

※1)
デバイスを通して見ることで,現実空間を認識したオブジェクトがあたかもその場に存在するかのようにリアルに表示される技術。日本語では「複合現実」と訳される。
※2)
HoloLensは,Microsoft Corporationの登録商標である。
※3)
IDE(Integrated Development Environment)を内蔵するゲームエンジンで,MR/VR/AR(Augmented Reality)機器向けのコンテンツ開発にも対応している。Unityは,Unity Technologiesの登録商標である。
※4)
日本メドトロニックのトレーニングツール呼称。
※5)
Wi-Fiは,Wi-Fi Allianceの米国およびその他の国における登録商標または商標である。

4. おわりに

今回の日本メドトロニックとの協創では,医療現場のトレーニングへのMR技術活用に取り組んだ。医療機器の組み立ては複雑なため,各医療機器メーカーは現場で正しく安全に医療機器を使用してもらうことに努めており,文字で詳細に記載された利用マニュアルや,PC上で再生できる動画マニュアルも既に存在している。そうした状況の中,トレーニングにMR技術を採用した理由は,医療機器の使用方法をこれまでにない手段,すなわち「3D(Three Dimensions)空間」を活用して伝えることができるためである。実際に日本メドトロニックのスタッフとともに訪問した医療現場では,夕刻になると一日の勤務を終えた医療スタッフが次々とやってきて,順番に縫合術のトレーニングを最新の機器を用いて行っていた。日本メドトロニックのスタッフも,医療スタッフの手が空く時間に合わせて複数台の実機を持ち込み対応していた。MR技術の進歩により,時間と場所の制約を超えてあたかもリアルに体験しているかのようなトレーニングが可能となれば,医療従事者の負担を減らすことにつながる。

日立は医療従事者の負荷削減に貢献するべく,今後も技術の開発と提供を続けていく。

謝辞

本稿で述べたHoloMe開発においては,日本メドトロニック株式会社の池田剛氏,長谷川佳苗氏,三浦里美氏,Microsoft Corporationの村中哲氏,林真二氏に多大なるご協力を頂いた。深く感謝の意を表する次第である。

Adobe Readerのダウンロード
PDF形式のファイルをご覧になるには、Adobe Systems Incorporated (アドビシステムズ社)のAdobe® Reader®が必要です。