現場作業を効率化するリアルタイム現場スキャン技術
ハイライト
工事進捗や部材在庫確認，社会インフラ施設の保守管理などでは，監督者が目視確認を通じて現場を管理することが多い。一方で労働人口減少，業務合理化の観点から，遠隔でリアルタイムに状況を把握し，定量的な状況確認を行いたいというニーズが高まっている。株式会社日立産業制御ソリューションズは，これまで監視カメラ事業で培ってきた映像解析AI技術に新たに3D技術を融合させることで，リアルタイムな現場の自動計測・計数，自由視点での映像化によってフロントラインワーカーを支援する，デジタルツイン化の技術を開発した。
本稿では，本技術について紹介するとともに，建設，プラント分野の顧客に向けての適用方針について述べる。
1. はじめに
昨今，建設現場の進捗確認や，工事用の仮設資材の検収作業など，現場にフロントラインワーカーが赴き，目視確認作業を必要とする現場は依然として数多く存在する。またそうした現場では，タイムリーに状況を把握したいというニーズが高い1）。
これに対し，株式会社日立産業制御ソリューションズは，広大な工事現場の作業進捗確認や安全確認のため，現地で目視確認する工数を削減したいというニーズに着目した。こうした工事現場では，日々現場内を移動して現場を確認することが多いため，現場を映像で俯瞰して監視したいという要望が多い。現状はドローンを飛ばして現場全体を俯瞰した映像を撮影するが，リアルタイムでの進捗確認にはその都度ドローンを飛行させる必要があり，高頻度の進捗確認には不向きである。また，工事現場は日本各地に点在するため，現場が遠方の場合には出張の工数や費用を要し，それらの削減も大きな課題となっている。これに加えて，映像に映っている物体のサイズや個数，空間状況を把握したいというニーズもある。
こうしたニーズに応えるべく，日立産業制御ソリューションズはリアルタイム現場スキャン（RTFS：Real Time Field Scan）技術の開発を進めている。
2. 新技術の概要
図1｜従来の監視の例
従来は複数のカメラを設定し，固定された視点の映像を確認していた。そのため，視点の変更や全体の俯瞰的な視聴，映像中の物体のサイズや個数の計測は困難であった。
従来の映像監視のイメージを図1に示す。監視カメラを設置することにより遠隔からの監視も可能となるが，カメラごとに固定の視点となり，また二次元の映像ではサイズの正確な情報が分からないため，強いニーズがある現場全体の俯瞰的な監視や，映像中の物体のサイズ・個数の計測は困難であった。
今回開発した技術は，対象物の周辺から撮影を行い，三次元のデジタルデータに基づいて，リアルタイムにさまざまな角度から確認できる自由視点映像を取得することで，映像内の物体の計測を可能とするものである。
自由視点での映像化について図2に示す。本手法では，3D（Three Dimensions）モデルに画像を射影するため，ユーザーの所望する視点［同図（a），（b）］や回転，ズームイン［同図（c）］，ズームアウト［同図（d）］など，視点を自由に動かして視認することができ，現場確認の効率化が可能となる。
次に，物体の計測について図3に示す。映像に映っている物体を映像認識などで検知し，これらに対してサイズ，個数，さらには通行路の広さなどの空間状況も把握でき，検収や保守などへの利用を可能とする。
図2｜自由視点映像化の例
取得するデータは映像付きの3D（Three Dimensions）モデルであるため，ユーザーの所望する視点（a），（ｂ）や，回転・ズームイン（c），ズームアウト（d）など，視点を自由に動かして視認することができ，現場確認の効率化が可能となる。
図3｜映像認識と3Dの融合による物体計測の例
映像で認識した物体のサイズを3Dデータに基づいて計測できる。例えば，物体から室外機を検出し，そのサイズを3Dデータによって計測したり，映像認識と3Dの形状を組み合わせることで高精度な計数をしたり，3D情報から通路のサイズを計測して物体の搬入可否をシミュレーションしたりできる。
2.1 システム概要
図4｜システムの概要
注：略語説明 LiDAR（Light Detection and Ranging）ユーザーの現場で対象物の周辺に監視カメラとLiDARを設置し，同時に撮影を行う。カメラで撮影した映像と，LiDARで計測した3Dデータをクラウドに転送し，クラウド上で映像と3Dデータの相対位置関係を算出する対応付け処理を実施する。映像と3Dデータの融合解析により，自由視点映像化や計測を実施し，結果を現場に提供する。
システムの概要を図4に示す。左下に示すように，撮影対象に対してその周辺から監視カメラと3Dセンサーユニット［LiDAR（Light Detection and Ranging）などの測距センサーを用いた計測装置］による撮影を行う。LiDARは，レーザー光を利用して対象物までの距離や形状を測定するリモートセンシング機器であり，正確な距離を測定可能である。これらを用いて周辺から同時に撮影し，映像と3Dデータを取得する。
次に，取得した映像と3Dデータをクラウドに転送し，映像と3Dデータの対応付け処理を実施して相対位置関係を求める。この情報を基に，映像と3Dデータを融合した解析技術によって自由視点での映像化や計測処理を行う。
このようにして得られたデータは，自由視点で視認可能な映像付きの3Dモデルや俯瞰映像，計測の結果などで出力することができ，これをさまざまな現場に共有することで，現場でのタブレットによる確認や，顧客システムとの連結を可能にする。
本システムにおいて，視認性の高い自由視点映像やセンチメートル単位の計測を実現する二つの特長技術について以下に述べる。
2.2 LiDARの3Dデータとカメラ映像の対応付け
映像中の物体に対して3Dデータを用いて正確に計測を行う場合，映像と3Dデータの正確な対応関係を把握する必要がある。本システムでは，既存の監視カメラの活用など異なる機器で撮影した映像と3Dデータの取得を想定しているため，取得された映像と3Dデータのみで正確な対応関係を導く必要がある。これらのデータは，視覚情報と幾何情報という異なる種類のデータであり，そのまま比較することはできない。
そこで，映像と3Dデータの両方に共通的に記録されている構造物の情報に着目し，対応関係を算出する方式を開発した。まず，3Dデータから構造物の特徴量についてさまざまな視点で映像化する。そして，監視カメラの映像でも同じく構造物の情報を算出する。これらを比較し，3Dデータと映像相関が最も高い視点を探索することで，局所的な情報に左右されることなく両者の対応関係を正確に導くことが可能となった。
2.3 クリーンアップ処理
図5｜クリーンアップ処理
現場の高精細な可視化や正確な計測を実現するためのクリーンアップ処理を開発した。従来の点群では物体のエッジ周辺で密度が粗く，正確に物体のエッジを検知できなかったが，今回適用した3Dモデルに映像をプロジェクションマッピングする方法により，映像情報でエッジを正確に得ることができる。これにより自由視点映像の視認性向上や，物体計測の始点・終点を正確に検知でき，高精度な計測を実現する。
従来の物体計測は，ドローンに搭載されたLiDAR機器などを用いて3Dデータを取得し，そのデータを用いて計測することが主流であった。その場合，3Dデータには無数の点で構成される点群が用いられるのが一般的であるが，エッジ部などを拡大すると点群密度が低いことから見づらくなる。計測対象となる物体の始点と終点を正確に指定することが難しいため［図5（a）参照］，わずかなずれによって大きな誤差が発生してしまうという問題があった。
これに対し，日立産業制御ソリューションズはこの問題に対応するクリーンアップの処理を確立した。本手法では，3Dデータ上で始点や終点の指定をするのではなく，映像上で指定を行い，その指定点と対応する3Dデータに投影することで計測を行う。映像では，エッジなど指定点となりやすい部位が精細に映っていることが多いため，正確な計測を実現することが可能となる。
具体的には，複数の3Dセンサーユニットで計測された点群と，2.2節で述べたカメラの映像の対応付けを行う。この際，映像のエッジ情報など特徴的な情報を活用して，点群情報内の構造物のエッジ部分に相当する部分を精細化する。そして，それぞれの相対姿勢を用いて各ユニットで計測された点群からメッシュ※）をそれぞれ生成し，さらに一つのメッシュに統合する。カメラの撮像原理をモデル化した透視投影モデルを用いて，メッシュ上の点が映像の画像画素中のどこに映るかを計算する。この計算を通じて，統合メッシュに高解像画像をプロジェクションマッピングし，3Dモデル化することで，エッジや詳細部分が精細化された自由視点映像が生成できる［図5（b）参照］。
これにより，自由視点映像の視認性が向上するとともに，正確な計測も可能となる。なお，始点と終点の指定に映像での物体認識AI（Artificial Intelligence）を用いることで，物体計測の自動化も可能となる。
- ※）
- 物体の頂点を辺で結び，その辺で囲まれた面（ポリゴン）から構成される。
3. 適用方針
本技術を建設現場の工事進捗確認に適用する際の方針や，現在計画しているSaaS（Software as a Service）による提供形態について説明する。
日立産業制御ソリューションズは，警備向け大規模映像監視システム構築で培った映像解析技術を生かし，クラウド上に映像解析基盤を構築した。本基盤を活用し，さまざまな業界・業務ごとの課題に対して共通化した映像解析機能を多くのユーザーに提供するためのSaaSを展開中である2）。これは，前章で述べた機能をアセット化してクラウド上に構築し，顧客に映像解析をコアとしたサービスを提供するものである。
本サービスを用いて工事現場の進捗確認効率化に用いる方針は以下のとおりである。
まず，工事現場や広大な現場全体を可視化しリモートでの確認を行う。これにより，現場へ出張したり，現場を歩き回って進捗を確認したりする工数を削減可能である。広大な現場に対して確認したい領域をカバーできるようにLiDARとカメラを設置し，ネットワークに接続する。進捗を確認したい頻度で撮影を行い，自由視点映像を生成する。自由視点映像は，クラウド経由で提供されるため，離れた現場でもPCやタブレットを通じて自由な視点で確認することが可能となる。また，保存された過去のデータとの比較による進捗確認，映像中の指定された2点に基づく物品のサイズ・高さの測定も可能で，映像中の物品が正しいものかどうかといった確認や，通路幅の狭い箇所，高く積み上げた荷物など，危険な箇所を特定することもできる。
4. おわりに
図6｜RTFSの効果
RTFS（Real Time Field Scan）は，計測や現場確認の効率化，安全化を実現する。また，映像や3Dデータを保持できるため，エビデンスとして結果を残すことで，トレーサビリティが向上できる。作業の結果を定量的に残すことで，作業の標準化が図れるとともに，熟練度に関係なく作業を実施可能となる。
本稿では，RTFSの概要と特長，および展開方針について述べた。本サービスにより提供したい価値を図6に示す。RTFS技術により，現場進捗確認の効率化や安全化を実現する。これに伴い，物体や環境の計測の効率化や，作業結果の映像・3Dデータをエビデンスとして保存することによるトレーサビリティの向上が期待できる。また，作業の結果を定量的に残すことが可能となり，作業の標準化が図れるとともに，熟練度に関係なく作業の実施を支援することも可能である。
今後は，建設や資材リースの分野で本技術・サービスを実際に提供していくとともに，製造分野にも幅広く展開する計画であり，産業分野における生産現場の在庫管理や棚卸，道路分野における駐車場や高速道路，大型機械の生産確認・保守などにも適用・展開していく考えである。さらに，本計測技術を用いた河川の水位計測，法面計測なども検討しており，幅広い分野で現場の課題解決に貢献していく。
参考文献など
- 1)
- 阿部守，改革・改善のための戦略デザイン 建設業DX，秀和システム（2021.1）
- 2)
- 顧客業務の効率化を実現する映像解析サービス，日立評論（2024.1）
