製造現場では生産性向上などを目的とした設備データの取得が進んでいるが，人の作業に関するデータは取得が難しく目視での計測に留まっており，特に自動車業界では組立工程が製品品質に直結することから大きな課題となっている。そこで，人の作業データをデジタル化して利用するべく，日立が開発したウェアラブルセンサーを活用し，圧力や加速度などのセンシングデータから品質・生産性・安全性の向上や教育への活用を想定した汎用的な意味アリデータ（作業者動作や状態，作業内容やイベント情報を時刻付きで出力したデータ）を生成し，活用する取り組みを進めている。本稿ではこの取り組み内容と今後の想定事例を紹介する。
自動車製造業などの製造ラインは大きく加工工程と組立工程の二つの工程に分かれている。加工工程は主に機械を使って材料を目的の形に仕上げる工程であり，関連設備の自動化やIoT（Internet of Things）によるデータの見える化が進んでいる。一方で，組立工程は部品を組み合わせて製品として仕上げる工程であり，多種多様な部品を人手によって組み合わせる作業が多くを占めており，非常に多くの作業手順で構成される。製造ラインにおいてはこの作業者に関する情報をデータ化する手段が限られていることから，組立工程のデジタル化，DX（デジタルトランスフォーメーション）が遅れる原因となっている。
そこで，日立はウェアラブルセンサーなどを活用して汎用的に利用可能な人計測データを生成し，さまざまな用途に活用可能とするソリューションの研究開発を進めている。本稿では，デバイスからのセンシングデータの利活用に向け，AI（Artificial Intelligence）などを活用して変換出力する開発中のソフトウェアの概要と，これらを活用した想定事例を紹介する。
今回開発した人計測データ活用技術は，人計測デバイス（グローブ型・作業着型）からの圧力や加速度などのセンシングデータを基に，作業者が今何をしているか，どのような状態にあるかという作業認識結果を含む汎用的に利用可能な情報（以下，「意味アリデータ」と記す。）をリアルタイムに提供する。圧力などのデータではなく認識結果を出力することで，顧客に合わせて品質・生産性・安全性の向上や教育といったさまざまな用途に容易に活用することが可能であり，現在，顧客との業務適用に向けたPoC（Proof of Concept）と，ソフトウェアの製品化に向けた活動を進めている。
図1｜人計測ソフトウェアの概要図
注：略語説明
REST（Representational State Transfer），API（Application Programming Interface），DB（Database），GUI（Graphical User Interface）人計測ソフトウェアは，センサーデータ収集機能部，意味アリデータ生成機能部，人計測DB，GUI画面および外部インタフェースで構成される。
人計測ソフトウェアの全体構成を図1に示す。人計測ソフトウェアは，センサーデータ収集機能部，データベース［人計測DB（Database）］, 意味アリデータ生成機能部，各種インタフェース，GUI（Graphical User Interface）画面で構成される。
センシングデータはまず，人計測デバイスからセンサーデータ収集機能部へ送られる。その後，センサーデータ収集機能部で処理分類され，人計測DBに格納される。意味アリデータ生成機能部では同DBに格納されたセンシングデータを取り込み，意味アリデータの生成処理を行い,生成された意味アリデータは改めて同DBに格納される。この人計測DBに格納されているセンシングデータおよび意味アリデータはREST API（Representational State Transfer Application Programming Interface）で外部から呼び出すことが可能であり, リアルタイムに活用したい場合はMQTT（Message Queuing Telemetry Transport）で出力することも可能である。
センサーデータ収集機能部では，人計測デバイスから取り込んだセンシングデータを収集処理する。複数かつ多種にわたるセンシングデータは，それぞれの違いを認識するためのIDを付与される。また，センシングデータ同士の時刻同期のために，時刻付与機能も有している。
意味アリデータ生成機能部はセンシングデータから意味アリデータを生成するコア機能であり，本機能については次節で詳述する。
人計測DBはリアルタイム処理を意識して標準でオンメモリDB を使用しており，内部インタフェースであるDBアクセス機能を介して，各機能部や外部インタフェースの間でセンシングデータと意味アリデータの格納・取得処理を実行する。
外部インタフェースとしては人計測DBに格納されたセンサーデータおよび意味アリデータをREST API，MQTTでリアルタイム出力する機能を備えており，作業認識データを用いて容易にアプリケーションを作成し，連携・応用することが可能な仕組みとなっている。
本節では，人計測ソフトウェアのコア機能である，意味アリデータ生成機能部に適用された開発技術について述べる。
意味アリデータの生成においては，デバイス単体から得られるデータの認識のほか，複数デバイスから取得したデータを活用して認識を行うことが可能である。本機能部は，基本的な動作や状態（基底動作）について主にセンサーデータからAIを活用して認識する基底動作認識部と，その結果を受け取り，製造現場の作業手順書に定められたレベルで，ルールベースで認識を行う行動認識部で構成される（図2参照）。
基底動作認識部は，デバイスごとに最適化された，意味アリデータ生成アルゴリズムを持つ認識・判定エンジンに圧力やジャイロデータ，姿勢骨格情報をリアルタイムに投入することで，「握る」，「回す」,「立っている」，「しゃがんでいる」といった業務との関連性が低い単純な所作や状態を連続的に出力する機能に加え，圧力と音データの組み合わせから「コネクタ篏合完了」といった瞬間的な事象をイベント情報として出力する機能を有する。これらの機能は機械学習やルールベースでの判断を組み合わせて開発したものであり，現在，さらなる精度向上に向けて調整中ながら，今後数十種類の動作や状態，イベントを識別可能になる見込みである。
本技術は，業種・業界を横断して活用可能な認識・判定エンジンであるが，機械翻訳が特定分野別にモデルを切り替えられるのと同様に，業種・業界，あるいは顧客に固有のアルゴリズムを用意することで，最適な認識結果を利用可能な仕組みとしている。例えば，自動車製造業向けには「インパクトレンチでの締め付け」や「ナットランナーでの締め付け」といった，工具や部品をより意識した認識結果を出力する認識・判定エンジンを並行して利用できる。これは通常の認識に用いるデータに加えて工具ごとに異なる振動特性を加速度センサーから取得し，判定に加味することで実現している。
行動認識部では，基底動作認識結果に対し，順番などを含めた組み合わせや外部から入力された4M（Human, Machine, Material, Method）情報やMES（Manufacturing Execution System）の工程情報，作業指示書といったデータを用いて判定を行う。このIF-THENルールなどをユーザー側でも容易に設定できるよう，オープンソースソフトウェアであるNode-REDを活用し，GUI上での設定を可能とする予定である。
現在，実際の顧客現場トライアルなどにより認識精度向上に向けての開発活動を継続しており，その一環として，顧客の環境を模擬した環境で本技術を用いたデモ動画を作成した。これにより，特定動作（コネクタはめ込みや電動ドライバの利用など），繰り返しの模擬動作について高精度で認識できることを確認している（図3参照）。
なお，センシングデータを生成するウェアラブルデバイスとしては，教育や測定時のみの利用ではなく，量産ラインなどで日常的に利用されることを想定し，顧客の量産ラインでの検証などを通じて協力先のデバイスメーカーと改良を進めている。
図2｜意味アリデータ生成部の論理構成概要図
注：略語説明
ALC（Assembly Line Control），MES（Manufacturing Execution System），4M（Human, Machine, Material, Method）意味アリデータ生成部では基底動作と呼ぶ基本的な動作や状態を認識する。その結果と外部からの4M情報の組み合わせにより，顧客の組立作業手順書レベルの作業認識を行う。
図3｜作業認識のデモ画面
被験者にグローブセンサーと作業着センサーを着用してもらい，組立作業の模擬動作を実施した。写真ではグローブセンサーからのデータからラチェットレンチ操作を認識し，作業着センサーからのデータで姿勢（Standing）と行動（Hold Something）を認識する。
本システムを単体で使用することで，圧力などのセンシングデータから「動作の見える化」が可能となる。しかし，見える化した動作に対して各種IoTデータや工場が保有する工程情報を組み合わせることで，顧客にさらなる品質向上，生産性向上，技能教育，安全衛生などの価値を提供できると考えられる。ここでは，それぞれの価値に関してどのような業種を対象に，どのような活用例を想定しているか述べる。
当面はこれら（1）〜（4）のような利用シーンを想定しているが，人が何かしら体を動かす現場に対しての本技術の応用可能性は高い。今後，ユースケースや動作データを積み重ねることで，将来的にはリハビリや介護などのサービス業，外食産業，工事・住宅などの建設業などの分野でも活用の可能性が考えられる（表1参照）。
表1｜本システムを応用できる可能性がある作業
将来的に本システムを応用可能と考えられる製造業以外の業界，作業の例を示す。本表は，本システムが提供する価値を例示するものである。
グローブ型センサーや作業着型センサー以外のデバイスとの連携や作業認識精度など，今後は技術的なブラッシュアップを進めるとともに，さまざまな人が関わる現場に共通的に利用可能なソリューションとして本技術の展開を計画している。製造現場だけでなく庫内作業やフィールドワーク，介護，福祉など幅広い分野でこれらのデータを活用することにより，品質・生産性・安全性の向上や教育への活用といったさまざまな領域で，人間中心の社会実現に貢献していく。
