ノースウェスタン大がスマートウォッチで手の動きを読む技術を発表|指のジェスチャーを92%超で認識 新しい動作は1分で覚える【研究レポート】

ニュース

公開日:

研究用の基板を付けたスマートウォッチを左手首に着け、指先をつまむような動きをする女性。ノースウェスタン大学の研究

米ノースウェスタン大学の研究チームが、普通のスマートウォッチで手の動きを読み取る2つの技術「EITWatch」と「TransfHAR」を発表しました。EITWatchは手首の内側の筋肉と腱の動きから指先のジェスチャーを見分け、TransfHARは1分見せただけの新しい動作を覚えます。大学は2026年11月4日にこの研究を紹介しました。

カメラを使わずに手首だけで手の動きが分かれば、スマートウォッチの操作が楽になるだけでなく、義手の操作や介護の見守りにも使えます。研究はまだ試作の段階で、製品に入る時期は決まっていません。2つの技術で何ができるのかを、大学の発表から整理します。

カメラを使わず手首だけで手の動きを読み取る研究

研究を率いたのは、ノースウェスタン大学マコーミック工学部でSPICE Labを主宰するカラン・アフジャ助教です。2つの研究は、コンピューターと人の操作をテーマにした学会「UIST 2026」で発表されました。

アフジャ助教は「手は人が世界に働きかける手段なのに、スマートウォッチは手が何をしているのかをほとんど知らない」と話しています。手の動きを知るいちばん確実な方法は今のところカメラですが、プライバシーの面で問題があり、手がカメラに映っているときしか使えません。手首のウォッチなら、いつでも手のそばにあります。

今のスマートウォッチやスマートフォンも一部のジェスチャーを認識できますが、使えるのはメーカーがあらかじめ決めた動きに限られます。MITも手首を超音波でスキャンして指の動きを再現するリストバンドを発表しており、手首から手の動きを読み取る研究はいくつかの大学で進んでいます。

EITWatchは手首の筋肉と腱の動きからジェスチャーを見分ける

電極付きの研究用スマートウォッチを着けた手で指をつまむ動きをし、Microgesture Recognition、Pinch Start/Pauseと表示された画像
画像出典:SPICE Lab(Northwestern University)

EITWatchは、ウォッチの裏側に付けた8つの小さな電極から手首に弱い電気信号を流し、皮膚の下の筋肉と腱の状態を画像のように描き出します。電気インピーダンス・トモグラフィ(EIT)と呼ばれる方法です。

指を差す、親指を立てるといったジェスチャーごとに筋肉と腱の動き方が違うので、その違いを学習して動きを見分けます。たとえば親指を立てるとメッセージを送る、指を差すと運動中の歩数計測を始める、といったようにウォッチの操作に割り当てられます。

研究では、よく使う6種類のジェスチャーを92%超、もっと小さな5種類の指の動きを91%超の精度で認識しました。ただし、1人の装着者に合わせて調整したときにいちばんよく働く仕組みで、家族のウォッチを借りて着けると認識しにくくなる可能性があります。

共同で研究を率いたノベル・アラムさんは、タッチスクリーンを使いにくい人にもう1つの操作手段を用意できる点を重視しています。次の課題は、電子部品をウォッチの中に収めることと、調整なしで誰が着けても使えるようにすることだと話しています。

TransfHARは1分見せた新しい動作を約90%の精度で覚える

スマートウォッチを着けた腕で、指を鳴らす、カップをかき混ぜる、字を書く、指の関節をたたく4つの動きをし、ノートPCに認識結果と波形を表示した画像
画像出典:SPICE Lab(Northwestern University)

TransfHARは、スマートウォッチにもともと入っている加速度センサーやジャイロセンサーを使います。手首がどう加速し、どう回ったかを捉えて、何の動作をしているのかを判断する仕組みです。

まず、歩行や運動など日常の動きを集めた2,700時間以上の公開データで事前に学習しておきます。そのうえで、使う人が新しい動作に名前を付けて実際にやって見せると、自分用の動作として追加できます。10人が参加した実験では、7種類の新しい動作をそれぞれ1分間記録しただけで、約90%の精度で認識しました。

同じ腕の動きでも、ある人には壁のペンキ塗り、別の人には客の髪をとかす動作かもしれません。研究に参加した博士課程のエイダン・ブラッドショーさんは、既存のデータでは見落とされがちな、一人ひとりの暮らし方や体の使い方に対応したいと話しています。

アフジャ助教によると、研究チームはGoogleのパートナーと組んで学習データを増やし、覚えられる動作の数と精度を高めているところです。同じ方法はスマートリングやリストバンドにも応用できる見込みだといいます。

義手の操作や介護の見守りにも使える可能性

手首の信号には手が何をしようとしているのかが表れるので、研究チームはEITWatchの仕組みを義手の操作に使えないかも調べています。

TransfHARは、介護の現場での見守りに使える可能性があります。アフジャ助教は「介護施設なら、部屋にカメラを置かなくても、入居者が歯を磨いたか、ひげをそったかを看護師がそれとなく確かめられる」と話しています。リハビリの運動を何回したかの記録や、ジムでどの種目をしたかの自動記録にも使えます。

顔認証でスマートフォンのロック解除が簡単になったように、手の動きでスマートウォッチを操作できるようになれば、小さな画面をタッチする手間も減ります。研究が製品になるまでには時間がかかりそうですが、手首のウォッチで分かることはまだ広がりそうです。ウェアラブルのほかの研究は、下の関連記事からたどれます。

Source: Northwestern University, SPICE Lab EITWatch, SPICE Lab TransfHAR

あわせて読みたい関連記事

MITは、手首を超音波でスキャンして指の動きを再現するリストバンドを発表しています。

MITが「超音波リストバンド」を発表|手首をスキャンしてAIで指の動きを再現、ロボットハンドやVR操作の新インターフェースに

指に着けるリング型のセンサーで、手話をその場で翻訳する研究もあります。

指に装着するリング型センサーとAIが手話をリアルタイム翻訳——88%超の精度でユーザー依存なしに動作する新型ウェアラブル

声を出さずに口の動きで文字を入力するスマートグラスも登場しました。

声を出さずに文字入力できるスマートグラス「Subvocal」が米国で予約開始|口の動きを電波で読み毎分200語超

腕時計で汗の成分を測る研究はこちら。

汗のナトリウムとカリウムを腕時計で測るセンサーに注目|東京理科大が建設現場で2時間45分

ウェアラブルの研究の記事は、タグページからまとめて読めます。

ウェアラブル研究の記事一覧

目的別・記事の見つけ方

「どのスマートウォッチを買えばいい?」「買ったけど使い方が分からない」。そんなときに最初に読んでほしい記事を、目的ごとに選びました。はじめての1台選びから、買ったあとの使い方まで。目的に合わせて読んでほしい記事を選びました。

目的別の記事の探し方ガイドを見る
※本記事のリンクから商品を購入すると、売上の一部が販売プラットフォームより当サイトに還元されることがあります。掲載されている情報は執筆時点の情報になります。
     

スポンサーリンク