パナソニック ホールディングスは2026年11月5日、指先の触覚を使って動作をリアルタイムに補正するロボット操作AI「T-Rex」を共同開発したと発表しました。カメラ映像と言葉による指示だけでなく、物に触れた際の力や変形を捉えることで、卵の移し替えや鍵開け、電球のねじ込みといった繊細な両手作業に対応します。

12種類の実環境タスクにおける平均成功率は65％で、既存の比較手法の35％を30ポイント上回りました。触覚情報を使わない場合の成功率は42％にとどまっており、ロボットが人間のように「手応え」を利用する効果が数字にも表れています。

パナソニックのロボット操作AI「T-Rex」とは

T-Rexの正式名称は「Tactile-Reactive Dexterous Manipulation」です。パナソニックHDと米国のパナソニックR&Dカンパニーオブアメリカが、カリフォルニア大学バークレー校、NVIDIA、スタンフォード大学、ローマ・ラ・サピエンツァ大学、ItalAIの研究者と共同で開発しました。

このロボット操作AIは、画像と自然言語の指示を理解して動作を生成する「VLA（Vision-Language-Action）」モデルに、10本の指先から得られる触覚情報を組み込んでいます。

VLAモデルは、例えば「鍵を持ってドアを開ける」という言葉とカメラ映像を受け取り、ロボットの腕や手をどのように動かすか判断します。しかし、映像だけでは鍵が穴に入ったか、途中で引っかかったか、強く押し込み過ぎていないかを正確に捉えられない場合があります。

人間は鍵を差し込むとき、目で位置を確認するだけではありません。指先に伝わる抵抗を感じながら、角度や力を無意識に調整しています。T-Rexは、この触覚による細かな調整をロボット操作へ取り入れた技術です。

5Hzの動作生成と20Hzの触覚制御を統合

T-Rexの大きな特徴は、ロボットの動作を考える処理と、触覚に反応する処理を異なる速度で動かしている点です。

視覚と言語を処理する動作生成モジュールは約5Hz、つまり1秒間に約5回の頻度で動作の大枠を決めます。一方、触覚を処理する動作修正モジュールは約20Hzで稼働し、1秒間に約20回、指先の状態を確認しながら動きを補正します。

カメラ映像を解析して腕全体の動きを一から考え直す処理には時間がかかります。そこで、接触後の細かな調整を高速な触覚モジュールに任せることで、物が滑った場合や想定以上の力が加わった場合にも素早く反応できるようにしました。

処理速度の異なる二つの機能を統合した構成により、ロボットは作業の目的を見失わず、接触状態に応じて手元だけを細かく直せます。これは、視覚で全体を確認しながら指先の感覚で力を調整する人間の動作に近い仕組みといえます。

卵の移し替えやページめくりなど12種類を検証

研究チームは、接触状態の把握や繊細な力加減が必要な12種類の作業でT-Rexを評価しました。対象には、次のような作業が含まれています。

- 本や紙のページをめくる
- 卵を別の場所へ移す
- 歯ブラシに歯磨き粉を塗る
- 鍵を差し込んで開ける
- 薄いカードを取り出す
- 電球をつかんでねじ込む

いずれも、人間には日常的な動作ですが、ロボットにとっては難易度の高い作業です。

卵は強く握ると割れ、弱過ぎると落としてしまいます。ページめくりでは、薄い紙を1枚だけ捉えなければなりません。電球の取り付けでは、位置だけでなく、ねじ山に沿った回転や押し込む力の調整も必要です。

評価の結果、T-Rexの平均成功率は65％となりました。それまで最も高性能だった比較手法は35％で、T-Rexは30ポイント上回りました。また、T-Rexから触覚情報を除いて評価すると、平均成功率は42％まで低下しました。

ただし、65％という数字は実用化が完了したことを意味しません。3回に1回程度は失敗する計算であり、人と同じ作業空間で安定して働くには、成功率の向上や失敗時の安全な停止、扱う物が変わった場合の対応などが必要です。今回の成果は、触覚を高速に処理する仕組みがロボットの器用さを高めることを、実環境の作業で示した段階と位置付けられます。

100時間、7700件超の触覚付きデータを収集

触覚を利用するロボットAIの開発では、学習データの不足が課題となります。画像や文章はインターネット上に大量に存在しますが、ロボットの指先に加わった力とカメラ映像、腕の動き、作業指示を同期させたデータは簡単に集められません。

研究チームは200種類を超える日用品と22種類の基本動作を組み合わせ、7700件を超える両手ロボット操作データを収集しました。データの合計時間は約100時間です。

各データには、頭部と手首のカメラ映像、ロボットの状態、腕や指の動作、10本の指先に搭載した触覚センサーの力・変形情報、自然言語による指示が同期して記録されています。

T-Rexの学習は3段階で行われました。最初に2万2889時間分の人間の一人称視点映像を使い、物の見え方や手の基本的な動作を学習します。続いて、100時間の触覚付きデータによって、ロボット固有の接触動作を中間学習します。最後に、作業ごとに約100件の実演データを使って調整します。

人間の映像から幅広い知識を得た後、限られた触覚データでロボットの動きを学ばせることで、収集に手間のかかるデータを効率的に利用する設計です。[研究プロジェクトの公式サイト](https://tactile-reactive-dexterous.github.io/)では、データセットやモデル構成、作業別の結果も公開されています。

製造業や物流で期待される活用先

パナソニックHDは、T-Rexを製造現場の部品挿入、部品の取り外し、ねじ締めなどに活用することを想定しています。物流分野では、袋や布など形が変わりやすい物、割れやすい物品の取り扱いが候補です。

現在の産業用ロボットは、位置や動作を事前に細かく設定し、同じ作業を高速で繰り返す用途を得意としています。一方、部品の位置が少しずれたり、対象物の硬さや形が毎回変わったりする環境では、想定外の接触に対応できないことがあります。

触覚を使ってその場で動きを修正できれば、対象物を完全に同じ位置へ並べるための設備を簡素化できる可能性があります。人間が担当している多品種少量生産や、柔軟物を含む工程へロボットを導入できる範囲も広がります。

日本では製造業や物流業を中心に人手不足が続いています。ただし、T-Rexが直ちに人の仕事を置き換えるわけではありません。当面は、繰り返し作業や身体的な負担が大きい工程を支援し、人が検査や判断を担う形が現実的です。

実用化には安全性と再現性が課題

T-Rexの今後を判断するうえでは、成功率以外の指標も重要になります。

工場で利用する場合、数十回の実験だけでなく、数千回、数万回と作業を続けた際の再現性が求められます。触覚センサーの摩耗や温度変化、汚れによる測定誤差、対象物の個体差にどこまで対応できるかも検証が必要です。

人の近くで動くロボットでは、強過ぎる力を検知して停止する安全機能が欠かせません。AIが生成した動作をそのまま実行するのではなく、速度や力、可動範囲を別の制御系で制限する仕組みも必要になります。

さらに、今回の65％という成功率は、パナソニックHDが選定した12種類のタスクに基づく評価です。異なるロボットやセンサー、未知の物体、照明条件が変化する環境でも同等の結果を出せるかは、今後の検証課題です。

研究成果は、2026年11月9日から12日まで米テキサス州オースティンで開催されるロボット学習分野の国際会議「Conference on Robot Learning（CoRL）」で発表されます。

視覚と言語を中心に進化してきたロボットAIへ、高速な触覚制御を加えたT-Rexは、ロボットが「物を見る」段階から「触れて動きを直す」段階へ進む技術です。製造や物流の現場で使える水準に達するには追加の検証が必要ですが、人間の手作業に近い柔軟なロボット操作へ向けた重要な一歩となります。