NVIDIA、シアトルに「AI Robotics Research Lab」を開設 「キッチンマニピュレータ」を公開
NVIDIA、シアトルに「AI Robotics Research Lab」を開設 「キッチンマニピュレータ」を公開:
NVIDIA は、シアトルにあるワシントン大学のキャンパスの近くに、新しいロボティクス研究の拠点となる「AI Robotics Research Lab」を開設。1月11日には一般公開イベントが行われ、ラボに常設されたキッチンで、最初の「マニピュレーション システム」のデモを行った。
同ラボの統括は、NVIDIA のロボティクス研究担当 シニア ディレクターでありワシントン大学内、Paul G. Allen School of Computer Science and Engineering（コンピュータサイエンス・エンジニア学部)の教授も務めるDieter Fox(ディーター・フォックス)氏であり、同氏は次のように述べている。
同ラボの目的は、人間と共に安全に作業するという複雑なマニピュレーションタスクを実行し、製造や物流、医療などの業界を変革する次世代ロボットの実現にむけ、ロボティクス分野における研究の躍進に貢献することであり、50人近い研究者と学生インターンが、上記の分野で基礎研究を行い、研究が実世界のロボティクスの課題から離れないよう、双方向でのマニピュレーションに関する大規模で現実的なシナリオに基づいて研究を進めるとしている。
【動画】NVIDIA新たなAIリサーチラボをシアトルに開設（英語）
1月11日の一般公開イベントでは、モバイル マニピュレーターに最新の物体検出および追跡技術が実装されており、キッチンのドアや引き出しの状態を把握しながら、必要な物体へアクセスするためにそれらのドアや引き出しの開閉を行った。このような工程は、対象とする物体とキッチンキャビネットの3Dモデルがあれば任意の環境での適用が可能だ。
また、同社が得意とする写真のようにリアルな物理ベースのシミュレーション技術を活用することにより、ロボットは、ディープラーニングを利用して退屈な手作業のデータ ラベル付けを必要とせずに、独自のシミュレーションのみに基づいて特定の物体を検出。高度に並列化された GPU コンピューティングにより、正確な操作のためにセンサーのフィードバックを利用して、リアルタイムに環境を継続的に追跡でき、環境の変化にもすばやく適応できる。
同ロボットは、ナビゲーションのために NVIDIA Jetson プラットフォームを利用し、NVIDIA TITAN GPU で処理と操作のための推論をリアルタイムで実行する。
なお、ディープラーニングに基づく認知システムの学習には、cuDNNによって最適化された PyTorch ディープラーニング フレームワークが使用された。
▼ システムを構成するテクノロジー
同ラボの統括は、NVIDIA のロボティクス研究担当 シニア ディレクターでありワシントン大学内、Paul G. Allen School of Computer Science and Engineering（コンピュータサイエンス・エンジニア学部)の教授も務めるDieter Fox(ディーター・フォックス)氏であり、同氏は次のように述べている。
Dieter Fox氏
これまでロボティクスの研究では、総合的な統合システムよりも、小規模な独立プロジェクトに重点が置かれていました。このラボでは、ロボット制御および認知、コンピュータービジョン、人間とロボット間の相互作用、ディープラーニングに関する協働的かつ多分野にまたがるエキスパートチームを結成します。
これまでロボティクスの研究では、総合的な統合システムよりも、小規模な独立プロジェクトに重点が置かれていました。このラボでは、ロボット制御および認知、コンピュータービジョン、人間とロボット間の相互作用、ディープラーニングに関する協働的かつ多分野にまたがるエキスパートチームを結成します。
同ラボの目的は、人間と共に安全に作業するという複雑なマニピュレーションタスクを実行し、製造や物流、医療などの業界を変革する次世代ロボットの実現にむけ、ロボティクス分野における研究の躍進に貢献することであり、50人近い研究者と学生インターンが、上記の分野で基礎研究を行い、研究が実世界のロボティクスの課題から離れないよう、双方向でのマニピュレーションに関する大規模で現実的なシナリオに基づいて研究を進めるとしている。
【動画】NVIDIA新たなAIリサーチラボをシアトルに開設（英語）
Celebrating Robotics in Seattle: NVIDIA Opens New AI Research Lab
AI Robotics Research Lab での研究内容
ラボで現在取り組んでいる約12の研究のうち、まず最初に挑戦するシナリオは「キッチンマニピュレータ」だ。実際のキッチンでモバイルマニピュレーターが、キャビネットから物体を取り出すことから、ダイニング テーブルを拭くといった、料理をする人をサポートするための様々なタスクをこなす。1月11日の一般公開イベントでは、モバイル マニピュレーターに最新の物体検出および追跡技術が実装されており、キッチンのドアや引き出しの状態を把握しながら、必要な物体へアクセスするためにそれらのドアや引き出しの開閉を行った。このような工程は、対象とする物体とキッチンキャビネットの3Dモデルがあれば任意の環境での適用が可能だ。
また、同社が得意とする写真のようにリアルな物理ベースのシミュレーション技術を活用することにより、ロボットは、ディープラーニングを利用して退屈な手作業のデータ ラベル付けを必要とせずに、独自のシミュレーションのみに基づいて特定の物体を検出。高度に並列化された GPU コンピューティングにより、正確な操作のためにセンサーのフィードバックを利用して、リアルタイムに環境を継続的に追跡でき、環境の変化にもすばやく適応できる。
同ロボットは、ナビゲーションのために NVIDIA Jetson プラットフォームを利用し、NVIDIA TITAN GPU で処理と操作のための推論をリアルタイムで実行する。
なお、ディープラーニングに基づく認知システムの学習には、cuDNNによって最適化された PyTorch ディープラーニング フレームワークが使用された。
システムを構成するテクノロジー
このシステムの独自性は、ラボの研究員によって開発された一連の最新テクノロジを統合していることだ。それらの最新テクノロジの連携により、ロボットが物体をつかんで別の場所に移動できるよう、物体を検出し、ドアと引き出しの位置を追跡し、制御コマンドを生成することを可能にした。▼ システムを構成するテクノロジー
【DART(Dense Articulated Real-Time Tracking)】
ワシントン大学にあるフォックスのロボティクス研究所で最初に開発された DARTは、デプス カメラを利用して、ロボットの周辺環境を継続的に追跡。これは、コーヒーカップやシリアルの箱などの剛性の物体と、手やマニピュレーターを含む人間の体とロボットのボディ、家具および道具など、室内環境にあることが多い関節/連結部のある物体を追跡するための汎用フレームワークだ。
【Pose-CNN: 6D 物体位置姿勢】
認識既知の物体の 6D 姿勢と方向を検出することは、環境内の物体をつかんで移動するロボットに不可欠な機能ながら、照明条件の変化や乱雑に物体どうしが重なり合うといった複雑な状況において非常に難しい問題であった。これを解決したPose-CNN は、通常のカメラを使用してそのような条件下にある物体を検出するためにトレーニングされたディープ ニューラル ネットワークだ。
【リアクティブ マニピュレーター制御のための RMP (Riemannian Motion Policies)】
RMP はシンプルなアクションのライブラリを複雑な動作へと一貫して結合する新しい数学フレームワークだ。RMP を使用することにより、開発チームは、動的な環境内で物体および人間と安全に相互作用するために、Pose-CNN と DART からの検出情報と追跡情報を利用して、反応の早いコントローラーを効率的にプログラムできる。
【写真のようにリアルな物理ベースのシミュレーション】
NVIDIA の Isaac Sim ツールにより、物体の視覚的特性のモデル化に加え、物体とマニピュレーター間の力と接触もモデル化するリアルなシミュレーション環境を生成。マニピュレーション システムをテストし、物体検出ネットワークの基礎を成す Pose-CNN をトレーニングするために、シミュレーションによって生成されたキッチンが利用される。実際のロボットで実行した場合、このトレーニングと開発のプロセスにはコストと時間がかかるが、物体と環境のシミュレーション モデルを利用できれば、トレーニングとテストをより効率的に実行することが可能。貴重な開発期間の短縮につながる。
フォックス氏は、今回のラボの設立により、次世代のロボットを開発すべき時期が来ていると強く感じており、認知・制御・学習・シミュレーションに関する最新技術を統合することにより、世界中が直面している非常に難しい課題のいくつかを解決するための研究コミュニティーの一助となると考えていると述べている。ワシントン大学にあるフォックスのロボティクス研究所で最初に開発された DARTは、デプス カメラを利用して、ロボットの周辺環境を継続的に追跡。これは、コーヒーカップやシリアルの箱などの剛性の物体と、手やマニピュレーターを含む人間の体とロボットのボディ、家具および道具など、室内環境にあることが多い関節/連結部のある物体を追跡するための汎用フレームワークだ。
【Pose-CNN: 6D 物体位置姿勢】
認識既知の物体の 6D 姿勢と方向を検出することは、環境内の物体をつかんで移動するロボットに不可欠な機能ながら、照明条件の変化や乱雑に物体どうしが重なり合うといった複雑な状況において非常に難しい問題であった。これを解決したPose-CNN は、通常のカメラを使用してそのような条件下にある物体を検出するためにトレーニングされたディープ ニューラル ネットワークだ。
【リアクティブ マニピュレーター制御のための RMP (Riemannian Motion Policies)】
RMP はシンプルなアクションのライブラリを複雑な動作へと一貫して結合する新しい数学フレームワークだ。RMP を使用することにより、開発チームは、動的な環境内で物体および人間と安全に相互作用するために、Pose-CNN と DART からの検出情報と追跡情報を利用して、反応の早いコントローラーを効率的にプログラムできる。
【写真のようにリアルな物理ベースのシミュレーション】
NVIDIA の Isaac Sim ツールにより、物体の視覚的特性のモデル化に加え、物体とマニピュレーター間の力と接触もモデル化するリアルなシミュレーション環境を生成。マニピュレーション システムをテストし、物体検出ネットワークの基礎を成す Pose-CNN をトレーニングするために、シミュレーションによって生成されたキッチンが利用される。実際のロボットで実行した場合、このトレーニングと開発のプロセスにはコストと時間がかかるが、物体と環境のシミュレーション モデルを利用できれば、トレーニングとテストをより効率的に実行することが可能。貴重な開発期間の短縮につながる。
コメント
コメントを投稿