EBench Docs
EBenchとは
室内 VLA マニピュレーションベンチマーク：ロングホライズン・精密操作・モバイルマニピュレーション
EBench（Elemental Mobile Manipulation Benchmark）は NVIDIA Isaac Sim 上に構築された室内 VLA マニピュレーションベンチマークです。ロングホライズンタスク、精密操作、モバイルマニピュレーションをカバーし、高難度の身体性タスクにおけるモデル性能を公平かつ効率的に比較できます。
EBench はクライアント・サーバーアーキテクチャを採用しています。サーバー側では Isaac Sim を実行し、シミュレーション環境をブラックボックスとして公開します。クライアント側は依存関係が極めて少ない軽量パッケージで、モデル側の環境に直接インストールして import するだけでサーバーと通信でき、依存関係の競合を完全に回避します。
ドキュメントを読む
Section titled “ドキュメントを読む”タスク一覧
3 つのタスクファミリー全 26 評価タスクの動画デモをご覧ください。
環境とアセット
Isaac Sim サーバーの構築、クライアントパッケージのインストール、ベンチマークアセットのダウンロード。
実行と統合
サーバーの起動、評価ジョブの送信、独自モデルの接続。