評価の実行

1. サーバーの起動

python ray_eval_server.py --host 0.0.0.0 --port 8087

ローカルの Isaac Sim を使用する場合：

/isaac-sim/python.sh ray_eval_server.py --host 0.0.0.0 --port 8087

2. タスクの送信

クライアント環境からベンチマークジョブを送信します：

gmp submit ebench/mobile_manip/test --run_id my_first_run

利用可能なタスク設定：

タスク設定	説明
ebench/mobile_manip/<split>	モバイルベースによるピックアンドプレース
ebench/table_top_manip/<split>	テーブルトップでの精密タスク
ebench/generalist/<split>	カテゴリ横断の混合タスク

スプリット：val_train、val_unseen、test

gmp submit ebench --run_id full_run で全タスクを一括送信できます。

3. モデルの接続

組み込みベースラインによる接続テスト：

gmp eval -a r5a -g lift2 --worker_ids 0

独自のモデルを使用する場合は、モデルの統合 を参照してください。

4. 結果の確認

gmp status

結果は saved/eval_results/<task>/<run_id>/ に保存されます。

サーバーとクライアントを別々のマシンで実行する場合は、すべての gmp コマンドに --host <ip> --port <port> を指定してください。すべてのオプションについては GMP CLI リファレンス を参照してください。