EBench Docs
Was ist EBench
Indoor-VLA-Manipulations-Benchmark: langfristige Aufgaben, geschickte und mobile Manipulation
EBench (Elemental Mobile Manipulation Benchmark) ist ein Indoor-VLA-Manipulations-Benchmark auf Basis von NVIDIA Isaac Sim. Er umfasst langfristige Aufgaben, geschickte Manipulation und mobile Manipulation und ermoeglicht einen fairen und effizienten Vergleich von Modellen bei anspruchsvollen Embodied-Aufgaben.
EBench verwendet eine Client-Server-Architektur. Der Server fuehrt Isaac Sim aus und stellt die Simulationsumgebung als Blackbox bereit. Ein leichtgewichtiges Client-Paket kann direkt in die Modellumgebung installiert und per Import eingebunden werden, um mit dem Server zu kommunizieren — Abhaengigkeitskonflikte werden so vollstaendig vermieden.
Dokumentation lesen
Abschnitt betitelt „Dokumentation lesen“Aufgabenuebersicht
Videodemonstrationen aller 26 Evaluationsaufgaben aus drei Aufgabenfamilien ansehen.
Umgebung & Assets
Isaac-Sim-Server einrichten, Client-Paket installieren und Benchmark-Assets herunterladen.
Ausfuehrung & Integration
Server starten, Evaluationsauftraege einreichen und das eigene Modell anbinden.