EBench Docs
EBench란
장기 과제, 정밀 조작, 이동 조작을 위한 실내 VLA 조작 벤치마크
EBench(Elemental Mobile Manipulation Benchmark)는 NVIDIA Isaac Sim 기반의 실내 VLA 조작 벤치마크로, 장기 과제, 정밀 조작, 이동 조작을 포괄하여 도전적인 임바디드 태스크에서 모델 성능을 공정하고 효율적으로 비교할 수 있도록 설계되었습니다.
EBench는 클라이언트-서버 아키텍처를 채택합니다. 서버는 Isaac Sim을 실행하며 시뮬레이션 환경을 블랙박스 형태로 제공합니다. 경량 클라이언트 패키지를 모델 환경에 직접 설치하고 import하여 서버와 통신할 수 있으므로, 의존성 충돌을 완전히 방지합니다.
문서 읽기
섹션 제목: “문서 읽기”태스크 쇼케이스
세 가지 태스크 계열에 걸친 총 26개 평가 태스크의 영상 데모를 확인하세요.
환경 및 에셋
Isaac Sim 서버를 설정하고, 클라이언트 패키지를 설치하고, 벤치마크 에셋을 다운로드하세요.
실행 및 연동
서버를 시작하고, 평가 작업을 제출하고, 직접 만든 모델을 연동하세요.