4. 采集流程¶
十类任务,同一套设备、同一套标定流程。上排是六个实验室操作,下排是四个家务和工业任务。
4.1 一天的流程¶
- 佩戴并检查(第 1.4 节、第 2.5 节)。
- 录标定。 每次佩戴都要先录一段 01–17 标定动作(第 5 章),可以多录一两段备用。标定录制要能从名字上认出来,例如任务名用"标定"。
- 按任务列表录制(第 3 章)。在页面上选好任务,
r开始,e保存;做砸了用d丢弃重录。 - 抽查。 每天挑几条用
visualize_session.py回看(第 4.4 节)。 - 上传(可选,第 3.6 节)。
- 记录。 采集程序会在数据目录旁写
recording_log_<日期>.csv,包含每条录制的起止时间、时长和各路帧数。另外要手工记下每条录制由谁、在哪次佩戴下完成:处理时按这个分组,每组用一份标定(第 7.3 节)。
4.2 命名¶
每条录制一个目录,名字为 session_<日期>_<时间>_<任务名>,例如 session_20260901_154755_物料称量。目录里有五个文件,格式见第 6 章:
data/session_20260901_154755_物料称量/
├── session_20260901_154755_物料称量.mp4
├── session_20260901_154755_物料称量.video.npz
├── session_20260901_154755_物料称量.npz
├── session_20260901_154755_物料称量.tracker.npz
└── session_20260901_154755_物料称量.session.json
有意采集的中断与纠错过程("恢复"类录制)在任务名后加 _恢复,例如 session_20260901_164121_过柱_恢复。
4.3 录制要求¶
- 开头站定 2–3 秒再开始动作,结尾停 1–2 秒。后续的左右检查和投影都要用到开头的站姿。
- 录制中不要碰 tracker 和绑带。 碰到了就在记录里写明,必要时重录标定。
- 确认手腕 tracker 在动。 手腕 tracker 没有数据的录制无法还原身体。
- 控制单条时长。 实验室任务一般 2–7 分钟,太长的拆成几段。
- 留意画面顶部。 GoPro 的 HDMI 输出带有屏幕信息(电量、SD 卡状态等),发布时会裁掉顶部 110 像素,重要内容不要落在画面最上沿。
4.4 录完怎么检查¶
先看 session.json:video.queue_dropped_frames、read_failures、writer_failures 和 tracker.dropped_frames 都应为 0,overlap_s 应接近录制时长。
再回看录制:
python visualize_session.py data/session_YYYYMMDD_HHMMSS_<任务名>
# 可选参数:--no-open --port 8000 --max-fps 30 --build-only
回看页面会自动识别手套类型,把视频、五个 tracker、双手骨架和触觉放在同一条时间轴上(页面样子见第 3.4 节)。重点看:
| 看什么 | 正常情况 |
|---|---|
| tracker | 五个都有坐标、都在动,转身时一起转 |
| 手部骨架 | 两只手都在动;视频里动的是哪只手,对应一侧的骨架就在动 |
| 触觉(Wuji) | 抓握时亮起;大片常亮或始终全黑,说明手套或标定有问题 |
| 时长与帧率 | 与录制一致 |