AGENTIC REPORTING SHOWCASE · SYNTHETIC
Adaptive Action Chunking
一个完全合成的 VLA 学术汇报:展示成功率、人工接管与推理时延之间的受限权衡。
Problem
视觉 OOD 下,固定四步动作块会延长无反馈执行窗口
10 Hz 控制下,4-action chunk 覆盖 400 ms;在下一次感知更新前,策略可能继续执行已经过时的动作。
Idea
置信度门控只改变测试时的 action chunk 长度
Mechanism
同一个 final checkpoint 输出动作与合成 confidence。低 confidence 时执行 1 步,否则执行 4 步;每个 chunk 后重新感知。
Hypothesis: 更短的低置信动作窗口可能改善 OOD 恢复,但增加推理调用与时延压力。
Protocol
两种 chunk 规则共享 checkpoint、任务与设备
| Method | Data/split | Selection | Runs/trials | Compute |
|---|---|---|---|---|
| Fixed-4 | 同一 synthetic OOD suite | 同一 final checkpoint | 20 rollout;无 retry | Device X;10 Hz |
| Adaptive-1/4 | 同一 synthetic OOD suite | 同一 final checkpoint | 20 rollout;无 retry | Device X;10 Hz |
Decisive evidence
Adaptive-1/4 的 OOD 成功计数更高,但 p95 推理更慢
8→12OOD successes / 20(↑);descriptive only
135→149Inference p95,ms(↓);100 calls/condition
1Independent training run;40 evaluation rollouts
Boundary
一次训练运行不能建立 OOD 因果或部署安全
Observed exceptions
Adaptive-1/4 仍有 8/20 失败和 3/20 人工接管;其 p95 inference 为 149 ms,高于 100 ms 控制周期。
Allowed conclusion
在这个合成、同 checkpoint 协议中,Adaptive-1/4 的观测成功计数更高,同时推理 p95 更慢。
Not established
没有多 seed、显著性检验、场景重叠核验、其他机器人、能耗或真实部署证据。
Takeaway
先验证可重复性,再决定是否保留 adaptive chunking
Next evidence-producing action: 增加独立训练 seed,并在 matched compute 下比较 chunk 1/2/4 的成功、接管、deadline miss 与能耗。