遥操做成功了,模型为什么还是学不会?

把杯子抓起来,放到指定位置。人遥操时能顺利完成,换成模型执行,却可能抓偏、停住,或在放下时碰到障碍。
上一篇,我们聊了什么样的数据值得用。但即使记录完整、任务成功,示范过程也可能存在问题。操作者习以为常的一些做法,会让模型更难学会。
人看得到,模型不一定能看得到
遥操时,人可以观察整个工作台,从侧面确认夹爪的位置,也可以探头查看物体有没有碰到障碍。模型收到的,则是指定相机拍摄的画面,视角和范围都受到限制。即使人也在看相机画面,模型实际使用的图像还可能经过裁剪、缩放。人能看见的细节,未必完整地出现在模型输入中。
比如,从人的角度看,夹爪已经对准杯子;但在相机画面里,杯子被机械臂挡住了。人凭现场观察完成了抓取,模型却缺少判断抓取时机的依据。
因此,采集前要检查模型实际收到的画面:能否看见目标,能否判断夹爪与物体的位置关系,抓取、接触和释放的过程是否清楚。这也是 LeRobot 采集指南建议的检查方式。
多换几条轨迹,不等于模型学会应变
同一个任务多录几遍,每次换一条路线,模型就能学会泛化吗?
泛化,是条件发生变化后,模型仍然能够完成任务。单纯增加轨迹的数量和花样,并不能保证这一点。
比如,杯子始终放在桌子中央。采集时,一次从左侧绕过去抓,一次从右侧绕过去抓,还刻意多绕几个弯。虽然路线变多了,但杯子的位置没有变化。等杯子移到桌角,模型仍可能不知道该怎样调整动作。
同样,采过从左侧和右侧接近的轨迹,也不能据此认定模型会自动找到一条合适的中间路线。
如果变化只是无关的绕路、停顿和反复试探,模型还可能把这些多余动作一起学进去。尤其在数据量有限时,随意变化可能增加学习难度。
采集时,应让变化对应实际任务的需要。 杯子位置变了,调整抓取位置;前方出现障碍,调整接近路线。关键步骤保持清楚、连贯,再有计划地覆盖不同位置、朝向和环境条件。
示范一种稳妥的抓法,给模型留些操作空间
人遥操抓瓶子时,抓靠近瓶口的位置、靠近瓶底的位置,或者抓得深一点、浅一点,都可能把瓶子拿起来。因为人在操作中会观察、调整,及时把动作修正过来。
给模型示范时,可以先选择一种更稳妥的抓法。比如抓一个直立的普通瓶子,尽量对准瓶身中部,让瓶子处于夹爪中间,夹得不深不浅,稳稳地抓起来。
这样,即使模型执行时稍微抓高一点、抓低一点,也还有抓稳的机会。如果示范时就只夹住瓶子的一点边缘,再偏一点就可能抓空或滑落。给模型预留空间,就是让动作有一点偏差时,任务仍然有机会成功。
让模型知道什么是失败,也知道怎样补救
抓瓶子时,夹爪已经合上,瓶子却还在原地,或者刚抬起来就滑落,这些都是值得保留的失败数据。把这些情况记录下来,并明确标记为失败,可以用于训练模型判断:什么样的抓取没有成功。
接下来,人及时接管遥操,让夹爪重新张开,调整到合适的位置,再把瓶子稳稳抓起来。这段人工恢复的过程,就提供了“抓失败以后应该怎么做”的示范。
失败数据帮助模型学习识别失败,人工恢复的示范数据帮助模型学习纠正动作。 两者同样重要:既要让模型知道这次没抓好,也要教它接下来怎样重新抓好。
不确定采得好不好?回放轨迹看看
不确定一段遥操数据录得好不好,可以先做轨迹回放。
轨迹回放是让机器人按照记录下来的动作再执行一次,用来检查动作能否复现。回放前,应尽量还原采集时的机器人起始姿态、物体位置和执行配置。
如果遥操时成功,回放却失败,就应进一步检查起始条件、动作记录和控制配置,定位问题后再决定是否补采。
回放成功,说明这段动作具备复现的基础;模型能否根据新画面作出正确判断、适应场景变化,还需要训练后验证。
先采一小批,通过回放检查示范,再扩大采集规模。把模型需要看到的信息记录清楚,把值得学习的动作示范明白,数据才更有机会转化为稳定的任务能力。