训练入门:完成一次训练任务要做什么?

机器人已经遥操录制了一批三明治制作数据:拿盒子、放面包、放生菜、放火腿……
接下来,怎样用已经采集的数据训练模型,让机器人自己完成这些动作?
一次完整的训练任务,大致要经过五步:准备数据、配置训练、监控过程、获取权重、推理验证。
第一步:准备训练数据
训练前,先想清楚这次要教机器人做什么。
如果目标是让机器人学习放生菜,就需要选择与这个动作相关的示范;如果目标是完成整个三明治的组装,就需要考虑各个动作之间怎样衔接。
选好数据后,还要检查画面、机器人状态和动作记录是否完整,关键操作能否看清。数据存在严重遮挡、动作记录缺失或画面与动作对不上的情况,都可能影响训练。
多个数据集可以直接放在一起吗?
假设第一批数据中,放生菜的示范不够,后来又补录了一批。想用两批数据一起训练,不能简单地把视频复制到同一个文件夹。
因为训练数据不只有视频。每段示范还包含机器人状态、动作、时间戳和任务信息,模型需要同时读取这些内容,并知道每一帧画面对应什么状态和动作。如果只把视频放在一起,这些对应关系就可能丢失或出错。
合并前,要先确认两批数据是否兼容,例如机器人和夹爪是否一致,相机、状态和动作数据的字段及含义是否匹配。合并时,还需要处理片段编号、索引和任务信息。
合并完成后,可以抽查回放,确认画面、状态和动作仍然对应,并记录数据来自哪些批次。
第二步:配置训练任务
训练,是让模型从示范中学习如何做动作。
以“放生菜”为例,示范数据记录了机器人当时看到的画面、自身状态,以及操作者让它执行的动作。训练时,模型根据画面和状态尝试预测动作,再与示范作比较,逐步调整内部参数。这些训练后得到的参数,就是权重。
训练任务则是把这次学习安排起来:指定用哪些数据、采用哪种策略、从哪份权重开始,以及在哪台机器上运行。创建任务时,主要看懂以下选择:
数据集:决定学什么。
训练“放生菜”时,应选择包含这一动作的示范;训练完整的三明治组装流程,则需要考虑各步骤之间的衔接。选入不相关或质量不可靠的数据,可能让模型更难学到目标动作。
策略:决定怎么学。
ACT 和 π0.5 是不同的策略,模型结构、所需输入和训练方式可能不同。同一批数据换一种策略训练,得到的权重和实际动作表现也可能不同。选择前要确认策略支持当前机器人的相机、状态和动作数据,不能只看策略名称。
初始权重:决定从哪里开始。
有些训练会加载已有权重,在原有能力上继续学习;有些训练则采用其他初始化方式。初始权重必须与所选策略兼容。它可能帮助训练更快进入有效阶段,但最终效果仍要测试。
训练机:决定能否运行、要等多久。
不同训练机的 GPU 型号、显存、数量和当前占用情况不同。显存不足可能导致任务无法运行;资源充足也不代表训练时间会按 GPU 数量成比例缩短。选择时还要确认机器具备所需训练环境,并考虑数据准备和排队时间。
选好了数据、策略、初始权重和训练机,还需要决定模型训练多少步、每次使用多少数据、每次调整的幅度有多大。这些设置就是训练参数,会直接影响训练过程。下一节从最常见的几个参数说起。
第三步:设置常见参数
训练参数决定了模型怎样学习。同样一批三明治数据,参数设置不同,训练耗时、显存占用和保存的权重都可能不同。第一次配置训练任务时,先看懂下面四个常见参数。
Step:训练多少步
Step 是训练步数。通常,模型使用一批数据计算误差并完成一次参数更新,记作 1 Step。
训练 10,000 Steps,表示训练按这种方式推进了 10,000 次,不代表采集了 10,000 条数据。
步数越多,训练时间通常越长;但训练更久不一定带来更好的实际效果。
Batch size:每次用多少数据
Batch size 是批次大小,表示一次参数更新使用多少个训练样本。
批次大小会影响显存占用和训练表现。使用多张 GPU 时,还需要确认参数表示的是单张 GPU 的批次大小,还是所有 GPU 加起来的总批次大小。
Learning rate:每次调整多大
Learning rate 是学习率,控制模型参数每次调整的幅度。
学习率过大,训练可能不稳定;过小,学习进展可能较慢。不同策略和训练任务适合的设置可能不同,初次训练可以先参考该策略的推荐配置。
保存频率:多久保存一次权重
训练过程中,模型可以按一定步数保存权重。例如,每训练一段时间保存一次,就能得到不同训练阶段的结果。
保存得更频繁,后续可供比较的权重更多,也会占用更多存储空间。
第四步:训练过程监控
任务提交后,不一定马上开始训练。系统可能需要先准备数据、策略和训练环境,或者等待可用的 GPU。
可以先查看任务状态,确认当前处于准备、排队还是训练阶段。
进入训练后,重点关注以下信息:
- 训练进度:当前 Step、总 Step 和预计完成时间。
- Loss 曲线:观察训练过程中的误差变化。
- 训练日志:查看训练信息;出现异常时,帮助定位原因。
- 资源使用:查看 GPU 和显存等资源的使用情况。
Loss 通常表示模型预测与训练目标之间的差距。它逐渐下降,说明模型在训练数据上的误差有所减小。
但 Loss 下降不等于机器人已经学会了。机器人能否抓稳生菜、准确放入盒中,还需要实际测试。
第五步:选择权重,验证效果
训练过程中保存的权重,记录了模型在不同阶段学到的参数。同一次训练可能产生多个权重,可以选择其中一个进行推理,让机器人实际执行任务。
测试三明治任务时,除了看最后有没有完成,还可以观察:机器人是否拿稳盒子?生菜有没有夹起来?面包是否放歪?前面的动作出现偏差后,后面的步骤还能否继续?
记录成功和失败的情况,有助于找到下一步的改进方向。例如,生菜经常抓空,可以回看相关示范,检查画面是否清楚、抓取动作是否稳定,再决定是否补充数据。
训练完成后,也建议保留这次使用的数据、策略、参数和权重信息。下次调整训练方案时,才能知道改了什么,比较结果也更有依据。
从一次训练,到不断改进
一次训练的结束,是机器人接受实际检验的开始。
把训练使用的数据、策略、参数、日志和权重记录清楚,才能比较不同训练方案的效果。根据机器人真实执行中的失败情况,继续补充数据、调整配置,再进行下一轮训练。
经过这样的循环,示范数据才会逐步转化为稳定的任务能力。