RLHF

RLHF 是 Reinforcement Learning from Human Feedback，中文叫"基于人类反馈的强化学习"。名字长，干的事就一件：让 AI 的回答更合人的心意。

训练一个大模型，光让它"预测下一个词"不够——那样它虽然语法通顺，但可能啰嗦、偏心、答非所问。RLHF 的做法是：让一堆人给模型的多个回答打分排序，再用这些偏好训练一个"奖励模型"，最后用强化学习去优化主模型，让它倾向于产出高分回答。

它是 ChatGPT 那一代模型"突然好用了"的隐藏功臣。没有 RLHF，GPT-3 只是个爱跑题的续写机器；加上之后，它才学会"像人一样好好对话"。

不过 RLHF 也有代价：人工标注贵、可能把标注员的偏见带进去，而且模型有时会变得"太会讨好人"。它是微调（Fine-tuning）大家族里专管"对齐"的一环，和普通的任务微调不是一回事。