DPO

RLHF/DPO：让大模型学会"讨好"人类

前言：SFT 之后，还差什么？上一篇我们讲了 SFT（监督微调），模型学会了"对话格式"。但 SFT 有几个致命问题：问题 1：不知道什么是"好"回答问题 2：没有偏好概念问题 3：幻觉和有害内容这就是为什么需要 RLHF（Reinforc…