用 DPO 微调 Llama 2：TRL 新增 DPOTrainer 并给出完整训练代码

Hugging Face 在 TRL 库中上线 Direct Preference Optimization（DPO）训练器，用二元交叉熵损失直接优化偏好数据，省去 RLHF 中的奖励模型训练和 RL 优化两步。