Skywork-Reward-V2 – 昆仑万维开源的第二代奖励模型系列

Skywork-Reward-V2是什么

Skywork-Reward-V2是昆仑万维开源的第二代奖励模型系列，包含基于不同基座模型和大小的8个模型，参数规模从6亿到80亿不等。Skywork-Reward-V2系列模型在七大主流奖励模型评测榜单中全面夺魁，展现出色的性能。模型成功得益于Skywork-SynPref-40M数据集，一个包含4000万对偏好样本的混合数据集，基于人机协同的两阶段流程精心筛选和过滤。Skywork-Reward-V2在通用偏好对齐、客观正确性、安全性等方面表现出色，在Best-of-N扩展能力和风格偏差抵抗能力上展现出强大的泛化能力。

Skywork-Reward-V2的主要功能

• 通用偏好对齐：准确判断不同回答中哪个更符合人类的通用偏好，让模型输出更贴近人类的主观判断，例如在聊天场景中选择更自然、得体的回复。
• 客观正确性评估：有效识别回答的客观准确性，对于有明确事实依据的问题，能筛选出正确答案，如在数学计算、事实查询等任务中判断回答是否准确。
• 安全性判断：具备识别回答是否安全的能力，避免生成包含有害、不当内容的回复，保障模型输出符合道德和安全标准，例如过滤掉涉及暴力、歧视等不良内容的回答。
• Best-of-N扩展能力：在面对多个候选回答时，能高效地从中选择出最优答案，提升模型在多选场景下的决策能力，比如在多轮对话中为用户提供最佳解决方案。
• 风格偏差抵抗：对不同风格的回答具有较强的适应性和公平性，不会因回答的风格差异而产生偏见，确保模型在多样化表达中保持客观评价，例如在文学创作、专业论述等不同风格文本中做出合理判断。

Skywork-Reward-V2的技术原理

• 大规模、高质量数据集Skywork-SynPref-40M：包含4000万对偏好样本，为模型训练提供丰富的数据基础。基于人机协同的两阶段流程，结合人工标注的高质量和模型的规模化处理能力，从大量数据中筛选出2600万条高质量偏好数据，确保数据的多样性和准确性。
• 基于Bradley-Terry模型的训练：用经典的Bradley-Terry模型作为基础，计算不同回答之间的相对偏好得分来训练奖励模型。在训练过程中，模型不断学习如何根据人类偏好对回答进行排序，优化奖励信号，让模型更好地捕捉人类的偏好特征。
• 多轮迭代训练与优化：基于多轮迭代训练，模型在每轮中根据当前性能识别薄弱环节，基于检索相似样本和利用多模型一致性机制自动标注，进一步扩展和增强训练数据。迭代优化过程持续提升模型对偏好的理解与判别能力，在不同评测基准上表现出色。
• 模型架构与参数调整：基于Qwen3和LLaMA3系列模型进行训练，提供不同参数规模的模型，满足不同场景下的需求。基于调整模型参数和训练策略，如学习率、批处理大小等，实现模型性能的优化，确保模型在大规模数据训练下的高效收敛和稳定表现。

Skywork-Reward-V2的项目地址

• GitHub仓库：https://github.com/SkyworkAI/Skywork-Reward-V2
• HuggingFace模型库：https://huggingface.co/collections/Skywork/skywork-reward-v2-685cc86ce5d9c9e4be500c84
• arXiv技术论文：https://arxiv.org/pdf/2507.01352

Skywork-Reward-V2的应用场景

• 对话系统优化：评估对话系统生成的回复，选择更符合人类语言习惯和偏好的回答，提升智能客服、聊天机器人等系统的交互质量和用户体验。
• 内容推荐优化：在内容推荐系统中，评估不同内容项的吸引力和匹配度，根据用户的历史行为和偏好，为用户提供更精准、个性化的推荐内容，提高推荐系统的准确性和用户满意度。
• 教育辅导辅助：在教育领域，评估学生提交的答案，判断其准确性和完整性，提供针对性的反馈和指导，辅助教师进行教学评估。
• 内容审核：检测和过滤有害、不当或违规内容，如暴力、色情、歧视等，保障社交媒体、论坛等平台的安全和合规运营。
• 游戏优化：在游戏开发中，评估和优化游戏剧情、角色对话、任务设计等文本内容，提升游戏的沉浸感和趣味性。