近日，人工智能领域的领军企业 OpenAI 宣布推出一款名为 CriticGPT 的新模型。该模型基于 GPT-4 训练，旨在捕捉 ChatGPT 代码输出中的错误，为人类 AI 训练员提供协助。
CriticGPT的主要功能是检测ChatGPT回答中的错误，并撰写评论强调不准确之处。换句话说，这项技术让人能用 GPT-4 查找 GPT-4 的错误。OpenAI 表示，通过引入 CriticGPT，他们希望进一步改善 ChatGPT 在代码编写方面的表现，并降低潜在问题发生率。
实验结果显示，CriticGPT 的效果令人鼓舞。当人类训练师使用 CriticGPT 审查 ChatGPT 编写的代码时，其审查效果比没有获得帮助的人强 60%。不仅如此，CriticGPT 还能增强人类训练师的技能，使得批评结论更加全面，同时减少 AI 单独工作时可能产生的幻觉错误。
然而，OpenAI 也坦承 CriticGPT 存在一些局限性。首先，由于使用 ChatGPT 的简短答案进行训练，CriticGPT 在处理冗长复杂的任务时可能力不从心。其次，模型仍然会产生幻觉，有时会导致训练师出现标记错误。第三，当前版本的 CriticGPT 主要专注于识别单一位置的错误，而现实世界中的错误往往分散在回答的多个部分。最后，对于极其复杂的任务或响应，即使有 CriticGPT 的帮助，专家可能仍然难以正确评估。
CriticGPT 的开发背景源于一个现实问题：随着 ChatGPT 等 AI 模型的表现不断提升，其错误变得越来越难以察觉，这使得 AI 训练员的工作变得愈发具有挑战性。OpenAI 指出，这反映了 “从人类反馈中强化学习”（RLHF）技术的一个固有局限：随着模型变得比提供反馈的人更博学，对模型的协调变得更加困难。
尽管 CriticGPT 的建议并非全都正确无误，但 OpenAI 的研究人员发现，相比没有 AI 辅助的情况，有了 CriticGPT 的帮助，训练师可以发现更多模型编写答案中的问题。这一发现为 AI 模型的持续优化提供了新的思路。
OpenAI 表示，他们将继续完善 CriticGPT，以解决当前面临的局限性，并探索更多能够帮助训练师理解和处理复杂任务的方法。随着 AI 技术的不断进步，像 CriticGPT 这样的辅助工具将在提升AI模型性能和可靠性方面发挥越来越重要的作用。
资料来源：综合报道；图片来源：OpenAI 官网
