论文阅读：ICLR 2026 GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning

张开发
• 2026/4/13 3:47:47 • 15 分钟阅读

最新文章

推荐文章

相关文章

分享文章

论文阅读：ICLR 2026 GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning
总目录 大模型相关研究 2025版https://blog.csdn.net/WhiffeYF/article/details/142132328总目录 大模型安全研究论文整理 2026年版https://blog.csdn.net/WhiffeYF/article/details/159047894https://openreview.net/forum?idRQm2KQTM5rGEPA一场颠覆性的提示词进化革命让AI学会“反思”与“择优”性能超越强化学习该论文《GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning》由来自UC Berkeley、Stanford等机构的研究者Lakshya A Agrawal等共同完成并发表于ICLR 2026会议。该论文关注大语言模型LLM在下游任务中的优化问题提出相比强化学习RL更高效的替代方案。该论文指出当前主流方法如GRPO依赖大量rollouts试验次数来学习任务但效率较低。而语言模型本身具备“理解文本”的优势如果能利用自然语言进行反思和总结可能更高效。因此该论文提出了一种新的优化框架GEPAGenetic-Pareto Algorithm通过“语言反思进化搜索”来优化提示prompt。具体来说该论文的方法核心是三点第一通过执行模型任务生成完整的“过程记录”包括推理步骤、工具调用等第二让模型用自然语言对这些过程进行反思找出问题并提出改进第三通过类似“遗传进化”的方式不断生成更优的prompt并用Pareto最优策略保留多种优秀解避免陷入局部最优。举个简单例子假设模型在做多跳问答时表现不好GEPA不会像传统RL那样只根据“答对/答错”给分而是会分析中间步骤比如“第一步检索信息不够全面”然后用语言总结“应该扩大检索范围”再生成新的prompt进行尝试。这样一次试验就能学到更多信息大幅减少试验次数。实验结果表明该论文方法在多个任务上显著优于强化学习方法平均提升约6个百分点最高可达19个百分点同时所需rollouts减少最多35倍。此外该方法在不同模型之间也具有良好的泛化能力。总体来看该论文提出了一种“用语言优化语言模型”的新思路把训练信号从数值奖励转向可解释的文本反馈使模型学习更加高效、可控具有很强的实际应用价值。

更多文章