当前位置:首页 > 外汇资讯 > 正文内容

OpenAI推出SWE-bench Verified:现有框架低估模型软件工程能力

激石外汇2024-08-14 12:01:10外汇资讯163

激石Pepperstone(http://www.paraat.net/)报道:

刚刚OpenAI推出更可靠的代码生成评估基准:SWE-bench Verified。

发布blog里最重要的一句话是:“随着我们的系统越来越接近 AGI,我们需要在越来越具有挑战性的任务中对它们进行评估”。

该基准是对现有SWE-bench的改进版本(子集),旨在更可靠地评估AI模型解决现实世界软件问题的能力。

SWE-bench是一个流行的软件工程评估套件,用于评估大型语言模型 (LLM) 解决从GitHub提取的真实软件问题的能力。它通过向AI代理提供代码库和问题描述,并要求其生成修复问题的补丁来进行评估。虽然LLM在 SWE-bench上取得了令人瞩目的进展,但OpenAI的研究发现,该基准存在一些问题,可能导致低估模型的自主软件工程能力。

具体来说,OpenAI指出了SWE-bench的三个主要问题:

1.单元测试过于严格:用于评估解决方案正确性的单元测试通常过于具体,甚至与问题无关,这可能导致拒绝正确的解决方案。

2.问题描述不明确:许多样本的问题描述不够具体,导致对问题及其解决方案的理解存在歧义。

3.开发环境难以设置:有时难以可靠地为代理设置SWE-bench开发环境,这可能导致单元测试无论解决方案如何都会失败。

为了解决这些问题,OpenAI与专业的软件开发人员合作,对SWE-bench测试集中的每个样本进行了人工筛选,以确保单元测试的范围适当且问题描述明确。最终,他们发布了SWE-bench Verified,这是一个包含500 个样本的经过验证的子集,并取代了原始的SWE-bench和SWE-bench Lite测试集。

此外,OpenAI还与SWE-bench的作者合作,开发了一个新的评估工具,该工具使用容器化的Docker环境,使在SWE-bench上进行评估更容易、更可靠。

在SWE-bench Verified上,GPT-4o解决了33.2%的样本,而表现最佳的开源代理框架Agentless的得分翻了一番,达到16%。

OpenAI的这项研究突出了深入理解和改进评估基准的重要性,特别是当AI系统越来越接近通用人工智能 (AGI) 时。随着AI模型能力的不断提高,我们需要更加谨慎地评估其性能,以确保评估结果准确反映模型的真实能力。

OpenAI建议:

深入理解基准: 即使是精心设计的基准也可能存在问题,需要持续改进。

考虑生态系统的进步: 关注社区在代理框架方面的进展,并在评估风险时考虑潜在的外部增强功能

认识到局限性: 基于静态数据集的评估存在固有限制,需要补充其他评估方法。         

扫描二维码推送至手机访问。

版权声明:本文由激石Pepperstone发布,如需转载请注明出处。

本文链接:http://www.paraat.net/news/3462.html

标签: OpenAI
分享给朋友:

“OpenAI推出SWE-bench Verified:现有框架低估模型软件工程能力” 的相关文章

中国6月官方制造业PMI上升至50.2 重返扩张区间

中国6月官方制造业PMI上升至50.2 重返扩张区间

激石Pepperstone(http://www.paraat.net/)报道:随着国内疫情防控形势持续向好,稳经济一揽子政策措施加快落地生效,我国经济总体恢复有所加快。 6月份,制造业采购经理指数、非制造业商务活动指数和综合PMI产出指数分别为50.2%、54.7%和54.1%,高于上月0.6、6...

数字币崩盘,显卡遭殃

数字币崩盘,显卡遭殃

激石Pepperstone(http://www.paraat.net/)报道:成也挖矿,败也挖矿,这可能就是显卡被数字货币左右的一生。 昔日数字货币交易盛行之时,显卡一卡难求。现在数字货币遭遇抛售潮,显卡也是“一损俱损”。 今年以来,全球各地的显卡价格都在持续下降,整体来看基本已经恢复到“发行价”...

9年过去了,人类终于等来大规模无人机送货时代

激石Pepperstone(http://www.paraat.net/)报道:2013年,亚马逊创始人杰夫贝索斯在《60分钟》节目接受采访时,第一次公开表示亚马逊正在进行无人机送货方面的研发。 终于,九年磨一剑,无人机配送成为了现实。  虽然听起来无人机配送并不算难实现,但实际上,在真实世界大...

北京医保对创新药械进行除外支付,创新药支付天花板有望打破 | 见智研究

北京医保对创新药械进行除外支付,创新药支付天花板有望打破 | 见智研究

激石Pepperstone(http://www.paraat.net/)报道:2022年7月13日北京医保局发布文件《关于印发CHS-DRG付费新药新技术除外支付管理办法的通知(试行)》:“为进一步完善我市疾病诊断相关分组(CHS-DRG)付费工作,在发挥CHS-DRG引导规范医疗行为作用的同时,...

美国房租通胀高涨,纽约曼哈顿租金6月创历史新高

激石Pepperstone(http://www.paraat.net/)报道:早在一个月前,华尔街见闻文章就指出美国租房市场的数据表明,美国实际CPI水平远远不止8.6%。果然,在续创40年新高的美国6月CPI数据中可以看到,房租或将继续助燃CPI。 继阳光之城迈阿密4月份的单户租金增长达41%,...

英镑兑美元价格分析:空头正介入测试1.1950附近,寻求下行

英镑兑美元价格分析:空头正介入测试1.1950附近,寻求下行

  英镑兑美元正承压,将反转测试 1.1950。  空头已经介入,并且可能会接近趋势线支撑。  日图显示英镑兑美元构筑 W 形态,汇价遇阻接近颈线区域,该区域存在价格不均衡,可能后市会得到缓解,再次测试 1.19 关口下方。  英镑兑美元日线图    英镑兑美元 15 分钟图    15分钟图显示英...