英伟达财报前夜,OpenAI下一代模型“泄漏”:吃“草莓”的“猎户座”
激石Pepperstone(http://www.paraat.net/)报道:
GPT-5迟迟未出,等来了神秘的“草莓”和“猎户座”模型,OpenAI再次站在风口浪尖。
据科技媒体The Information最新报道,OpenAI神秘“草莓”(Strawberry,前身为Q*)项目,计划最早今年秋季推出。同时用“草莓”合成数据来开发的最新大模型“猎户座”(Orion),该模型或于明年年初推出。
此前,OpenAI多次“放风”将推出“草莓”模型,ChatGPT曾于8月初在X上发布了草莓的表情,似乎在暗示在“草莓”大模型,Sam Altman最近也在社交媒体上发布了一张草莓的图片。
“草莓”是一个推理模型,核心能力在于强大的推理能力,可处理复杂的问题;“猎户座”则是超越GPT-4的下一代大模型,减少过程中幻觉或错误大幅减少。
此外,“草莓”模型不仅会为猎户座提供训练数据,OpenAI可能还会用“草莓”的简化版本集成在ChatGPT中,增强GPT-4的推理能力。
神秘的“草莓”和“猎户座”模型是什么?
具体来看,“草莓”是一个推理模型:
- 核心能力在于强大的推理能力,它并不局限于回答技术问题,而是拥有处理复杂问题的能力,例如解决编程和数学问题,这在传统的对话式AI中一直是一个难题。
- 尽管提高语言理解和推理能力,但同时需要额外更多地时间去“思考”;
而“猎户座”则是超越GPT-4的下一代大模型:
使用“草莓”的高质量数据训练,从而减少模型产生的幻觉或错误。
“草莓”技术对“猎户座”的重要性不言而喻。据研究人员透露,使用“草莓”可以为“猎户座”生成高质量的训练数据,“猎户座”通过训练数据学习,接触到的正确复杂推理示例越多,学习效果就越好。
推理能力大爆发,“草莓”更像个推理插件
OpenAI创始人兼CEO奥特曼曾强调,今后AI发展的关键将围绕推理能力展开。
由于推理能力限制,目前AI技术在诸如航空航天、结构工程之类的数学密集型行业中并没有得到广泛应用。因此,大模型数学推理能力的优化成为普及AI应用的必备条件,也是AI公司们进一步提升盈利能力的必经之路。
“草莓”模型的前身是Q*算法模型,Q*能够解决棘手的科学和数学问题。如果AI模型掌握了数学能力,将拥有更强的推理能力,甚至可以解决从未见过的数学问题或者自发解决变成问题,与人类智能相媲美。
值得一提的是,“草莓”模型在 MATH 基准测试中的得分已经超过90%,整体性能十分惊艳。
有网友称,相信草莓模型会成为金融等科技的行业改变规则,彻底解决复杂计算、推理的方式。
从产品路线上看,OpenAI或将原始的“草莓”模型通过“蒸馏”生成简化版本,将改进的推理能力整合到GPT中。简化版本旨在保持与原始模型相同的性能水平,同时操作更容易、成本更低。
尽管这可能会使答案更准确,但花费的时间可能更多,这意味着“草莓”可能不适合需要即时响应的应用,预计ChatGPT用户将能够根据需求选择开启或关闭“草莓”功能。