当前位置:首页 > 外汇资讯 > 正文内容

阿里史上最大规模开源发布,超GPT-4o 、Llama-3.1!

激石外汇2024-09-19 12:01:02外汇资讯123

激石Pepperstone(http://www.paraat.net/)报道:

今天凌晨,阿里巴巴官宣了史上最大规模的开源发布,推出了基础模型Qwen2.5、专用于编码Qwen2.5-Coder和数学的Qwen2.5-Math。

这三大类模型一共有10多个版本,包括0.5B、1.5B、3B、7B、14B、32B和72B,适用于个人、企业以及移动端、PC等不同人群不同业务场景的模型。

如果不想进行繁琐的部署,阿里还开放了旗舰模型Qwen-Plus 和 Qwen-Turbo的API,帮助你快速开发或集成生成式AI功能。

开源地址:https://huggingface.co/collections/Qwen/qwen25-66e81a666513e518adb90d9e

Github:https://github.com/QwenLM/Qwen2.5?tab=readme-ov-file

在线demo:https://huggingface.co/spaces/Qwen/Qwen2.5

API地址:https://help.aliyun.com/zh/model-studio/developer-reference/what-is-qwen-llm

下面「AIGC开放社区」详细为大家介绍这些模型的性能特点以及测试结果。

Qwen2.5系列性能测试

本次阿里开源的最大版本指令微调模型Qwen2.5-72B在MMLU-Pro

MMLU-redux、GPQA、MATH、GSM8K、HumanEval、MBPP等全球知名基准测试平台的测试结果显示。

虽然Qwen2.5只有720亿参数,但在多个基准测试中击败了Meta拥有4050亿参数的最新开源Llama-3.1指令微调模型;全面超过了Mistral最新开源的Large-V2指令微调模型,成为目前最强大参数的开源模型之一。

即便是没有进行指令微调的基础模型,其性能同样超过Llama-3-405B。

阿里开放API的旗舰模型Qwen-Plus,其性能可以媲美闭源模型GPT4-o 和Claude-3.5-Sonnet。

此外,Qwen2.5系列首次引入了140 亿和320亿两种新参数模型,Qwen2.5-14B 和 Qwen2.5-32B。

指令微调模型的性能则超过了谷歌的Gemma2-27B、微软的Phi-3.5-MoE-Instruct,与闭源模型GPT-4o mini相比,只有三项测试略低其他基准测试全部超过

自阿里发布CodeQwen1.5 以来,吸引了大量用户通过该模型完成各种编程任务,包括调试、回答编程相关的问题以及提供代码建议。

本次发布的Qwen2.5-Coder-7B指令微调版本,在众多测试基准中,击败了那些知名且有较大参数的模型。

前不久阿里首次发布了数学模型Qwen2-Math,本次发布的Qwen2.5-Math 在更大规模的高质量数学数据上进行了预训练,包括由 Qwen2-Math 生成的合成数据。同时增加了对中文的支持,并通过CoT、PoT和 TIR的能力来加强其推理能力。

其中,Qwen2.5-Math-72B的整体性能超越了Qwen2-Math-72B指令微调和著名闭源模型GPT4-o。

其实从上面这些测试数据不难看出,即便是参数很小的模型,在质量数据和架构的帮助下,同样可以击败高参数模型,这在能耗和环境部署方面拥有相当大的优势。而阿里本次发布的Qwen2.5系列将小参数模型的性能发挥到了极致。

Qwen2.5系列简单介绍

Qwen2.5系列支持中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文等超过29种主流语言。与 Qwen2类似,Qwen2.5语言模型支持高达 128K tokens,并能生成最多 8K tokens的内容。

与Qwen-2相比,Qwen2.5系列的预训练数据大幅度增长达到了惊人的18万亿tokens,超过了Meta最新开源Llama-3.1的15万亿,成为目前训练数据最多的开源模型。

知识能力显著增强,Qwen2.5在 MMLU 基准测试中,与 Qwen2-7/72B 相比从70.3提高到74.2,从84.2提高到86.1 。Qwen2.5 在 GPQA/MMLU-Pro/MMLU-redux/ARC-c 基准测试上也有显着改进。

Qwen2.5能够生成更符合人类偏好的响应,与Qwen2-72B-Instruct相比,Qwen2.5-72B-Instruct的Arena-Hard分数从48.1显着提高到81.2 ,MT-Bench分数从9.12提高到9.35 。

数学能力获得增强,在融合了Qwen2-math的技术后,Qwen2.5的数学能力也得到了快速提升。在MATH基准上,Qwen2.5-7B/72B-Instruct的得分从Qwen2-7B/72B-Instruct的52.9/69.0提高到75.5/83.1。

此外,Qwen2.5在指令跟踪、生成长文本(从1k增加到超过8K标记)、理解结构化数据(例如表格)以及生成结构化输出(尤其是JSON)方面实现了显着改进。同时对系统提示的多样性更具弹性,增强了聊天机器人的角色扮演实施和条件设置。         

扫描二维码推送至手机访问。

版权声明:本文由激石Pepperstone发布,如需转载请注明出处。

本文链接:http://www.paraat.net/news/3614.html

分享给朋友:

“阿里史上最大规模开源发布,超GPT-4o 、Llama-3.1!” 的相关文章

激石Pepperstone:银行挤兑、对冲基金巨亏后,轮到“券商”了

激石Pepperstone(http://www.paraat.net/)报道:正在进行中的“币圈雷曼危机”,已经将越来越多的人卷进漩涡之中。 从“货币危机”(流动性枯竭)发酵到“银行危机”(Celsius冻结提款),随后蔓延到对冲基金(三箭资本Margin Call),现在加密货币“券商”也未能幸...

最惨私募冠军?当老板怒亏3亿出局,如今股价暴涨7倍!

最惨私募冠军?当老板怒亏3亿出局,如今股价暴涨7倍!

激石Pepperstone(http://www.paraat.net/)报道:散户买股票亏钱是常态,不过最让人懊恼的莫过于割肉之后股价原地起飞。往往在这个时候,投资人总会觉得市场在“针对”自己。因为各种因素,很少听说这种事情发生在专业的基金经理身上,然而这两天就有前私募冠军表示,自己曾经重仓的个股...

港股低开高走 汽车教育回暖 商汤股份解禁暴跌40%

港股低开高走 汽车教育回暖 商汤股份解禁暴跌40%

激石Pepperstone(http://www.paraat.net/)报道:6月的最后一个交易日,港股低开,恒指开跌0.36%,恒生科技指数开跌0.69%。 随后,恒指和恒生科技指数双双转涨。盘面上,汽车股和教育股回暖。 汽车股回暖,理想汽车涨超5%,蔚来涨近4%,吉利汽车涨近3%。 教育...

开发商2.5万/平拿地,现在卖房最低1.3万/平!这个一线城市惊现“万元房”

开发商2.5万/平拿地,现在卖房最低1.3万/平!这个一线城市惊现“万元房”

激石Pepperstone(http://www.paraat.net/)报道:“面包”价格比“面粉”价格便宜,这次竟然出现在一线城市。 7月4日,《每日经济新闻》记者注意到,广州增城的法拍地王项目创基天璟,最低售价甚至达到了1.3万元/平方米。 该项目的背景是,2017年创基地产通过司法竞拍,以总...

德国果然不满!央行行长公开质疑欧央行决策:凭什么确定各国息差“公允值”?

激石Pepperstone(http://www.paraat.net/)报道:欧洲央行此前承诺将购买更多债务负担沉重国家的债券,以应对这些国家与德国之间的利差扩大的问题,德国果然对此表示不满。 周一,欧洲央行管委兼德国央行行长Joachim Nagel警告称,要决定欧元区国家之间借贷成本的差异是否...

美债收益率大跌,关键曲线再度倒挂,“衰退风向标”狂闪

美债收益率大跌,关键曲线再度倒挂,“衰退风向标”狂闪

激石Pepperstone(http://www.paraat.net/)报道:美国债券市场发出了警告信号,投资者纷纷涌入避险资产,这表明对潜在经济衰退的担忧已笼罩全球市场。 昨日交易盘中,美国债券市场出现剧烈波动,美国10年期国债收益率大跌6个基点,今年第三次和2年期美债收益率出现倒挂。 10年期...