当前位置:首页 > 外汇资讯 > 正文内容

可商业化,最强开源文本生成代码模型!Code Llama重磅发布

激石外汇2023-08-25 12:04:26外汇资讯320

激石Pepperstone(http://www.paraat.net/)报道:

8月25日凌晨,全球社交、科技巨头Meta(Facebook、Instagram等母公司)在官网正式开源了,文本生成代码模型Code Llama。

据悉,Code Llama是基于Meta前不久发布的,最强开源大语言模型Llama 2之上开发而成,提供基础代码、专门针对Python开发和基于自然语言指令微调的,70亿、130亿、340亿三种参数模型。允许企业、个人开发者使用此模型,进行商业化。

Meta表示,Code Llama在代码任务上的表现,优于目前所有开源代码模型。Code Llama支持 Python、C++、Java、PHP、Typescript (Javascript)、C#和Bash等主流编程语言,可根据自然文本或代码直接生成代码,例如,给我写一个斐波那契序列函数的代码。

Code Llama简单介绍

Code Llama是基于Llama 2大语言模型,再通过特定代码数据预训练、微调而成。除了支持文本或代码生成代码之外,还可用于代码的调试并支持目前所有主流开发语言。

Code Llama提供70亿、130亿和340亿三种参数模型,每个模型都使用了5000亿tokens代码数据训练而成。基础模型和指令模型经过了中间填充文本 (FIM) 功能的训练,允许将代码插入到现有代码中,这意味着它们可以支持开箱即用的代码完成任务。

Code Llama 模型提供了高达100,000 个上下文标记的稳定生成。所有模型均在 16,000 个标记的序列上进行训练,并在最多100,000 个标记的输入上显示出改进。

这意味着,开发人员在进行大型代码模型测试、调优时,可以将其全部输入到Code Llama中进行测试。

Code Llama还针对Python编程推出了Code Llama Python模型。是在 Python 代码的 1000亿标记上进行微调。

Python是代码生成方面最具基准测试的语言,并且Python 和 PyTorch 在AI 社区中发挥着重要作用,所以,推出了针对Python的代码模型。

Code LlamaInstruct 是 Code Llama 针对自然文本指令微调的模型,该模型支持自然文本输入和输出。

如果你想使用文本生成代码,Meta建议你使用该模型,因为Code LlamaInstruct已经过数据微调理解自然文本更好并且生成的代码更符合开发人员要求。

资源消耗方面,70亿参数模型可在单个GPU上运行。340亿参数模型可返回最佳结果并提供更好的编程辅助,但资源消耗更大。

所以,对于个人开发者、中小型企业来说,70亿、130亿参数的模型效率更高、资源消耗更少,适合低延迟的任务,例如,进行实时代码开发。

Code Llama性能评测

为了针对现有解决方案测试 Code Llama 的性能,Meta使用了两个流行的编码基准:HumanEval 和 Mostly Basic Python 编程 (MBPP)。

HumanEval 测试模型根据文档字符串完成代码的能力,MBPP测试模型根据描述编写代码的能力。

测试结果显示,Code Llama的表现优于开源、特定代码的Llama,并且优于 Llama 2。例如,Code Llama 340亿参数模型在 HumanEval上得分为 53.7%,在 MBPP 上得分为 56.2%,与ChatGPT性能相当。         

扫描二维码推送至手机访问。

版权声明:本文由激石Pepperstone发布,如需转载请注明出处。

本文链接:http://www.paraat.net/news/2089.html

分享给朋友:

“可商业化,最强开源文本生成代码模型!Code Llama重磅发布” 的相关文章

新兴市场加息潮:墨西哥央行加息75基点,创历史最大幅度

激石Pepperstone(http://www.paraat.net/)报道:周四,墨西哥央行加快了升息步伐,央行董事会成员一致同意将基准利率上调75个基点,至7.75%,创下2008年以来最大加息幅度,与预期一致。 此次加息幅度是该行2008年采用通胀目标制以来最大,并且与美联储上周的加息幅度相...

习近平将出席庆祝香港回归祖国25周年大会暨香港特别行政区第六届政府就职典礼

激石Pepperstone(http://www.paraat.net/)报道:新华社北京6月25日电 中共中央总书记、国家主席、中央军委主席习近平将出席庆祝香港回归祖国25周年大会暨香港特别行政区第六届政府就职典礼。 本文来源:新华社,原文标题:《习近平将出席庆祝香港回归祖国25周年大会暨香港特别...

全球发展高层对话会主席声明(全文)

激石Pepperstone(http://www.paraat.net/)报道:  新华社北京6月24日电 全球发展高层对话会主席声明   一、2022年6月24日,全球发展高层对话会在金砖国家领导人第十四次会晤期间举行。会议由中华人民共和国主席习近平主持,金砖国家成员国俄罗斯联邦总统普京、印度...

赛道Hyper | 腾讯云上“造车”

激石Pepperstone(http://www.paraat.net/)报道:今年是腾讯启动车联网业务的第五年,腾讯仍坚持不造车,只行“云”。 在早期,腾讯从车联网和智能座舱业务起步,到了现阶段,开始发力To B云端服务:为汽车行业提供低门槛的定制化平台与工具链——被纳入6月24日发布的“车云一体...

银行稳信贷“十八般武艺”尽出 6月又见天量社融?

激石Pepperstone(http://www.paraat.net/)报道:随着经济逐步修复,信贷社融稳步回升。浙商证券预计,6-8月信贷社融数据有望逐月抬升、供需两旺,且市场对宽信用持续性的预期也明显改善。 浙商证券分析师梁凤洁和邱冠华表示,信贷方面,从各类银行来看,预计6月总量同比多增,结...

A股冲高回落!锂电股上冲 电力、稀土震荡走强 食品饮料、猪肉股疲软

A股冲高回落!锂电股上冲 电力、稀土震荡走强 食品饮料、猪肉股疲软

激石Pepperstone(http://www.paraat.net/)报道:7月5日周二,三大指数高开后冲高回落。其中创业板指一度涨逾1%,随后下行翻绿。 截至发稿,沪指涨0.10%,深成指跌0.45%,创业板指跌0.55%。 盘面上,锂电板块活跃,电力、稀土震荡走强,煤炭板块走高,旅游酒店、...