当前位置:首页 > 外汇资讯 > 正文内容

可商业化,最强开源文本生成代码模型!Code Llama重磅发布

激石外汇2023-08-25 12:04:26外汇资讯332

激石Pepperstone(http://www.paraat.net/)报道:

8月25日凌晨,全球社交、科技巨头Meta(Facebook、Instagram等母公司)在官网正式开源了,文本生成代码模型Code Llama。

据悉,Code Llama是基于Meta前不久发布的,最强开源大语言模型Llama 2之上开发而成,提供基础代码、专门针对Python开发和基于自然语言指令微调的,70亿、130亿、340亿三种参数模型。允许企业、个人开发者使用此模型,进行商业化。

Meta表示,Code Llama在代码任务上的表现,优于目前所有开源代码模型。Code Llama支持 Python、C++、Java、PHP、Typescript (Javascript)、C#和Bash等主流编程语言,可根据自然文本或代码直接生成代码,例如,给我写一个斐波那契序列函数的代码。

Code Llama简单介绍

Code Llama是基于Llama 2大语言模型,再通过特定代码数据预训练、微调而成。除了支持文本或代码生成代码之外,还可用于代码的调试并支持目前所有主流开发语言。

Code Llama提供70亿、130亿和340亿三种参数模型,每个模型都使用了5000亿tokens代码数据训练而成。基础模型和指令模型经过了中间填充文本 (FIM) 功能的训练,允许将代码插入到现有代码中,这意味着它们可以支持开箱即用的代码完成任务。

Code Llama 模型提供了高达100,000 个上下文标记的稳定生成。所有模型均在 16,000 个标记的序列上进行训练,并在最多100,000 个标记的输入上显示出改进。

这意味着,开发人员在进行大型代码模型测试、调优时,可以将其全部输入到Code Llama中进行测试。

Code Llama还针对Python编程推出了Code Llama Python模型。是在 Python 代码的 1000亿标记上进行微调。

Python是代码生成方面最具基准测试的语言,并且Python 和 PyTorch 在AI 社区中发挥着重要作用,所以,推出了针对Python的代码模型。

Code LlamaInstruct 是 Code Llama 针对自然文本指令微调的模型,该模型支持自然文本输入和输出。

如果你想使用文本生成代码,Meta建议你使用该模型,因为Code LlamaInstruct已经过数据微调理解自然文本更好并且生成的代码更符合开发人员要求。

资源消耗方面,70亿参数模型可在单个GPU上运行。340亿参数模型可返回最佳结果并提供更好的编程辅助,但资源消耗更大。

所以,对于个人开发者、中小型企业来说,70亿、130亿参数的模型效率更高、资源消耗更少,适合低延迟的任务,例如,进行实时代码开发。

Code Llama性能评测

为了针对现有解决方案测试 Code Llama 的性能,Meta使用了两个流行的编码基准:HumanEval 和 Mostly Basic Python 编程 (MBPP)。

HumanEval 测试模型根据文档字符串完成代码的能力,MBPP测试模型根据描述编写代码的能力。

测试结果显示,Code Llama的表现优于开源、特定代码的Llama,并且优于 Llama 2。例如,Code Llama 340亿参数模型在 HumanEval上得分为 53.7%,在 MBPP 上得分为 56.2%,与ChatGPT性能相当。         

扫描二维码推送至手机访问。

版权声明:本文由激石Pepperstone发布,如需转载请注明出处。

本文链接:http://www.paraat.net/news/2089.html

分享给朋友:

“可商业化,最强开源文本生成代码模型!Code Llama重磅发布” 的相关文章

经济日报评论:新能源不是20年前的房地产

激石Pepperstone(http://www.paraat.net/)报道: 在近日举行的2022年新能源汽车产业链投资年会上,有经济学家表示,当下新能源相关的产业是未来最有希望、最具爆发力的领域。从长远看,当下不投新能源,就像20年前没买房。这种观点似乎点燃了投资者的热情,本处于反弹阶段的A...

“互换通”来啦!便利境外投资者参与境内人民币利率互换市场

激石Pepperstone(http://www.paraat.net/)报道:一、“互换通”指境内外投资者通过香港与内地基础设施机构连接,参与两个金融衍生品市场的机制安排。初期先开通“北向通”,即香港及其他国家和地区的境外投资者(以下简称境外投资者)经由香港与内地基础设施机构之间在交易、清算、结算...

看似无敌!日本央妈的“软肋”:进口能源

激石Pepperstone(http://www.paraat.net/)报道:面对全球主要同行的紧缩大势,日本央妈势将宽松进行到底,坚定“逆行”毫不畏惧。然而当面对进口能源价格飙升时,日本央妈难免有些“英雄气短”。 日本90%左右的能源均依赖进口,大部分以美元计价,随着今年全球石油、天然气和煤炭价...

世卫:58国已报超6000例猴痘病例,将再次召开紧急会议

激石Pepperstone(http://www.paraat.net/)报道:当地时间7月6日,世界卫生组织(WHO)表示,目前全球已有58个国家报告了超过6000例猴痘病例。因此,世卫组织或将在本月再次召开紧急会议。 据路透社7月6日报道,世卫组织总干事谭德塞表示,“我一直对猴痘疫情在全球范围内...

真正“风口股”上新!专注边疆光电风电项目,新能源股又有“同行”来了!

真正“风口股”上新!专注边疆光电风电项目,新能源股又有“同行”来了!

激石Pepperstone(http://www.paraat.net/)报道:光伏、新能源、军工…… 在本轮股市反弹,这些概念股“卷土重来”,可谓近两个月大A表现“最靓的仔”。 根据新股发行安排,新一周共七只新股可申购,其中就不乏这些热门概念股。 比如从事军用装备和民用飞机产品检验检测的第三方检验...

深度和复杂性前所未见!权威机构警告:全球能源危机最坏的阶段要来了

深度和复杂性前所未见!权威机构警告:全球能源危机最坏的阶段要来了

激石Pepperstone(http://www.paraat.net/)报道:全球能源供应可能进一步收紧,油气市场看涨势头愈演愈烈。 周二,国际能源署(IEA)执行主任Fatih Birol在悉尼举行的全球能源论坛上发出警告: 这场能源危机的深度和复杂性是史无前例的,最糟糕的情况尚未到来……这将...