当前位置:首页 > 外汇资讯 > 正文内容

Jim Fan锐评:GPT-4o低延迟的奥秘在这里

激石外汇2024-05-14 11:49:28外汇资讯227

激石Pepperstone(http://www.paraat.net/)报道:

14日凌晨,OpenAI召开了一个简短的发布会,发布了新的AI模型:GPT-4o,除了可以给普通用户使用之外,还将开放相应API给GPT的开发者,比原来的GPT 4-Turbo快2倍,价格还便宜50%,妥妥的“加量又减价”。

英伟达高级研究科学家Jim Fan对此发了篇长推文,点评OpenAI的这款新模型:低延迟,支持文字、图像和视频输入和输出,而且还会假装自己是有情感的人类...

原文如下:

我知道你的时间线上现在充斥着“疯狂的,电影《Her》,你错过的10个功能,我们又回来了”这样的文字。 坐下来,像Mark在演示中那样深呼吸,让我们一步步思考:

从技术角度来看,OpenAI已经找到了一种方法,可以直接将音频映射到音频作为第一类模态,并实时将视频流传输到transformer大模型。这需要对标记化和架构进行一些新的研究,但总体上是一个数据和系统优化问题。

高质量的数据至少可以来自以下两个来源:

首先是YouTube、播客、电视剧、电影等内容包含的对话。

可以训练Whisper来识别对话中的发言者顺序或分离重叠的讲话以进行自动注释。

其次是合成数据。使用强大的模型分3阶段运行:

语音1->文本1(自动语音识别ASR)

文本1->文本2(大型语言模型LLM)

文本2->语音2(文本到语音TTS)。

期间大型语言模型LLM可以决定何时停止,也可以模拟如何从中断中恢复。它可以输出对话中暗含“想法”,以帮助生成更好的回复。

然后GPT-4o直接从语音1>语音2过程中进行提取,可选的辅助损失函数基于3阶段数据。提取后,所有操作都被被嵌入到模型中,而不需要发出中间文本。

在系统方面:如果每个视频帧都解压成RGB图像,就能实现低延迟。OpenAI可能已经开发了基于神经网络的流式视频编解码器,以token形式传输运动增量。通信协议和神经网络推理必须共同优化。

例如,可以在终端设备上运行一个小型且节能的神经网络,如果视频有趣就传输更多token,否则传输较少。

我没想到GPT-4o会离GPT-5更近,GPT-5是传闻中的“Arrakis”模型,可以输入和输出多模态。实际上,它很可能是GPT-5的一个早期训练点,但还没有完成训练

GPT-4o的定位透露出OpenAI某种不安全感。在Google I/O之前,OpenAI宁愿超越我们对GPT-4.5的心理预期,也不愿因为达不到对GPT-5的极高期望而令人失望。这是一个聪明的举措,可以争取更多时间。

值得注意的是,GPT-4o更加活泼,甚至有点调皮。GPT-4o甚至尝试(也许有点过于努力)听起来像女性。OpenAI正在蚕食Character AI的市场份额,这两家的产品高度重叠,并且OpenAI拥有庞大的分销渠道。GPT-4o正尝试向更具情感的AI转变,OpenAI过去似乎积极抑制了这一点。

谁先赢得苹果,谁就能大获全胜。我看到与iOS的整合有三个层次:

1)放弃Siri。OpenAI为iOS提取一个较小级别的、纯粹的设备上的GPT-4o,可选的付费升级以使用云服务。

 2)将相机或屏幕流式传输到模型,芯片级支持神经音频/视频编解码器。

 3)与iOS系统级操作API和智能家居API整合。没有人使用Siri快捷方式,但现在是时候复活了。这可以立即成为拥有10亿用户的AI代理产品。智能手机的全自动驾驶(FSD)与特斯拉规模的数据飞轮。         

扫描二维码推送至手机访问。

版权声明:本文由激石Pepperstone发布,如需转载请注明出处。

本文链接:http://www.paraat.net/news/3045.html

标签: GPT-4o
分享给朋友:

“Jim Fan锐评:GPT-4o低延迟的奥秘在这里” 的相关文章

罕见“三重”拉尼娜,极端气候事件将出现?有哪些影响?

罕见“三重”拉尼娜,极端气候事件将出现?有哪些影响?

激石Pepperstone(http://www.paraat.net/)报道:据新华社报道,英国《自然》杂志日前称,气象学家已连续第三年预测拉尼娜现象,即可能发生罕见的“三重”拉尼娜气候事件,可能对全球气候产生深远影响。并且伴随全球变暖,类似情况可能会更加普遍。 研究人员指出,当前拉尼娜现象始于2...

币圈“雷曼”来了?“百亿基金”三箭资本清算意味着什么

激石Pepperstone(http://www.paraat.net/)报道:半月前,风投“顶流”三箭资本因大量清算手中代币而陷入破产传闻。半月后,昔日的币圈“百亿基金”可能真的走到了终局。 媒体称,英属维尔京群岛一家法院下令清算总部位于新加坡的加密货币对冲基金三箭资本,另有消息称该公司已进入清算...

连续第二天!央行再进行30亿小额逆回购,意味着什么

连续第二天!央行再进行30亿小额逆回购,意味着什么

激石Pepperstone(http://www.paraat.net/)报道:7月5日周二,中国央行连续第二日进行30亿元7天期逆回购操作,中标利率为2.10%,与此前持平。今日1100亿元逆回购到期,单日实现净回笼1070亿元,规模为四月份以来最大,本周前两日实现净回笼2040亿元。 图片来源...

如何看待30亿元逆回购操作?重点在价不在量

如何看待30亿元逆回购操作?重点在价不在量

激石Pepperstone(http://www.paraat.net/)报道: 核心观点 2022年7月4日央行公开市场公告称“为维护银行体系流动性合理充裕,2022年7月4日人民银行以利率招标方式开展了30亿元逆回购操作”,由于操作量较小,引起了市场广泛关注。我们提示,央行公开市场操作的重点...

华尔街集体看多中国!高盛、摩根大通之后,花旗将中国股票升为超配

激石Pepperstone(http://www.paraat.net/)报道:在欧美衰退阴云集聚下,华尔街大行纷纷将目光投向中国,花旗成为最新一家看好中国的机构。 近日,花旗银行策略师Robert Buckland等在报告中称,将中国股票升为超配,因为目前估值相对有吸引力,并且在全球货币政策收紧之...

美国通胀6月再度爆表,华尔街第一时间这么看

美国通胀6月再度爆表,华尔街第一时间这么看

激石Pepperstone(http://www.paraat.net/)报道:华尔街机构纷纷表示,在美国高通胀数据之下,美联储在7月加息75个基点几乎是板上钉钉,不排除加大加息力度的可能性。 7月13日,美国劳工部公布数据显示,美国6月CPI同比增长9.1%,刷新40年的新高。6月CPI环比上涨1...