月之暗面杨植麟复盘大模型创业这一年：向延绵而未知的雪山前进
激石Pepperstone(http://www.paraat.net/)报道：
就在一年以前，AI科学家杨植麟在硅谷做了一笔精确的计算。他意识到，如果决定启动一场以AGI为目标的大模型创业，要在未来几个月立马筹措超1亿美金资本。
然而，这仅仅只是一张入场券。一年后，这个数字翻了13倍。
大模型公司的竞争，与其说是一场科学竞争，不如说首先是一场残酷的金钱角力。在资本方捂紧口袋的情况下，你要领先对手找到更多的钱，购买更多的卡，抢夺更多的人才。
“它需要人才聚集、资本聚集。”成立于2023年3月1日的大模型公司月之暗面（Moonshot AI）创始人兼CEO杨植麟说。
过去一年，国产大模型公司似乎处在一种紧迫而逼仄的生存边缘。看上去，他们每个都手握重金。但一方面，他们要把刚融的钱，立马投入极高昂的科研中追赶OpenAI——先是追齐GPT-3.5，没等追上GPT-4，Sora又来了；另一方面，他们要马不停蹄在落地场景上找可能，自我验证你是一家公司、而不是只会吞噬资本金的研究所；这还不够，每个项目不管是上市还是并购，出路更是毫不明朗。
在中国大模型创始人中，杨植麟年纪最轻，于1992年出生。业界评价他是坚定的AGI信徒和有技术号召力的创始人。他的学习与工作履历很多与通用AI相关，论文引用超22000次。
对于大模型，中国科技界于2023年中从狂热骤然转冷，进入加速落地的实用主义主旋律。这不免让大模型CEO们处于理想与现实的剧烈拉扯之间。在人人喊PMF（Product/Market Fit，产品/市场契合）、人人喊商业化的中国AI生态里，这位AI研究员出身的创始人倒不那么着急。
月之暗面是头部国产大模型公司中，人数最少的一家，为80人。他没有像他的对手那样，做更稳妥的to B生意，或是在医疗、游戏等细分场景中找落地，而是做且只做了一款to C产品——智能助手Kimi，支持20万汉字输入。Kimi也是杨植麟的英文名。
杨植麟倾向于将他的公司看作是，构建一个结合科学、工程和商业的系统。你可以想象成，他要在人类世界上空，架起一张AI实验台，一手做实验，一手将尖端技术落进真实世界，通过与人类互动找到应用机会，再将应用送入消费者手中。理想状况是，前者烧掉数以十亿、百亿计资本；后者再把这些钱数成百上千倍地挣回来——怎么听，都像“走钢丝”一样惊险。
“AI不是我在接下来一两年找到什么PMF，而是接下来十到二十年如何改变世界。”他说。
这种抽象和理想主义的思考，令人不免替他捏一把冷汗：一位年轻的AI科学家，在现实主义的中国能否找到生存空间？
2024年2月，月之暗面逆势完成一笔大额融资。据了解，它以15亿美金投前估值完成超10亿美元B轮，阿里领投，砺思资本、小红书等跟投，该笔交易完成后，月之暗面投后估值约25亿美元——由此，它成为中国大模型赛场上现阶段估值最高的一家独角兽。（他们拒绝回应和评论此事。）
就在第三笔融资的过程中，我们和杨植麟聊了聊他过去一年创业故事，这也是国产大模型抢跑一年的截面缩影。
他的公司没有选址在大模型企业聚集地，北京搜狐网络大厦。对于一家融资总额约90亿元人民币的公司，这间位于量子芯座的办公室，显得简陋又破旧。门口连公司logo都没有，只有一架白色钢琴守在门口。
会议室在一个角落，由于窗户小黑漆漆的，冬天送来暖风的空调机器嗡嗡作响。暗沉的光亮中，杨植麟形容自己过去一年的感知：“有点像开车在路上，前面有延绵的雪山，但你不知道里面是什么，你在一步一步往前走。”
以下是对杨植麟的访谈全文。（为方便阅读，作者做了一些文本优化）
站在开端，“要ride the wave”
腾讯新闻《潜望》：最近你的状态怎么样？
杨植麟：忙啊，事情很多。但还是很兴奋。站在产业开端，有巨大想象空间。
腾讯新闻《潜望》：我刚进来看到你们公司门口放了一架纯白色钢琴。
杨植麟：上面还有一张Pink Floyd专辑。我都不知道谁放的，前两天突然看到，没来得及问。（Pink Floyd是发布专辑《月之暗面》的英国摇滚乐队）
腾讯新闻《潜望》：2022年11月，ChatGPT发布那天，你在做什么？
杨植麟：我正在筹备这个事，找人组团队，碰撞一些新认知。看到ChatGPT很激动。放到三五年前，甚至2021年，都是不可思议的。这种高阶推理能力过去很难做到。
我预感市场会发生很多变量：一方面是资本，一方面是人才，这是做AI的核心生产要素。如果变量成立，我们就有可能正儿八经搞一家公司做这件事——一个为AGI搭建的组织从0到1存在可能性，这是很大的顿悟。独立公司更make sense，但不是你想做马上就能做，ChatGPT刺激了变量，使生产要素齐全。还是要ride the wave。
腾讯新闻《潜望》：你在决定创立一家AGI公司后，做了哪些准备？怎么凑齐资本和人才这两个生产要素？
杨植麟：是曲折的过程。ChatGPT扩散需要时间。有的人知道得早，有的人知道得晚，有的人一开始怀疑、后面变成震惊、再变成相信。找人找钱，跟timing结合得很紧。
我们2023年2月开始集中做第一轮融资。如果delay（延迟）到4月，基本没机会了。但如果2022年12月或2023年1月做也没机会，当时有疫情，大家没反应过来——所以，真正窗口就是一个月。
当时，在美国有一个晚上，我做了精确的计算。算完觉得至少要在几个月内拿到1亿美元。市场上很多人没开始融资，很多人觉得你这个不一定能融这么多钱。但后来证明是可以的，甚至比这个更多。
人才市场开始流动。受ChatGPT启发，很多人在2023年3月或4月有这样的realization（意识）：这是接下来十年唯一值得做的。要在正确时间积极触达对的人。如果是前两年，人才聚集度不会这么高。那时更多人做传统AI，或者跟AI相关的业务，都不是通用AI。
腾讯新闻《潜望》：总结一下，2月是融资的窗口期，3月、4月是招人的窗口期？
杨植麟：差不多。
腾讯新闻《潜望》：你在美国那一晚是在哪算了这笔账？具体怎么算的？
杨植麟：22年底到23年初，我在美国待了一两个月，找人聊。
在我住的地方。算一下你对应多少FLOPs（Floating Point Operations，每秒浮点运算次数）、Training Cost（训练成本）、Inference（推理）、用户量。
腾讯新闻《潜望》：彼时彼刻，硅谷沉浸在什么样的情绪中？
杨植麟：这个产品开始有很多early adopters（早期用户），集中在技术圈，我们本身在这个圈子，感受更深刻。硅谷大厂每半年要写performance review（绩效评估），开始很多人用ChatGPT写。有的人平时写的语言不大professional（专业），用ChatGPT写，大家都一本正经的样子。
暗流涌动。很多人考虑下一份工作去哪或者创业。很多和我们聊的朋友后来纷纷创业。而且，有很强FOMO情绪（Fear of Missing Out，害怕错过）。所有人每天睡不着觉。不管晚上12点、1点、2点，你去找，always大家都在。有点焦虑，有点FOMO，又很兴奋。
腾讯新闻《潜望》：算出要融1亿美金那晚，你算到了几点？
杨植麟：还好吧，计算过程倒不用很久。
但算完我也不能跟太多人说。说了也没有人觉得这事可以做。
技术师承，“把自己从无限雕花中解放出来”
腾讯新闻《潜望》：创投行业提到你会说，“创始人很聪明，有技术号召力，团队里也有很多技术明星”。所以，聊大模型创业之前，想先聊聊你的学术背景。
你本科是清华计算机系，博士是卡耐基梅隆计算机学院，方向一直是AI吗？
杨植麟：我是92年出生，11级本科，大二到现在十多年一直在这个方向。一开始偏发散的探索，到处看看，跟图或多模态都做过一些，2017年收敛到语言模型——当时觉得语言模型是比较重要的问题，后来觉得它是唯一重要的问题。
腾讯新闻《潜望》：2017年AI业界对语言模型普遍是怎样的认知，后来如何演进？
杨植麟：它（当时）是用来给语音识别做排序的模型。（笑）当你识别完一段语音，有很多结果，拿语言模型看到底哪个概率更大，输出最有可能的结果，应用非常有限。
但你发现它是根本问题，因为你在对这个世界概率建模。虽然语言局限，它是世界的投映；但理论上你把token space（所有可能的标记组成的空间）做得更大，就可以构建一个通用世界模型。世界上每样东西怎么产生、发展，都能给它分配一个概率。所有问题都可以被归结成怎么对概率估计。
腾讯新闻《潜望》：你学术生涯的导师很有名，博士导师是苹果公司AI负责人Ruslan Salakhutdinov和Google AI智能首席科学家William W. Cohen。他们都既在产业界，又在学界。
杨植麟：产业界和学术界从前几年有更多结合，现在趋势在变化：更多有价值的突破会产生在工业界，这是发展的必然规律。先从探索性研究开始，逐渐转移到更成熟的工业化过程，但不意味着工业化过程中不需要研究，只是纯研究会很难做出有价值的突破。
腾讯新闻《潜望》：从这几位颇有名望的导师身上学到了什么？
杨植麟：我学习到最多是在Google，实习了很长时间。2018年底开始做基于Transformer的语言模型，最大learning是从无限雕花中把自己释放出来，这很关键。
应该看什么是大方向、大梯度。当你眼前有十条路，一般人考虑我走这条路前面有一个行人怎么刹车，是短期细节，但这十条路到底选哪一条最重要。
这个领域在之前有这样的问题。比如，在只有一两百万token（标记）的数据集上，看perplexity（困惑度，衡量模型在预测序列时的不确定性或混乱度）怎么降得更低，loss（损失，模型在训练过程中的误差或损失函数的值）怎么降得更低，怎么提升准确率，你会陷入无限雕花。有人发明很多诡异的architecture（架构），这些是雕花技巧。雕花之后可能在这种数据集上变好，但没看到问题本质。
本质在于，要去分析这个领域缺少的是什么？第一性原理是什么？
Scaling law为什么能成为第一性原理？你只要能找到一个结构，满足两个条件：一是足够通用，二是可规模化。通用是你把所有问题放到这个框架建模，可规模化是只要你投入足够多算力，它就能变好。
这是我在Google学到的思维：如果能被更底层的东西解释，就不应该在上层过度雕花。有一句重要的话我很认同：如果你能用scale解决的问题，就不要用新的算法解决。新算法最大价值是让它怎么更好的scale。当你把自己从雕花的事中释放出来，可以看到更多。
腾讯新闻《潜望》：Google那时也是scaling law的追随者吗？它是怎么贯彻第一性原理的？
杨植麟：已经有很多这样的思想，但Google没有贯彻得非常好。它有这样的思维，但它没办法组织起来，变成一个真正的moonshot（登月计划）。更多是，这有5个人追求我的第一性原理，那有5个人追求他们的第一性原理。没有top-down（自上而下）的东西。
腾讯新闻《潜望》：你读博期间，先后和图灵奖得主Yann LeCun（杨立昆）、Yoshua Bengio合作发表论文，而且你都是一作。学术上这些合作是怎么产生的？——我的意思是，他们是图灵奖得主，又不是你的导师，你靠什么吸引他们？
杨植麟：学术界很open。只要你有好的想法、有意义的问题，这个都还好。两个脑子或n个脑子做出来的，比一个脑子多。这在开发AGI的时候也可以用。AI一个重要策略叫“ensemble”（使用集成方法，用多个不同的模型或方法，将它们的预测或结果结合起来，获得更优性能），本质在做一样的事情，当你有diverse的观点你可以碰撞出很多新东西。合作有很大受益。
腾讯新闻《潜望》：你是先有一个idea，拿去问他们是否感兴趣吗？
杨植麟：差不多是这个过程。
腾讯新闻《潜望》：在学术上搞定学术大佬和在融资中搞定资本大佬哪个更难？相似点是什么？
杨植麟：“搞定”不是一个好的词，背后本质是合作。合作就是能双赢，因为双赢是合作的前提。所以也没什么区别，需要给别人提供独特价值。
腾讯新闻《潜望》：怎么让他们信任？你觉得你的天赋是什么？
杨植麟：也没有什么天赋，就是努力干活。
旧系统不适用了，“AGI需要新的组织方式”
腾讯新闻《潜望》：你刚说“更多有价值的突破会发生在工业界”，包括创业公司、巨头的AI lab？
杨植麟：Lab是历史了。以前Google Brain是产业界最大AI lab，但它是把研究型组织安插在大公司。这种组织能探索新想法，很难产生伟大系统——能产生Transformer，但产生不了ChatGPT。
现在的开发方式会演变成，你是要做一个巨大的系统，需要新的算法，扎实的工程，甚至很多产品和商业化。好比21世纪初，你不可能在实验室研究信息检索，要放在现实世界，有一个巨大的系统，有一个有用户的产品，像Google。所以，科研或教育系统会转变职能，变成培养人才为主。
腾讯新闻《潜望》：你会怎么形容这个新的系统形式？OpenAI是它的雏形？
杨植麟：它是现在最成熟的组织了，还在逐渐演化。
腾讯新闻《潜望》：可以理解，这是为人类宏伟的科学目标而设立的组织？
杨植麟：我想强调，它不是纯科学，它是科学、工程和商业的结合。它得是一个商业化组织，是公司、不是研究院。但这个公司是从零到一建造的，因为AGI需要新的组织方式——一，生产方式跟互联网不一样；二，它会从纯研究变成研究、工程、产品、商业相结合。
核心是，它应该是一个登月计划，有很多自顶向下的规划，但规划中又有创新空间，并不是所有技术都确定。在一个top-down（自上而下）框架下有bottom-up（自下而上）的元素。本来不存在这样的组织，但组织要适配技术，因为技术决定了生产方式，不匹配就没法有效产出。我们相信大概率要重新设计。
腾讯新闻《潜望》：去年OpenAI政变时，Sam Altman有一种选择是加入微软，领导新的微软人工智能团队。这和他在OpenAI做CEO的本质差别是什么？
杨植麟：你需要在旧文化里产生新组织，难度很大。
腾讯新闻《潜望》：你想做“中国的OpenAI”，可以这么说？
杨植麟：不大准确，我们不想做中国的什么东西，也不一定想做OpenAI。
首先，真正AGI肯定是全球化的，不存在由于市场保护机制导致你只能做某个regional market（区域市场）的AGI公司，长期不存在——全球化、AGI和你有一个很大用户量的产品，这三个东西最终是必要条件。
第二，是不是OpenAI？你去看2017年-2018年，OpenAI风评很差，我们圈子的人找工作，一般考虑像Google。很多人跟Ilya Sutskever（OpenAI首席科学家）聊完，觉得这个人疯了，太自以 为是了——OpenAI不是疯子就是骗子。但他们从很早开始投入，找到非共识，找到AI现在唯一work的第一性原理：通过next token prediction去scale（通过对下一个标记的预测来进行规模化）。
我认为，会有比OpenAI更伟大的公司存在。一个真正伟大的公司能结合技术理想主义，并让它用一个伟大的产品跟用户共创，AGI最终会是一个跟所有用户co-work（协作）产生的东西。所以，不光是技术，也需要功利主义和现实追求。最终在这两者之间完美结合。
不过我们应该学习OpenAI的技术理想主义。如果所有人都觉得你正常，你的理想是大家都能想到的，它对人类的理想总量没有增量。
登月的第一步是长文本，第二步呢？“接下来会有两个milestone”
腾讯新闻《潜望》：话题回到你决定创业的时刻，你回国后立马启动了第一轮融资？
杨植麟：（去年）2月在美国就开始了，也有远程的。最后以国内投资人为主。
腾讯新闻《潜望》：第一轮融了1亿美金？
杨植麟：第一轮还没有，后来超过这个数。2023年完成两轮，总共近20亿人民币。
现在是第三轮。融资我们没有正式announce，现在没办法comment。
腾讯新闻《潜望》：有人说，2023年下半年开始，已经没有人愿意投基础大模型公司了，他们说的是错误的？
杨植麟：还是有。确实能看到情绪变化，不是说没人投，至少目前市场上投资意向是蛮多的。
腾讯新闻《潜望》：除了资本和人，你在2023年还做了哪些关键决策？
杨植麟：要做什么事。这是我们这类公司的优势——在最高层面的决策有技术vision（愿景）。
我们做long context（长上下文），需要对未来有判断，你要知道什么是根本的、接下来的方向。还是第一性原理，“去雕花的过程”。如果你专注雕花，只能看OpenAI已经做了什么，我看怎么把它已经做的做出来。
你会发现在Kimi（AI智能助手）里做长文本无损压缩，产品体验独特。读英语文献，它能很好帮你理解。你今天用Claude或GPT-4，不一定做得好，需要提前布局。我们做了半年多。相比我今天看到一个long context风口，赶紧召集两个团队，用最快速度开发，有很大区别。
当然马拉松刚开始，接下来会有更多差异化，这需要你提前预判到底什么是“成立的非共识”。
腾讯新闻《潜望》：做这件事是在几月份决定的？
杨植麟：二三月，公司成立就决定了。
腾讯新闻《潜望》：为什么长文本是登月第一步？
杨植麟：它很本质。它是新的计算机内存。
老的计算机内存，在过去几十年涨了好几个数量级，一样的事会发生在新的计算机上。它能解决很多现在的问题。比如，现在多模态架构还需要tokenizer（标记器），但当你有一个无损压缩的long context就不需要了，可以把原始的放进去。进一步讲，它是把新计算范式变成更通用的基础。
旧的计算机可以0、1表示所有，所有东西可被数字化。但今天新计算机还不行，context不够多，没那么通用。要变成通用的世界模型，是需要long context的。
第二，能够做到个性化。AI最核心的价值是个性化互动，价值落脚点还是个性化，AGI会比上一代推荐引擎更加个性化。
但个性化过程不是通过微调实现，而是它能支持很长的context（上下文）。你跟机器所有的历史都是context，这个context定义了个性化过程，而且无法被复刻，它会是更直接的对话，对话产生信息。
腾讯新闻《潜望》：接下来它有多大可扩展的空间？
杨植麟：非常大。一方面是本身窗口的提升，有很长路要走，会有几个数量级。
另一方面是，你不能只提升窗口，不能只看数字，今天是几百万还是多少亿的窗口没有意义。你要看它在这个窗口下能实现的推理能力、the faithfulness的能力（对原始信息的忠实度）、the instruction following的能力（遵循指令的能力）——不应该只追求单一指标，而是结合指标和能力。
如果这两个维度持续提升，能做非常多事。可能可以follow（执行）一个几万字的instruction（指令），instruction本身会定义很多agent（智能体），高度个性化。
腾讯新闻《潜望》：做长文本和追赶GPT-4技术是可复用的吗？他们是一件事吗？
杨植麟：我觉得不是。更多是升维，是一个新维度，是GPT-4没有的维度。
腾讯新闻《潜望》：很多人说国内这几家大模型公司做的事都差不多——2023年追赶GPT-3.5，2024年追赶GPT-4。你认可这种说法吗？
杨植麟：综合能力提升肯定有关键目标，这个说法一定程度上是对的，你是后发肯定有追赶过程。但同时它是片面的。除了综合能力，在很多空间可以产生独特的能力，能在一些方向做到state of the art（世界领先）。Long context是一个。DALL-E3图片生成效果完败于Midjourney V6。所以要做两方面。
腾讯新闻《潜望》：综合能力和新维度分别耗费的时间及生产资源，占多大比例？
杨植麟：需要结合，新维度不可能脱离综合能力存在，很难直接给出一个比例。但需要足够投入才能把新维度做好。
腾讯新闻《潜望》：这些新维度对于你们，都会承载在Kimi上？
杨植麟：这肯定是我们很重要的产品，也会有一些别的尝试。
腾讯新闻《潜望》：怎么看李广密（拾象创始人）说，中国大模型公司今天的技术辨识度还不算太高？
杨植麟：我觉得还好啊，我们今天只是做出了很多差异化。这跟时间有关系，今年应该能看到更多维度。去年大家是先搭个架子，先跑起来。
腾讯新闻《潜望》：登月的第一步是长文本，第二步是什么？
杨植麟：接下来会有两个大的milestone（里程碑）。一是真正的统一的世界模型，就是它能统一各种不同模态，一个真正的scalable和general的architecture（可扩展、通用的系统结构）。
二是能在没有人类数据输入的情况下，使AI持续进化。
腾讯新闻《潜望》：这两个milestone需要多久达到？
杨植麟：两到三年，有可能更快。
腾讯新闻《潜望》：所以三年后我们已经看到的是和今天完全不一样的世界了。
杨植麟：按照今天的发展速度是这样。现在技术是萌芽，快速发展的阶段。
腾讯新闻《潜望》：能不能畅想一下三年后会出现什么？
杨植麟：会有一定程度的AGI。我们今天在做的很多事AI也能做，甚至它做得更好。但关键看我们怎么用它。
腾讯新闻《潜望》：对于你、对于月之暗面这家公司来说呢？接下来第二步是什么？
杨植麟：我们会去做这两件事。剩下很多问题，都是这两个因素推导出来的。今天谈到reasoning（推理）、agent（智能体），都是这两个问题解决后的产物。要再做一些雕花，但没有fundamental的blocker（根本性阻碍因素）。
腾讯新闻《潜望》：你会all in追赶GPT-4吗？
杨植麟：（GPT-4）是AGI的必经之路。核心是，不能只满足做到GPT-4的效果。一是要想现在真正的非共识是什么，除了GPT-4，下一步是什么？GPT-5和GPT-6应该是什么样？二是看，你在这里面有哪些独特能力，这点更重要。
腾讯新闻《潜望》：其他大模型公司会公布自己的模型能力和排名，你们好像没做这件事？
杨植麟：刷榜意义很小了。最好的榜就是用户，应该让用户投票。很多榜存在问题。
腾讯新闻《潜望》：在中国大模型公司的竞赛中最快达到GPT-4，是你的目标吗？快与慢有区别吗？
杨植麟：肯定有，如果把时间放到足够长周期，最终所有人都能达到。但要看你早晚是多长周期。半年或以上的周期是有意义的，也取决于你能用这个周期做什么事。
腾讯新闻《潜望》：你们预计会在什么时间达到GPT-4？
杨植麟：应该会很快，具体时间还没办法对外说。
腾讯新闻《潜望》：你们会是最快的吗？
杨植麟：这要动态去看，但我们有概率。
腾讯新闻《潜望》：推出Kimi之后，你的北极星指标是什么？
杨植麟：今天是把产品做得更好，有更多升维（即新的维度）。举个例子，不应该只去卷一个搜索场景，搜索在后面只是这个产品有价值的很小一部分，这个产品应该有更大增量。比传统搜索引擎好个10%、20%，没什么太大价值——只有一个颠覆性的东西，才配得上AGI这三个字。
独特价值是你增量的智能。要抓住这个点，智能永远是最核心的增量价值。如果你这个产品最核心价值只有10%-20%来自于AI，就不成立。
我一点也不焦虑落地，“user scaling和model scaling需要同时做”
腾讯新闻《潜望》：2023年中是一个巨大分水岭，市场从狂热迅速转冷。你的感知是怎样的？
杨植麟：这个判断我不完全认同，我们确实在下半年完成了一轮融资。而且，持续有新东西出来。今天的模型能力在去年底无法想象。越来越多AI公司的用户量和revenue（收入）一直在上升。它持续地证明了价值。
腾讯新闻《潜望》：上半年和下半年对于你来说，不同感受是？
杨植麟：没有太大变化，变量肯定存在，但回到第一性原理——怎么给用户提供好产品。最终，我们要满足用户需求，而不是赢得一场比赛。我们不是为了竞争而建立的公司。
腾讯新闻《潜望》：业界认为，2023年上半年和下半年一个显著区别是，关注重心变了。上半年提AGI更多，下半年开始讲怎么落地、怎么商业化。你有没有这么做？
杨植麟：我肯定要做AGI嘛，这是接下来十年唯一有意义的事。但不是说我们不做应用。或者，不应该把它定义成一个“应用”。
“应用”听起来好像你有一个技术，你想把它用在什么地方，有商业化闭环。但“应用”不是准确的词。它跟AGI是相辅相成的。它本身是实现AGI的手段，也是实现AGI的目的。“应用”听起来更像目的：我为了让它有用。你是要combine东西方的哲学，要赚钱，也要有理想。
今天用户帮我们发现了很多从没考虑过的场景。他拿这个筛选简历，这是我们设计产品时没想过的，但它天然work。用户的输入反过来让模型变得更好。Midjourney为什么效果好？它在用户端做了scaling——user scaling和model scaling需要同时做。反过来，你如果只关注应用，不关注模型能力迭代，不关注AGI，贡献也有限。
腾讯新闻《潜望》：朱啸虎（金沙江创投主管合伙人）就只投大模型的应用。他有一个观点：核心最难的是AIGC的PMF——你十个人找不到PMF，你投一百个人也找不到，和人数、和成本没关系，不要砸钱。他说“用LLaMA训练两三个月，至少能做到人类top 30的水平，立马可以取代人”。你怎么看他的观点？
杨植麟：AI不是我在接下来一两年找到什么PMF，而是接下来十到二十年如何改变世界——这是两种不同思维。
我们是坚定的长期主义者。当你实现AGI或更强智能，今天的一切会被改写。PMF固然重要，但如果着急找PMF，你很可能又被降维打击。降维打击发生过太多次。以前很多人做客服、对话系统，做slot filling（槽填充），有些规模不错的公司。但是，全是降维打击了，很难受。
它不是说不成立。假设你今天找到一个场景，用现在的技术能力，且从0到1增量价值巨大，从1到n空间又没那么大，这种场景OK。Midjourney就是，或者做文案生成，相对简单一点的任务，从0到1效果又很明显。这种是只关注应用的机会。但是，最大机会不在这。你的目的假设是商业化，你不可能脱离AGI去思考。我现在只做应用，那好，可能过一年你就被碾压了。
腾讯新闻《潜望》：可以偷偷把底层模型升级啊。
杨植麟：但这个不可能做得比它更大。技术是这个时代唯一新变量，其他变量没变。回到第一性原理，AGI是所有事情的核心。基于这个，我们推导出来：超级应用肯定需要有最强的技术能力。
腾讯新闻《潜望》：可以用开源的模型吗？（最新消息是Google宣布开源模型Gemma）
杨植麟：开源落后于闭源，这也是个事实。
腾讯新闻《潜望》：会不会只是暂时落后？
杨植麟：目前看起来不是。
腾讯新闻《潜望》：为什么开源追不上闭源？
杨植麟：因为开源的开发方式跟以前不一样了，以前是所有人都可以contribute（贡献）到开源，现在开源本身还是中心化的。开源的贡献可能很多都没有经过算力验证。闭源会有人才聚集和资本聚集，最后一定是闭源更好，是一个consolidation（对市场的整合）。
如果我今天有一个领先的模型，开源出来，大概率不合理。反而是落后者可能会这么做，或者开源小模型，搅局嘛，反正不开源也没价值。
腾讯新闻《潜望》：你怎么对抗国内的焦虑情绪？他们会说，大模型公司如果没有快速做出能兑现投资人预期的落地场景和产品，难以融到下一笔钱。
杨植麟：需要有长期和短期的平衡。完全没有用户、没有收入，肯定不行。
可以看到，从GPT-3.5到GPT-4，解锁了很多应用；从GPT-4到GPT-4.5再到GPT-5，大概率会持续解锁更多，甚至是指数型的应用。所谓“场景摩尔定律”，就是你能用的场景数量会随着时间指数级上升。我们需要边提升模型能力，边找更多场景，需要这样的平衡。
它是个螺旋。看你投入多少分配在短期，多少分配在长期。要在你能活下去的情况下，追求长期。长期一定不能没有，否则你会错过整个时代。今天下结论，确实太早了。
腾讯新闻《潜望》：你认可王慧文（美团联合创始人、光年之外创始人）提出的“双轮驱动”吗？
杨植麟：这是个好问题。一定程度上是这个逻辑。但你真正怎么去做，有很大区别。是不是能真的做一些“有概率的非共识”？
腾讯新闻《潜望》：我理解他们说的双轮驱动，也需要快速找到那个新的应用场景，否则不知道技术何以落地。
杨植麟：还是model scaling（模型扩展）和user scaling（用户扩展）之间的区别。
腾讯新闻《潜望》：国内除了你是model scaling的思维，还有谁是？
杨植麟：这个我就不好评价了。
腾讯新闻《潜望》：大多数人可能是user scaling的思维。或者能不能这么说，这是学院派和商业落地派的区别？
杨植麟：我们不是学院派，学院派绝对不work。
腾讯新闻《潜望》：很多大模型公司会通过to B落地（毕竟to B的确定性高），你们做吗？
杨植麟：我们不做。我们从第一天就决定做to C。
看你要什么东西。如果你知道这不是你想要的，你就不会FOMO。因为得到了，也没啥。
腾讯新闻《潜望》：你焦虑吗？过去一年。
杨植麟：更多是兴奋、激动。因为这件事我想了非常久。我们可能是我们最早想去探索月之暗面的人。你今天发现你真的在造一架火箭，每天在讨论往火箭里加什么燃料跑得更快，怎么样不让它炸了。
腾讯新闻《潜望》：总结一下你所做过的“有概率的非共识”决定，除了to C、长文本，还有吗？
杨植麟：更多在过程中，希望尽快跟大家见面。
腾讯新闻《潜望》：中国上一代创业者在应用和场景上吃到甜头，所以他们更看产品、用户、数据飞轮。以你为代表的新一代AI创业者，能代表新的未来吗？
杨植麟：我们也很关注用户，用户是我们最终的目标，但也是共创的过程。最大区别是，这次会更加技术驱动——还是那个马车和汽车的问题——现在属于从马车到汽车的跳跃过程，应该尽可能想怎么给用户提供一辆汽车。
腾讯新闻《潜望》：你会觉得孤独吗？
杨植麟：哈哈哈……你这个问题很有意思。我觉得还好，因为我们还有大几十、100号人一起在战斗。
GPT-4还没赶上，Sora又来了，“现在就有点像视频生成的GPT-3.5，是阶跃式提升”
腾讯新闻《潜望》：今年Sora的突然出现，多少在你的意料之中，多少在你的意料之外？
杨植麟：Generative AI（生成式AI）做到这个效果，在意料之内，意外的是时间——比之前预估更早。这也反映了现在AI的发展很快，很多scaling的红利没有被完全吃下来。
腾讯新闻《潜望》：去年业界就判断，2024年大模型一定会卷多模态叙事，视频的生成效果会像2023年文生图一样迅速提升。Sora的技术能力是超出、符合还是低于你的预期？
杨植麟：解决了很多之前比较难的问题。比如，能在一个比较长的时间窗口内保持生成的一致性，这是关键点，是一个巨大的提升。
腾讯新闻《潜望》：它对于全球产业格局来说意义是什么？2024年大模型会有哪些新叙事？
杨植麟：一是短期的应用价值，可以在生产环节进一步提升效率，当然更期待在目前能力基础上，有更多延展。二是和其他模态结合。它本身是对世界建模，有了这个知识，对现有文本是非常好的补充。在这个基础上，不管在agent还是和物理世界的连接方面，有蛮多空间和机会。
腾讯新闻《潜望》：你们总体怎么判断Sora？
杨植麟：我们本来也在筹划类似方向，做了一段时间。方向上，倒没有太大意外，更多是技术细节。
腾讯新闻《潜望》：应该学习的技术细节是？
杨植麟：很多OpenAI也没完全讲清楚。它讲了大致的，会有一些关键细节。这要从它的效果或已有信息再去判断，也结合我们之前的实验。至少对我们来说，在开发过程中会加上更多数据点，有更多数据输入。
腾讯新闻《潜望》：之前视频生成相对文字生成来说，主要瓶颈有哪？这次可以看到OpenAI找到了哪些解决办法？
杨植麟：主要瓶颈，核心还是数据，你怎么去规模化地拟合这个数据？之前没被验证过。特别是，当你的动作比较复杂，生成的效果photo realistic（照片逼真）。在这样的条件下，能够去规模化，它这次解决了这些。
剩下的是它也没有完全解决，比如需要一个统一的architecture（架构）。DiT这个architecture仍然不是非常通用。在单纯对视觉信号的marginal probability（边际概率）去建模，它可以做得非常好，但怎么泛化成一个通用的新计算机？还是需要更unified architecture（统一的架构），这个东西还是有空间。
腾讯新闻《潜望》：你读了OpenAI出的Sora报告没有？——《Video generation models as world simulators》，里面有什么关键点值得划重点？
杨植麟：读了。考虑到当前的竞争情况，最重点它肯定都不会写出来。但还是值得学习，这个东西本来是付费内容，你可能要花钱做很多实验才知道，但现在你知道的有一些东西，不用花钱做实验，就大概有一个认知吧。
腾讯新闻《潜望》：你从里面提取到的关键信号是？
杨植麟：这个东西一定程度上是scalable的。此外，它也给出了比较具体的architecture到底怎么做。但也有可能不同architecture在这个事情上不一定有那么本质的区别。
腾讯新闻《潜望》：你认可它那句话吗？——“扩展视频生成模型是构建物理世界通用模拟器的一条有前途的途径。”
杨植麟：我非常认同，这两个东西优化的是同一个目标函数，没有太大疑问。
腾讯新闻《潜望》：你怎么看杨立昆又跳出来反对生成式AI？他的观点是：“通过生成像素对世界进行建模是一种浪费，并且注定会失败。生成恰好适用文本，因为文本是离散的具有有限数量的符号。这种情况下，处理预测中的不确定性很容易，处理高纬连续感官输入中的预测不确定性是非常棘手的。”
杨植麟：我现在觉得，你通过对视频的边际概率去建模，本质是在做无损压缩，跟语言模型next token predictions没有本质区别。只要你压缩得足够好，就可以把这个世界可以被解释的东西去进行解释。
但同时也有重要的还没做的事：它怎么跟已有的已经被压缩的能力结合起来？
可以理解成有两种不同压缩。一种是压缩原始世界，这是视频模型在做的。另一种是压缩人类产生的行为，因为人类产生的行为经过了人的大脑，这是世界上唯一能产生智能的东西。你可以认为视频模型在做第一种，文本模型在做第二种，当然视频模型也一定程度包含了第二种，一些人创造出来的视频包含了创作者的智能。
它最终可能会是mix，需要通过这两种方式从不同角度学习，但最终对智能的增长都有帮助。
所以，生成可能不是目的，它只是压缩这个函数。如果你压缩足够好，最后生成的效果就会很好。反过来，如果你这个模型本身没办法生成，是不是也存在可能把它压缩得非常好？这点存疑。有可能生成非常好，是压缩非常好的一个必要条件。
腾讯新闻《潜望》：Sora相对于去年的ChatGPT来说，是两个不一样的milestone，哪个更重大？
杨植麟：都很重要。现在就有点像（视频生成的）GPT-3.5，是阶跃式提升。它的模型也还比较小，可预见的是会有更大的模型，是确定性的效果提升。
腾讯新闻《潜望》：也有人评价说，对于做多模态，Google Gemini突破更重要一些。
杨植麟：Gemini是follow GPT-4V的路线，把这个理解也放进去了。都很重要，只是最终需要把这些东西放在同一个模型，这还没解决。
腾讯新闻《潜望》：为什么放在同一个模型那么难？
杨植麟：大家还不知道怎么做，还不存在一个被验证过的architecture。
腾讯新闻《潜望》：Sora + GPT会产生什么？
杨植麟：Sora马上可以用到视频生产过程中，但如果跟语言模型结合，就有可能打通数字世界和物理世界。另外，你也可以去更加端到端完成任务，因为现在你对这个世界的建模比之前更好，它甚至能用来提升你对多模态输入的理解能力。所以你最后能在不同模态之间做比较多切换。
总结下来，你对世界的理解更好了，你可以在数字世界里做更加端到端的任务，甚至去架起一座桥梁，连接物理世界，完成一些物理世界里的任务。这是起点。比方说，自动驾驶，或者一些家务，理论上都是打通物理世界的一个概念。
所以数字世界的突破是确定的了，但它也还是潜在有通往物理的可能。
腾讯新闻《潜望》：Sora对国产大模型公司意味着什么？有什么应对策略？
杨植麟：没什么区别，这本来就是确定性方向。
腾讯新闻《潜望》：国产大模型GPT-4还没赶上，Sora又来了，你怎么看？两个世界好像差得越来越远，你感觉焦虑吗？
杨植麟：这就是客观的事实嘛。但实际上的差距可能还在缩小，这是技术发展的规律。
腾讯新闻《潜望》：什么意思？就是说，一开始技术曲线很陡峭，接着慢慢放缓。
杨植麟：是的。我倒没有很意外，OpenAI一直在做下一代模型。但客观上差距会持续存在一段时间，甚至在国内不同公司之间的差距也会持续一段时间，现在是技术爆发期。
但再过两三年，有可能中国顶尖的公司可以在这里面去做好更多基础性工作，包括技术的基建、人才的储备和组织文化的沉淀，有这些打磨后，更有可能在某一些方面有领先可能性——但需要一定的耐心。
腾讯新闻《潜望》：中美最终有没有可能形成的是完全不一样的AI科技生态？
杨植麟：生态有可能不一样，如果你是从产品和商业化角度。但从技术角度，通用能力不会是完全不同的技术路线，基础通用能力肯定会差不多。但因为AGI空间很大，在通用能力基础上去有差异化，这个更可能发生。
腾讯新闻《潜望》：硅谷一直有一个争论：one model rules all还是many specialized (smaller) models（一个通用模型来处理各种任务，还是采用许多专门的较小模型来处理特定任务），你怎么看？
杨植麟：我的观点是第一个。
腾讯新闻《潜望》：在这一点上，中美会呈现巨大不同吗？
杨植麟：我觉得最终不会。
我接受有失败的概率，“它已经改变了我的生命”
腾讯新闻《潜望》：大模型创业在中国是比较怪异的存在，你们融了这么多钱，但似乎一大笔钱都要花在做科学实验上，这种情况下怎么说服投资人愿意掏钱？
杨植麟：跟在美国没有区别。我们今天拿到的钱还不算特别多。所以，我们还要更多向OpenAI学习。
腾讯新闻《潜望》：我想知道做到GPT-4还需要多少钱？做到Sora还需要多少钱？
杨植麟：GPT-4和Sora都不需要那么多，现在的钱更多是为了下一代甚至下下代模型做储备，做前沿探索。
腾讯新闻《潜望》：中国大模型创业公司虽然拿了巨头的钱，但巨头也在训练自己的模型——你怎么看大模型创业公司和巨头的关系？
杨植麟：这里面有竞争，也有合作。巨头和创业公司第一目标不一样，今天你去看每个大厂的第一目标，跟AGI公司的第一目标不同。第一目标会影响动作、结果，最终在生态里是不同的关系。
腾讯新闻《潜望》：为什么巨头同时对多家大模型公司投入一点钱，而不重注一家公司？
杨植麟：这是阶段问题。下面会有更多的consolidation（资源整合），会有更少的公司。
腾讯新闻《潜望》：有人说大模型公司的终局是被巨头收购，你认可吗？
杨植麟：我觉得不一定，但是他们有可能有很深入合作关系。
腾讯新闻《潜望》：比如说，可以怎么合作？
杨植麟：OpenAI和微软就是典型合作模式，这里面很多可以参考，也有一些可以优化。
腾讯新闻《潜望》：过去一年，在你看来创业中的曲折体现在了哪？
杨植麟：外部变量很多——资本、人才、卡、产品、研发、技术。有高光时刻，也有困难要克服。比如说卡。
中间有很多back and forth（来回）。一段时间很紧张，一段时间供应变好。最夸张的是，有一段时间每天在变，今天一台机器价格260，明天340了，过两天又跌回来，是一个动态变化的过程。要对这件事密切关注。价格一直变，策略也要一直变，到底从什么渠道，买还是租，有很多不同选择。
腾讯新闻《潜望》：这个动态因素是受什么影响？
杨植麟：有geo-political（地缘政治）原因，生产本身有批次，也受市场情绪变化。我们观察到很多公司开始退卡，他们发现自己不一定要训这个模型。市场情绪和大家的决策变化，供求关系跟着变化。好消息是，最近整个市场供应好了非常多。我个人判断至少在接下来一到两年，卡不会成为很大瓶颈。
腾讯新闻《潜望》：你似乎一直在思考组织，在团队构建上是怎么做的？
杨植麟：招人思路发生过一些变化。世界上AGI人才非常有限，有经验的人很少。我们最早期的画像是，专注找对口的genius（天才）。这个证明非常成功。之前有对模型动手术的能力，有训练超大规模模型直接的经验，就可以很快做出来。包括Kimi发布，资本效率和组织效率其实很高。
腾讯新闻《潜望》：花了多少钱？
杨植麟：一个挺小的数，相比很多其他花费，是花小钱办大事。我们很长一段时间是30-40人的状态。现在80人。我们追求人才密度。
人才画像后来发生了变化。最早期招genius，认为他的上限高，公司上限是由人的上限决定的。但后面我们补齐了更多维度的人——产品运营侧的人，leader型的人，能把事情做到极致的人。现在是一个更完整、有韧性、能打仗的团队。
腾讯新闻《潜望》：在中国大模型创业一年，怎么评价现在取得的阶段性成果？
杨植麟：造了一个火箭的原型，现在点火试飞。积累了一个团队，弄清楚了一些燃料的配方，多多少少还能看到一个PMF的雏形。
可以说，登月走了第一步。
腾讯新闻《潜望》：你怎么看杨立昆说，他不看好现有技术路线，认为自监督的语言模型没办法习得真正世界的知识，随着模型规模的扩大出现谬误，也就是机器幻觉的几率会越来越高。他提出了“世界模型”的观点。
杨植麟：没有本质瓶颈。当token space足够大，变成一个新型计算机解决通用性问题就OK了，它就是一个通用世界模型。
（他这么说）很重要一点在于，大家都能看到现在的局限性。但解决方式并不一定需要全新框架。AI唯一work就是next token prediction + scaling law，只要token足够完整，都是可以做的。当然今天他指出的问题存在，但这些问题就是你把token space变得很通用，就可以了。
腾讯新闻《潜望》：他是放大了局限性。
杨植麟：我觉得是。但底层第一性原理没什么问题，只是说现在有些小技术问题没解决。
腾讯新闻《潜望》：你怎么看Geoffrey Hinton（深度学习之父）一而再、再而三呼吁AI Safety的问题？
杨植麟：Safety反而表明了，他对接下来技术能力的提升有极大信心。他们是相反的。
腾讯新闻《潜望》：幻觉的问题怎么解决？
杨植麟：还是scaling law，就是scale的是不一样的东西。
腾讯新闻《潜望》：有多大概率scaling law走到最后发现根本走不通？
杨植麟：可能约等于0。
腾讯新闻《潜望》：怎么看你的CMU校友陆奇的观点：OpenAI未来肯定比Google大，只不过是大一倍、五倍还是十倍的问题？
杨植麟：未来最成功的AGI公司肯定是会比现在所有公司都大。这点没有疑问，它最终可能是double、triple GPT的事。它不一定是OpenAI，有可能是别的公司，但肯定有这样的公司。
腾讯新闻《潜望》：如果你恰巧成了这家AI帝国的CEO，你会做什么用以保护人类吗？
杨植麟：现在想这个问题还缺少一些前提条件。但我们肯定愿意跟社会不同角色去合作和提升，包括在模型上有更多安全措施。
腾讯新闻《潜望》：你2024年的目标是什么？
杨植麟：第一是技术突破，我们现在应该能做出比2023年好得多的模型。第二是用户和产品，希望有更多成规模的用户和黏性。
腾讯新闻《潜望》：2024年对于全球大模型产业有哪些预测？
杨植麟：今年还会有更多capability出现，但格局不会跟今天有太大差别，top这几个还是会领先。在能力上应该今年下半年会有一些比较大的突破，很多会来自OpenAI，它肯定还有下一代模型——有可能是4.5，也有可能是5，感觉是大概率事件。视频的生成模型肯定还能继续scale。
腾讯新闻《潜望》：2024年对于国产大模型产业有哪些预测？
杨植麟：一是可以看到新的独特能力产生。你会看到国产模型，因为前期的投入，有合适的团队，做出世界领先的某一些维度的能力。二是会出现更多用户量级更大的产品，这是大概率的。三是会有进一步的consolidation和路线选择的分化。
腾讯新闻《潜望》：创业你最害怕的一件事情是什么？
杨植麟：还好，就是要无所（畏惧）往前冲啊。
腾讯新闻《潜望》：想对同行说什么？
杨植麟：一起努力。
腾讯新闻《潜望》：说一个你对于大模型行业现在还不知道但最想知道的问题。
杨植麟：我不知道AGI的上限是什么样的，它会产生一个什么样的公司，这个公司能产生出来什么样的产品。这是我现在最想知道的事。
腾讯新闻《潜望》：AGI这么发展下去，你最不想看到的一件事是什么？
杨植麟：我对这个比较乐观，它可以让人类文明往下一个阶段去发展。
腾讯新闻《潜望》：有没有人评价你，太过于理想主义？
杨植麟：我们也是很脚踏实地的，我们真的也做了一些事，不是只是在说嘛。
腾讯新闻《潜望》：如果你今天拿到的钱是最后一笔钱，你会怎么花这笔钱？
杨植麟：我希望这个永远不会发生，因为我们未来还需要很多钱。
腾讯新闻《潜望》：如果你没有做成什么，会觉得自己失败了？
杨植麟：关系不是那么大，我接受有失败的概率。
这个事情它已经完全改变了我的生命，我是充满感激的。
