当基座LLM公司开始做2C产品【2023.10】

0、前言

在这一轮LLM浪潮的早些时候就有人提出这种观点：LLM基座可以吃掉上层不太厚的应用。

抛开巨型公司不谈，之前以LLM基座为主的早期公司并未表露出这方面的征兆，似乎应用层和LLM模型层是泾渭分明的两条赛道。海外的不少2C产品有着自己的定制模型，例如Pi，但它们从最开始就是自我定位成是2C产品公司，而非基座模型公司。

但近一段时间，我们看到一些不同的因素：

• 国内的各个基座LLM模型并未拉开特别明显的差距，能够产生溢价的差异化能力方面也较为匮乏。

• 一些原本以为的基座LLM模型公司也开始转向2C产品，甚至moonshot直接宣称自己是一个2C产品公司。

房间里的大象已经开始移动了，现在是该讨论一下“基座LLM公司亲自下场做2C产品”这个动作会产生的影响了。本文不包含非公开的内部信息，都基于公开信息和我的个人解读。由于我精力有限、接触的信息有限，可能会遗漏一些重要的方面，请大家多评论和批评。

当然房间里还有更大的鲸鱼，也就是BBAT、微软之类的巨型公司，这方面的讨论会留到另一篇本文的姊妹文章内单独讨论。

1、基座LLM公司的传统战场

1.1、商用LLM API

我在9月底时对于国内的商用基座LLM API做了一个梳理和简单评论，见【2023.9】LLM商用API及feature快报，其中提出几个看法：

• 目前的基座LLM API已经进入价格战前期，并定价受制于gpt-3.5-turbo的定价而已经是亏损状态。

• 各家的基座LLM能力上并未拉开明显的差距，差异性功能较少。有特点的只有：角色扮演、long context两个feature。

在这个赛道上，如果各家的研发能力和1年内的短期战略方向不能找到自己的生态位的话，整体上是较为危险的。同一个市场上巨型公司可以通过API成本直接把创业公司的利润压死，耗干小公司的现金流。

1.2、2B定制开发（大中型客户）

目前的整个应用层开发能力相对于需求来说还是比较羸弱的，所以大中型客户有定制开发的需求。

但很遗憾，虽然头部基座LLM公司有光环效应，能够吸引到这些客户，但基座LLM公司的研发能力并不适合大批量的2B定制开发。原因有：

• 基座LLM的研发能力和上层复杂应用的开发能力是不同维度的能力，需要不同能力的人。

• 复杂需求的2B定制开发是研发人员密集的模式，非常受限于该方面团队研发能力吞吐。虽然可以大规模扩展招聘这类人员，但这个领域毛利并不高、过多的该方面组织规模也不适合于基座LLM公司。

• 大中型客户目前对产品效果的期望过高，其内部人员也可以接触到公开信息，2B定制开发的供应商也没有太多认知差价可赚。

某种意义上，与其说是比技术能力和研发成本，不如说是比供应商的光环大小、渠道能力等等。

2、2C的领域

2.1、切入2C的理由

卖API不赚钱，2B的钱不好赚、利润也不高，跑来考虑2C产品就是一个正常的选择了。

特别是考虑到：

• 海外不少2C产品就是凭借着深度定制的模型来做2C市场。

• 基座LLM公司想抄一个应用层产品、并通过深度的模型定制来提升效果并不难，关键在于选哪个去抄。

• 目前无论是国内还是全球，LLM原生的2C产品孵化出来的其实并不多，并非大家原本想象的百花齐放的时代。这时候可抄的目标就比较少，选错的风险并不大。

【领域浸入度】、【大量的细分赛道】才是应用层公司的保护伞，但现在这些都没有实现。本应该成为一个热带雨林，但实际上现在还只是孤零零几棵树的草原。大家趋同的那几个山头更容易被基座LLM公司和巨头公司盯上去吃掉就很自然了。

例如以知识库/RAG类技术方案为主的产品，如果没有对于领域的深耕和对应的渠道，只以通用技术作为产品主要部分，那么肯定没法抵抗大象和鲸鱼的入侵。

2.2、一些展望

当然应用层创业公司没有做成的事情，基座LLM公司也未必就一定能做成，例如对于行业和领域的浸入度。

但基座LLM公司进可攻退可守，它可以只把它擅长的部分吃下来，提供更强能力的API，最上层的渠道和用户触达仍然交给最最靠近客户的人。它吃掉的是实际上是这些应用层公司中的技术团队，而保留产品、商务等等，最终做到赋能那些个人的产品、商务、领域专家等等。这种更接近产品能力的API的设想我在 LLM Stateful API前瞻【2023.10】中已经提到了。

无论是基座LLM公司只提供功能强大的API，还是像moonshot一样直接做2C产品，它们都会有一个优势，就是：变成一个数据公司。无论渠道是谁掌控的，数据肯定都是基座LLM公司可触达的。

而且随着基座LLM公司提供的各种能力的API越来越多（例如多模态、知识库等等），它们越能够低成本地收集到各种类型的数据。

3、基座LLM公司 与 应用层公司 的新边界

长期来说，在基座LLM之上的应用开发层是可以积累一些请求数据之后在开源LLM模型上通过定制微调来实现对基座LLM公司的API的逐步替代来讲数据逐步闭环在自己内部的，但这个方式也有一些阻力：

• 目前开源模型的发布已经明显放缓。

• 基座LLM的炼丹经验、算力、工程优化、通用语料都闭环在基座LLM公司中，开源界与它们的差距会越来越大，效果的追齐会越来越难。

从应用层开发团队来说，自己维持基座或者微调的研发能力、算力等等的成本是越来越不合算的，渐进的角度来说，只保留对领域的理解、业务流的设计、微调数据的准备能力，剩下的基础能力完全转到依赖于LLM微调云服务是一种很难抵抗的大势。基座LLM公司也不是没有竞争，只是它们只是在跟同类的基座LLM公司竞争，上层应用开发者拿着同样的微调数据，可以在各家比较效果和成本，选用最适合的基座LLM能力供应商。

对于应用层公司来说，落地的冷启动阶段会越来越完全依赖于基座LLM提供的初始能力，后续的数据闭环、策略调优其实都是系统运行了一段时间之后的第二阶段的事情。

正如我之前LLM-native应用的算法壁垒在哪里 【2023Q3】中说的，应用层的算法策略壁垒会不断融化。而我们现在知道了，融化的方式并不是基座LLM团队提供了一些神奇的LLM API feature，而是可以直接做一部分上面的业务逻辑本身。

最后提醒一下，本节的内容不止适用于国内希望转型的基座LLM公司，也适用于OpenAI。

交流与合作

如果希望和我交流讨论，或参与相关的讨论群，或者建立合作，请私信联系，见 联系方式。

希望留言可以到知乎对应文章下留言。

本文于2023.10.19首发于微信公众号与知乎。

知乎链接 https://zhuanlan.zhihu.com/p/662164256