文 ｜凌梓郡
(相关资料图)
编辑 ｜ 卫诗婕
SamAltman的欧洲之行仍在进行中。前不久，在伦敦，他和 AI 公司 HumanLooop 的 CEO 进行了一次闭门讨论。HumanLoop 是一家帮助开发者在大语言模型上构建应用的公司。
HumanLoop 的 CEO Raza Habib 记录了这次谈话的要点，并公开在公司官网上。但随后在OpenAI的要求下，这份纪要被撤下。这反而增强了外界对这次谈话的好奇心。有人推测，是其中所涉及的 OpenAI 的一些想法有所更改。
极客公园在浏览了这份被删除的谈话纪要后，发现其中不仅涉及 Sam 眼中对OpenAI的短期规划，也隐藏着获得微软云计算资源大力支持后，OpenAI 所承担的压力。毕竟，模型的微调、推理依旧消耗大量计算资源。据 The Information 报道，Open AI的模型已经花费了 Microsoft Azure 12亿美元，将计算资源集中于支持 OpenAI，也让微软的其他部门可使用的服务器受限。
对此，Sam 表示降低成本是目前的首要目标。
此外，Sam 还透露：目前，开放更长的上下文窗口、提供微调API等服务都受到GPU资源的限制；
这场对话中，Sam Altman 回应了许多外界关心的问题，比如竞争与商业化：
尽管刚刚招聘了一位世界级的产品经理 Peter Deng，但OpenAI不会考虑发布更多的产品；未来的应用趋势是大模型的功能嵌入更多 APPs，而不是在 ChatGPT 上生长出更多插件，因为现实中大多数插件并没有呈现出 PMF （ Product / Market Fit，即产品市场匹配）；过去几年，OpenAI 以数百万倍的速度扩展模型规模，但这样的速度不可持续。接下来，OpenAI会继续以1到3倍的速度，增加模型规模，以提升模型性能。谈话纪要公开于5月29日，根据网友的记录，于6月3日左右删除。以下是通过备份获得的内容：
OpenAI目前受到GPU的严重限制
随着对话扩展，所需的计算资源呈指数增长
目前 OpenAI 的 GPU 非常有限，这拖延了他们许多短期计划。客户最大的抱怨是 API 的可靠性和速度。Sam承认他们的担忧，并解释说，大部分问题是由于 GPU 短缺。
The longer 32k context can’t yet be rolled out to more people. OpenAI haven’t overcome the O(n^2) scaling of attention and so whilst it seemed plausible they would have 100k - 1M token context windows soon (this year) anything bigger would require a research breakthrough.
更长的 32K 上下文还不能提供给更多的人。OpenAI 还没有克服注意力机制的 O (n ^ 2) 的扩展问题，尽管看起来，他们很快 (今年) 就会拥有 100k-1M Token的上下文窗口。任何更大的窗口都需要研究突破。
注：O (n^2)意味着，随着序列长度的增加，执行Attention计算所需的计算资源呈指数增长。 O用来描述算法时间或空间复杂度增长速度的上限或最坏情况；（n^2 ）表示复杂度与输入大小的平方成正比。
微调API目前也受到GPU可用性的限制。他们还没有使用像 Adapters 或 LoRa 这样的高效微调方法，因此，通过微调进行运行和管理（模型）非常计算密集。未来将对微调提供更好的支持。他们甚至可能主持一个基于社区的模型贡献市场。
专用容量供应受GPU可用性的限制。OpenAI 提供专用容量，为客户提供模型的私有副本。要获得这项服务，客户必须愿意承诺预先支付 10 万美元。
OpenAI的近期路线图
2023，降低智能成本；2024，多模态的有限演示
Sam 也分享了他所看到的 OpenAI API 临时近期路线图。
2023:
更便宜更快的 GPT-4ーー这是他们的首要任务。总体而言，OpenAI 的目标是尽可能地降低 「智能成本」，因此他们将努力工作，随着时间的推移继续降低 API 的成本。更长的上下文窗口ーー在不久的将来，上下文窗口可能高达 100 万个Token。微调APIー微调 API 将扩展到最新模型，但具体的形式将取决于开发者表明他们真正想要什么。一个有状态的API（stateful API)- 当今天调用聊天 API 时，你必须反复通过相同的会话历史，反复支付相同的tokens。将来会有一个版本的 API 可以记住会话历史记录。2024:
多模态- 这作为 GPT-4 版本的一部分进行演示，但在更多 GPU 上线之前不能扩展到所有人。商业化预判和思考：
插件 「没有 PMF」，可能不会很快出现在API中
很多开发者都对通过 API 访问 ChatGPT 插件感兴趣，但 Sam 说他认为这些插件不会很快发布。除了 Brosing 插件 之外，其他插件的使用情况表明还没有 PMF（Product/Market Fit）。他指出，很多人认为他们希望自己的应用程序位于 ChatGPT 之内，但他们真正想要的是ChatGPT存在于应用中。
除了 ChatGPT ，OpenAI 将避免与其客户竞争
伟大的公司都有一个杀手级应用
不少开发者表示，他们对使用 OpenAI API 开发感到紧张，因为 OpenAI 最终可能发布对他们有竞争力的产品。Sam 说，OpenAI 不会在ChatGPT之外发布更多的产品。他说，历史上，伟大的平台公司有一个杀手级应用。ChatGPT 将允许开发者成为自己产品的客户来改进 API。ChatGPT 的愿景是成为一个超级智能的工作助理，但很多其他的 GPT 用例， OpenAI 不会涉及。
需要监管，但不是现在
「我对多少个人和公司有能力持有大模型表示怀疑」
虽然 Sam 呼吁对未来的模型进行监管，但他认为现有模型并不危险，认为监管或禁止它们是一个大错误。他再次强调了开源的重要性，并表示 OpenAI 正在考虑将 GPT-3 开源。他们还没有开源，部分原因是他对有多少个人和公司有能力持有和服务大型语言模型（LLMs）表示怀疑。
规模定律仍然适用
几年数百万倍的扩展速度，不可能一直持续下去
最近有很多文章声称 「巨型 AI 模型的时代已经过去」。这并不准确。（注：在4月一场在MIT的活动中，Sam Altman曾经表示：我们现在已经接近巨大模型时代的尾声。）
OpenAI 的内部数据表明，模型性能的规模定律仍然适用，增加模型的大小将继续提高性能。
由于 OpenAI在短短几年内就将模型扩大了数百万倍，这样的扩展速度不可能持续下去。这并不意味着 OpenAI 不会继续尝试把模型做得更大，而是意味着，它们每年的规模可能会增加一倍或三倍，而不是增加许多数量级。
规模定律有效对 AGI 开发时间线有重要意义。规模定律的假设是我们可能已经具备构建 AGI 所需的大部分要素，并且剩下的工作，主要是将现有方法扩展到更大的模型和更大的数据集上。如果规模的时代已经过去，那么我们可能会离 AGI 更遥远。规模定律继续适用的事实，强烈暗示着更短的时间线。
关键词：
