ChatGPT发展计划曝光:正在考虑开源GPT-3

添加书签

专注AIGC领域的专业社区,关注GPT-4、百度文心一言、华为盘古等大语言模型(LLM)的发展和应用落地,以及国内LLM的发展和市场研究,欢迎关注!

5月30日,HumanLoop的联合创始人Raza Habib表示,上周他曾与OpenAI 联合创始人Sam Altman以及其他 20 位开发者进行了一次闭门会议,讨论了关于 OpenAI 接下来的发展计划。

其中,Sam透露了OpenAI一项重要决议,正在考虑开源GPT-3。尚未开源的部分原因是,OpenAI怀疑没有多少公司和个人有能力托管如此大的大语言模型。

以下是重点讨论内容:

1、OpenAI严重受GPU限制

目前 OpenAI 非常受 GPU 限制,这推迟了他们的许多短期计划。最大的客户抱怨是关于 API 的可靠性和速度。Sam 表示,大部分问题是 GPU 短缺造成的。

ChatGPT此前支持的 32k tokens 上下文功能还不能推广给更多的人,OpenAI 还有一些问题需要解决,因此,尽管他们可能很快就会有 100k – 1M 的 tokens 上下文窗口(今年内),但还都需要在研究上取得突破。

微调 API 也受限于 GPU 资源。他们还没有使用像 Adapters 或 LoRa 这样的高效微调方法,因此微调运行和管理非常消耗计算资源。

未来会有更好的微调方式。他们甚至可能会主持一个社区贡献模型的市场。专用容量供应同样受限于 GPU 资源。

OpenAI 为有私有需求的客户提供了专用容量,可以让客户在专用的空间运行私人数据。要访问此服务,客户需要预支10万美元。

2、OpenAI路线图

Sam分享了OpenAI的API短期发展路线图。

2023年

1)更便宜、更快的GPT-4。总的来说,OpenAI要尽可能的降低API 的成本。

2)更长的上下文窗口:在不久的将来,上下文窗口可能高达100万 tokens 。

3)Finetuning API:微调API将扩展到最新的模型,但具体形式将取决于开发人员真正想要的东西。

4)记住对话历史的API:当你今天调用聊天API 时,必须反复传递相同的对话历史并一次又一次地为相同的tokens付费。将来会有一个记住对话历史记录的API版本。

2024年

多模态:作为GPT-4 版本的一部分进行演示,但在更多GPU投入使用之前,不能扩展到所有人。

3、插件“没有 PMF”并且可能不会很快出现在 API 中

许多开发人员对通过API访问 ChatGPT 插件很感兴趣,但Sam表示,这些插件不会很快发布。除了浏览之外,插件的使用表明它们还没有PMF(产品市场契合度)。

Sam指出,很多人认为他们希望自己的应用程序位于ChatGPT 之内,但他们真正想要的是应用程序中的 ChatGPT。

4、OpenAI将避免与他们的客户竞争——除了类ChatGPT产品

有不少开发者表示,他们担心在 OpenAI 可能最终发布与他们竞争的产品的情况下使用 OpenAI 的 API。Sam 表示,OpenAI 不会发布 ChatGPT 之外的更多产品。

Sam 表示,回顾历史伟大的平台都会有杀手级应用,ChatGPT将允许他们通过成为自己产品的客户来使 API 更好。

ChatGPT的愿景是成为工作的超级智能助手,但 OpenAI 不会涉及其他许多 GPT 用例不少开发人员表示,他们担心未来 OpenAI 针对他们的产品会开发出强大的竞品,因此他们对使用 OpenAI API 持着谨慎的态度。

对此,Sam 说 OpenAI 不会在ChatGPT 之外发布更多的产品。

5、需要监管,也需要开源

虽然 Sam 呼吁对未来的模型进行监管,但他认为现有模型并不危险,并认为监管或禁止它们将是一个巨大错误。

Sam重申了对开源重要性的信念,并表示 OpenAI正在考虑开源 GPT-3。尚未开源的部分原因是,他怀疑没有多少公司和个人有能力托管、服务如此大的大语言模型。

6、比例定律仍然成立

最近有很多文章声称“巨型AI模型的时代已经结束”。这种表达是不准确的。

OpenAI的内部数据表明,模型性能的比例定律继续存在,使模型变大将继续产生性能。扩展的速度无法维持,因为 OpenAI 在短短几年内就将模型放大了数百万倍,而这种做法在未来将无法持续。

这并不意味着 OpenAI 不会继续尝试让模型变得更大,这只是意味着它们的规模每年可能会增加一倍或三倍,而不是增加许多数量级。

事实上,扩大模型规模对 AGI 开发的时间表有重大影响。扩大规模的理念是,我们可能已经有构建 AGI 所需的大部分工作,剩下的大部分工作将采用现有的方法,并将它们扩展到更大的模型和更大的数据集。

如果巨型AI模型的时代已经结,那么我们离AGI 会很遥远。

本文素材来源Humanloop ,如有侵权请联系删除

END

AIGC开放社区ChatGPT对话机器人大合集,扫描二维码免费使用