OpenAI揭秘ChatGPT行为的两个关键步骤，并公开优化方法

近日，OpenAI在官方博客发布了招牌产品ChatGPT的行为是如何产生的，以帮助全球用户更深入了解这款产品的核心开发流程。同时也希望更多的人参与进来对ChatGPT进行监督，以保证产品的安全性和道德伦理问题。

OpenAI公开的内容包括：ChatGPT 的行为是如何形成的；计划如何改进 ChatGPT 的默认行为；允许更多的定制化系统；努力让更多的用户参与到OpenAI的产品决策。

此外，OpenAI还公布了偏见、争议话题微调数据模型的指南。（发送“OpenAI指南”，获取英文原版内容，为初创企业、大型企业建立合理的微调数据集，提供借鉴。）

ChatGPT 的行为是如何形成的

与普通软件不同的是，OpenAI使用的是巨大神经网络。ChatGPT的行为是从广泛的数据中学习的，而不是固定编程所产生的。

ChatGPT的行为主要由预训练和微调两大部分构建。

预训练

预训练：OpenAI通过模型预测包含部分互联网的大数据集中，预测接下来会发生什么，以构建“预训练”模型。例如，当你提问锄禾日当午的下一句是什么？这时ChatGPT会填上“汗滴禾下土”，并对整首诗词进行解读，包括作者、时代背景等。如果继续提问，ChatGPT将回答更有深度的内容。

通过从数十亿个句子中学习，OpenAI的模型学习了语法、事务的逻辑能力、推理能力以及理解能力。同时还了解了数十亿个句子中存在的一些偏见。

微调

然后，OpenAI会在更窄的数据集上“微调”这些模型，这些数据集是经过人工审核者生成的。（由OpenAI提供审核指南）

由于OpenAI无法预测用户输入的内容，因此不会为 ChatGPT的回答编写详细说明。相反，OpenAI在指南中概述了几个类别，帮助人工审核者评估一系列示例输入，以及输出内容的模型。在使用过程中，模型会根据评论者的反馈进行概括，以响应给用户提供的各种特定的内容。

简单来说，多数ChatGPT输出的内容是经过人工审核的，以保证输出内容是安全、符合法规的。

人工审核者在OpenAI开发过程中发挥重要作用

在某些情况下，OpenAI会在某种内容输出上对人工审核者提供指导（例如，“不要完成对非法内容的请求”）。在其他情况下，OpenAI与人工审核者分享更高的指导内容（例如，“避免对有争议的话题采取立场”）。

在“微调”的过程中，OpenAI与人工审核者保持强大的反馈循环，例如，每周召开会议帮助他们解决可能遇到的难题，或对OpenAI的指导进行建议、优化。随着时间推移，这种迭代反馈过程使得OpenAI在训练模型方面变得越来越好。

如何解决偏见

随着ChatGPT被大范围使用，很多人开始关注其产生的偏见和道德影响。OpenAI为了解决这些难题，决定将审核机制保持透明和公开化，因此，Open AI分享了争议话题的指南。

Open AI在指南中明确指出，人工审核者不应偏袒任何团体和个人，保证数据的公平公正性，但在实际使用过程中还是出现了偏见问题。但Open AI也希望通过公开这些流程，让更多人知道回答的内容是如何产生的并一起来监督。

到目前为止，Open AI一直在努力提高这些指南的清晰度，向人工审核者提供更清晰的说明：说明与偏见相关的潜在陷阱和挑战，以及有争议的人物和主题。

此外，作为公开透明度的一部分，Open AI正在努力以不违反隐私规则和规范的方式，共享人工审核者汇总人口统计信息，因为这是系统输出内容潜在偏差的另一个来源。

Open AI的三大产品优化计划

为了确保AI可以为人类提供安全、可靠、基于法规道德底线的产品服务，Open AI提出了三大产品优化计划。

1、改善默认行为：Open AI希望尽可能多的用户发现其 AI 产品对他们的生活、工作有帮助，并认为Open AI的产品尊重他们的价值观。

因此，Open AI正在投资研发，以减少 ChatGPT对不同问题的响应方式中，明显和微妙的偏差。在某些情况下，ChatGPT当前会拒绝输出，不应该输出的内容。

此外，Open AI在系统行为的其他方面还有优化的空间，例如，“ChatGPT一本正经的胡说八道”。而用户的使用反馈，对于进行这些改进非常宝贵。

2、在广泛的范围内定义AI的价值观：Open AI相信AI可以成为对个人有用的工具，因此每个用户都可以根据社会定义的限制进行定制。因此，正在开发对ChatGPT 的升级，以允许用户轻松自定义其行为。

但在定义的范围会受到限制，要基于道德、安全、法规等基础上进行。

3、关于默认值和硬边界的公共输入：避免权力过度集中的一种方法是，让使用 ChatGPT 或受其影响的人能够影响这些系统的规则。

Open AI认为，关于默认值和硬边界的许多决定应该由集体做出，虽然实际实施是充满挑战，但尽可能包含更多的观点。作为起点，Open AI最近开始征求公众对AI教育的意见（Open AI的技术正在部署的一个特别重要的环境）。

目前，Open AI正处于试点工作的早期阶段，以更广泛地征求公众对系统行为、披露机制和部署政策等主题的意见。Open AI还在积极探索与外部组织的合作伙伴关系，以对产品的安全、政策进行第三方监督。

END

加入AIGC开放社区交流群

添加微信：13331022201 ，备注“职位信息&名字”，在管理员审核后加入讨论群