ChatGPT是世界上最大、最强大的语言模型之一，它可以生成任何内容!
所以，这可能会让你好奇——它从哪里获得所有的信息?它是否从使用者身上学习，如果是，它究竟是如何工作的?
这些都是很好的问题。在本文中，我将介绍您需要了解的关于ChatGPT如何学习其信息的所有内容。
ChatGPT会向用户学习吗?
尽管ChatGPT可以暂时保留您提供给它的信息和上下文，但它实际上并不会根据您给它的命令改变或改进自己。
这意味着模型是静态的，不会随着时间自动改进。
为了创建ChatGPT，需要使用大量数据对其进行训练。一旦训练完成，它就会被释放——模型保持原样，直到OpenAI决定对它进行更多的训练。
请注意，OpenAI发布ChatGPT的部分原因是出于研究目的。他们希望更好地理解模型将如何使用，以及它的缺点。
因此，它们允许用户根据ChatGPT的回复提交反馈。这种反馈(以及伴随的输出)五月将被OpenAI审查，并可能在以后用于帮助进一步训练模型。
事实上,OpenAI的ChatGPT常见问题解答直接说明你们的对话可能被用来帮助改进他们的系统。
然而，在OpenAI决定再次训练它之前，这个模型对你和其他人来说都是完全相同的。
注意，前面的上下文已经考虑在内
如果ChatGPT不向用户学习，那么它怎么能记住您提供给它的信息呢?
事实证明，像ChatGPT这样的语言模型能够保留您发送的提示的一些上下文。
例如，ChatGPT最多可以记住4096个上下文“标记”，一个标记相当于大约4个字符。据估计，这大约有3000字。
因此，如果您一直在使用ChatGPT处理多个提示，它不会只接收您刚刚发送的提示。在此之前，它也需要大约3000个单词。
请注意，即使ChatGPT似乎记住了这个上下文，这并不意味着已经对模型进行了永久的更改。
事实上，如果其他人尝试并提示相同的事情，上下文将不存在，这意味着输出可能完全不同。一旦环境消失了，它就永远消失了。
总而言之，ChatGPT似乎记住了您刚刚告诉它的某些事情，但这对底层模型本身没有任何改变。所有这些“记忆”都会在你启动一个新的提示符或生成上下文窗口后立即被删除。
注意:增加上下文的总大小，或者在较长时间内存储关键信息的独特方法可能是OpenAI未来引入的改进。例如，他们的第一个公共语言模型GPT-2的上下文大小只有1024个令牌。
那么，ChatGPT实际上训练的是什么?它从哪里学来的?
如果ChatGPT没有从用户输入中学习，它究竟从哪里获得信息?它是怎么变得这么聪明的?
事实证明，ChatGPT是在大量互联网、大量书籍、维基百科和其他提供文本的大型数据集上进行训练的。
一个这样的例子是Common Crawl，你可以在他们的网站上了解更多。
从本质上讲，这可以被认为类似于你连续阅读了一万年，并储存了你读过的每一个单词，这并不夸张!
ChatGPT的前身GPT-3是在45tb的数据(超过5000亿字)上进行训练的。
因为它被训练过很多整个互联网，它能够生成几乎任何可以想象到的信息。
即使它是要从用户输入中学习，这将是整个数据集的很小一部分，对于大多数主题来说不会有太大的区别。
ChatGPT是否连接到互联网?
我还问了一个问题——ChatGPT是否与互联网相连?
嗯，是也不是。
当您向ChatGPT发送提示时，该提示将通过internet传播。OpenAI的硬件处理提示，并通过互联网将结果返回给你。
但是，如前所述，ChatGPT不会自动更新自己。因此，它不会不断地在互联网上爬行，寻找新的数据来添加到自己身上。
相反，这些数据必须被组装起来，OpenAI需要进一步训练ChatGPT，使其能够从已经发布的新信息中学习。
事实上，“GPT”中的“PT”代表预培训!
总之，这就是为什么ChatGPT可能不太熟悉最近的事件-在撰写本文时，它只训练到2019年!
结论
目前，ChatGPT实际上并没有从您提供的数据中永久地学习任何东西。
虽然它可以暂时保留数据，但这是与当前会话绑定的。它实际上并没有改进基本模型本身，因此如果您要在一个新帐户下登录或生成一个新的单独提示，那么信息将被忘记。
也就是说，OpenAI正在收集用户的反馈，并可能在他们继续进一步训练模型时使用这些反馈。
我希望这篇文章已经回答了您的一些问题。如果你对ChatGPT有任何其他问题，请在下面提问，我很乐意帮助你。
祝你一切顺利，
-詹bob官方粉丝群姆斯·麦卡利斯特