大模型的预测目标变量是什么

有个困惑的问题。 以前做的预测模型学习，比如脑瘫预测，那么预测变量很简单，就是脑瘫与否。
而当今流行的大模型学习，那么大模型是怎么学习的呢？比如：chatgpt，每次学习的预测目标是什么？
能结合一个实例，说说吗？
比如：当你给chatgpt输入下面的问题：“女同事请我周末单独吃饭。请分析一下女同事的意思。”
chatgpt收到这句话后，分哪些步骤来分析和预测？每步的分析和预测，目标变量都是什么呢？每一步，都是用的大模型，还是用的普通的逻辑推理？

请高手赐教
大模型论文铺天盖地，但是我连这个大模型学习或者预测时的目标变量是什么， 都还不知道。

预测下一个词。 也就是说“今天天气不错，我们出去逛个街吧” 那他训练的时候就是“今天天气不错，我”预测下一个字“们”的概率，之后输入又变成了“今天天气不错，我们”预测下一个字“出”的概率

预测下一个词。 也就是说“今天天气不错，我们出去逛个街吧” 那他训练的时候就是“今天天气不错，我”预测下一个字“们”的概率，之后输入又变成了“今天天气不错，我们”预测下一个字“出”的概率
GnosisYu 发表于 2025-08-05 11:09

我看的tutorial也是你这么解释的。
如果你输入 “女同事请我周末单独吃饭。请分析一下女同事的意思。”
这个问句已经完整了。请问这个怎么可能是预测下个词呢？

完形填空或者预测下面要说什么。LLM is trained using both unsupervised learning and supervised learning. The unsupervised portion let it figure out what are the patterns or connections among words or image pixels, etc., and supervised learning tells the model if the gap it fills is accurate. That's why it's a genAI. You can later on using it to fine-tune to the task where you have the target variables.

brotherband 发表于 2025-08-05 11:20
完形填空或者预测下面要说什么。LLM is trained using both unsupervised learning and supervised learning. The unsupervised portion let it figure out what are the patterns or connections among words or image pixels, etc., and supervised learning tells the model if the gap it fills is accurate. That's why it's a genAI. You can later on using it to fine-tune to the task where you have the target variables.

能结合下面这个实例，说说是如何一步步进行得吗？怎么会是unsupervised or supervised learning？ 无论unsupervised，还是supervised，它的目标变量是什么？显然这里不是填词，没有要求填一个词，完整整个句子。因为整个句子已经非常完整了。
如果你输入 “女同事请我周末单独吃饭。请分析一下女同事的意思。”