正因为具备超长上下文的处理能力，这些模型在生成语言时显得更加合理。例如，在“天气凉了”的语境下，生成“准备过冬”显然比“准备过夏”更合适；同样，在“心情不好”的情况下，生成“有点生气”比“有点高兴”更符合常理。
远距离相关性让语义预测更加精准
大语言模型的另一大优势在于其使用了海量的训练数据。例如，早期的 GPT-3 模型使用了约 45TB 的原始文本数据（筛选过滤后约 570GB），相当于 2000 万本《红楼梦》的数据量。到 GPT-4 模型以后，训练数据几乎涵盖了人类所有已知的文本数据。这意味着这些模型不仅学习了语言的基本规律，还学习了人类的表达方式，使得它们在写作和对话中可以流畅、自然地表达。下面是用 ChatGPT 生成的文章片段
在一片广袤的平原上，孙悟空和李逵终于相遇了。孙悟空手持金箍棒，眉宇间透露着无尽的自信，而李逵则提着大斧，浑身肌肉结实，气势如猛虎。他们的目光在空中碰撞，火花四溅。
“来吧，李逵，今天就让你见识见识我的本事！”孙悟空笑声如雷，挥舞金箍棒朝李逵劈去。
李逵怒吼一声，举起大斧迎头劈去，两者的武器相撞，发出震耳欲聋的巨响。孙悟空轻松一跃，灵活的身姿仿佛瞬间消失在空中，下一秒便出现在李逵的背后，金箍棒狠狠地扫了过去。
李逵反应极快，挥斧急转身，两人进入了激烈的对攻状态。孙悟空变幻莫测，时而变大、时而变小，时而腾空、时而俯地，连绵不断的攻势让李逵有些招架不住。
然而，李逵虽然没有孙悟空那般神通广大的法力，却凭着钢铁般的意志和强悍的体力，不断硬碰硬，毫不示弱。两人一时间斗得难分难解，尘土飞扬，犹如天地间的两股洪流相碰撞，无法分开。
