大模型如何“思考”？揭秘LLM推理全过程

本文解析了大语言模型LLM的推理机制重点阐述预填充与生成两个阶段并说明token采样、线性投影及Softmax在预测下一个token时的作用。文章揭示了仅解码器模型如何通过自回归方式逐词生成文本为理解LLM的部署与性能优化提供了清晰的技术视角。OpenAI联合创始人伊利亚・萨茨凯弗Ilya Sutskever在一次采访中曾表示“只要在足够大的数据集上训练一个足够庞大且足够深的神经网络你就必然会取得成功。”这句话的价值在于它明确强调了“规模”至今仍是所有新的最优模型SOTA所遵循的核心逻辑。2020年AI研究人员发表了《神经语言模型的缩放定律》一文通过实验探索了语言模型性能的缩放规律发现决定模型性能的因素主要有三个计算量、数据集大小、参数规模。这其中最值得关注的发现是随着模型规模、数据集大小及训练所用计算量的增加大语言模型LLM的性能会逐步平稳提升。这一规律同样影响着推理过程——模型规模越大所需的计算资源就越多唯有如此才能实现高效部署同时将延迟控制在合理范围内。OpenAI关于LLM预训练的缩放定律研究成果本文将详细解析LLM的推理机制通过以一个自定义提示词为例逐步拆解预填充prefill和生成generation两个阶段同时解释token采样token sampling、线性投影Linear Projection的工作流程以及如何通过对logits应用Softmax函数来获取下一个token的概率分布。此外本文还会说明TopN、TopK等是如何影响token选择以及生成过程如何终止。01什么是模型推理与部署在机器学习运维MLOps的生命周期中推理过程属于部署与反馈阶段。当完成数据的收集、清洗、标注等准备工作经过多轮训练实验并选定最优模型后便需要对模型进行部署随后输入真实世界中未曾见过的数据以此获取预测结果。推理指的是将训练好的模型与未见过的输入数据推理数据结合生成预测输出供用户或服务使用的过程。而模型部署model serving则是指将模型打包并部署使其在生产环境中作为实时数据处理服务或可调用的API服务可用。简单来说模型本质上是按层组织的结构化数学运算图每个神经元或层都附着有预定义的常量权重和偏置值这些是模型训练过程中学到的参数。要让模型可部署需配置相应的库、框架、依赖项和流水线将输入数据处理为模型可理解的标准化格式同时将模型输出即预测结果转换为与应用兼容的格式。02LLM的推理过程大多数主流的仅解码器大语言模型decoder-only LLMs都以因果建模为目标进行预训练核心能力是“下一词预测”。它们接收一系列token作为输入持续生成序列的下一个token直到满足停止条件——要么生成特殊token如, , end_of_text要么达到指定的max_tokens参数限制。这个过程具有自回归特性T0…Tn-1token生成Tn令牌随后T0…Tn又生成Tn1token。理解LLM推理需掌握两个阶段预填充初始化阶段和解码生成阶段。03LLM的预填充阶段预填充prefill也称为输入处理阶段是LLM接收token输入并计算中间状态键和值以生成“第一个”新token的过程。以“Neural Bits Newsletter is”作为输入文本为例在预填充阶段文本会被tokenized模型进入“热身”阶段根据输入文本计算初始的K键和V值矩阵。需要注意的是在推理中预填充阶段会占用较多GPU内存因为模型在第一次处理提示时需要加载整个输入上下文。此阶段的注意力机制可视为矩阵到矩阵的运算在GPU上具有高度并行性。每个LLM模型都会训练自己的tokenizer且tokenizer与预训练数据集的文本语料高度相关。以下示例使用的是GPT-4o和GPT-4o-mini的tokenizer。“Neural Bits Newsletter”通过tokenizer的转换过程一个常用的指标是首token生成时间TTFTtime to the first token它衡量预填充时间、token化过程和初始K、V状态计算的耗时通常用于测试预填充阶段的性能。当第一个新token被添加到序列中就进入了自回归生成阶段。展示预填充阶段生成第一个“新”token的过程。当输入提示经token化处理并传入LLM后最后一层会对logits执行线性投影Softmax运算得到覆盖模型整个词汇表的概率分布进而选出下一个token该阶段后Q查询、K键和注意力矩阵完成“热身”由于内存已完成分配生成过程会运行得更快。04LLM的生成阶段生成阶段指的是LLM通过自回归过程逐个生成token直到满足停止条件的过程。每个连续输出的token都需要参考所有先前生成token的输出状态键和值。这里有一个重要的点需要说明生成阶段受内存限制。原因如下权重、键、值和激活值从CPU内存传输到GPU的速度慢于计算这些数据本身所需的时间。每个新token、键和值的规模呈线性增长而注意力计算的规模则大致呈二次方增长。要理解这种缩放关系请参考下图该图展示了输入提示词的嵌入向量如何在Transformer层中进行流转基于nano-GPT模型架构的LLM输入部分结构在每个网络层中模型都会为输入序列中的每个token计算查询QueryQ、键KeyK和值ValueV向量以及一个注意力矩阵。随着这些表征流经更深层的网络它们会被不断优化从而具备更强的上下文理解能力。向序列中添加一个token会使Q、K、V矩阵的行数线性增加。对于尺寸为N×N其中N为序列长度的注意力矩阵而言新增token会使其规模相应扩大进而导致注意力计算量呈二次方增长。LLM中另一个核心组件是最后一层——其本质上是一个分类层。该层包含线性投影Linear Projection过程将前层的中间输出映射到n_vocab维度n_vocab表示模型训练时的词汇表大小。简而言之如果模型包含100个token那么经过线性投影后logits的形状将为100。将这些logits输入Softmax激活函数后会得到整个词汇表上的概率分布该分布代表了每个token作为下一个令牌的可能性。接下来LLM会根据生成配置参数TopK、TopP、温度选择最优的“下一个token”并将其添加到序列中之后重复这一过程。可通过下图查看整个过程基于nano-GPT模型架构的最后一层功能线性投影Softmax为解析上述生成配置参数可通过调整温度Temperature、TopK和TopN阈值来控制token的采样过程。以下是这些参数的作用温度Temperature应用于最终Softmax层的缩放因子影响模型计算的下一个token的概率分布。较高的温度≈1会使token选择更随机/更具创造性较低的温度则会使行为更具确定性。TopK也称为贪婪采样它让模型仅考虑最可能的K个token。较小的K会使行为更确定具体较大的K则会使行为更随机stochastic。TopN也称为核采样与TopK类似但它并非限定考虑K个token而是以这些token的累积概率为条件模型会选择累积概率超过阈值的N个token。例如若将阈值设为0.5第一次迭代中若“awesome”的概率为0.6则仅考虑该token若“awesome”的概率为0.1、“amazing”的概率为0.2、“marvelous”的概率为0.3三者累积概率为0.6超过阈值则会考虑这3个token。结合实际示例理解会为更简单。回到“Neural Bits Newsletter is”这个提示假设第一个预测token是“awesome”那么整体过程如下LLM中自回归解码的工作原理此图展示新token如何被添加至初始序列并传入LLM通过应用线性投影和Softmax运算来获取“下一个”token我们能清晰看到这个重复过程将新token添加到序列中传入模型获取下一个token再次添加并传入模型直到达到max_tokens限制或模型生成序列结束token。了解这个原理后当你使用LLM模型如ChatGPT、Gemini、Perplexity等时聊天界面中文字开始出现前的短暂延迟就是预填充和第一个token生成的耗时之后逐个出现的新词汇则来自生成阶段。05结论综上本文详细阐述了LLM的推理机制包含了仅解码器型LLM的预填充Prefill和生成Generation两个阶段这两个阶段是理解推理过程中吞吐量和整体延迟的关键。上述内容不仅揭示了大模型的思考过程也为理解LLM生成文本的底层逻辑提供了清晰的路径。这里给大家精心整理了一份全面的AI大模型学习资源包括AI大模型全套学习路线图从入门到实战、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等资料免费分享扫码免费领取全部内容1. 成长路线图学习规划要学习一门新的技术作为新手一定要先学习成长路线图方向不对努力白费。这里我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。2. 大模型经典PDF书籍书籍和学习文档资料是学习大模型过程中必不可少的我们精选了一系列深入探讨大模型技术的书籍和学习文档它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。书籍含电子版PDF3. 大模型视频教程对于很多自学或者没有基础的同学来说书籍这些纯文字类的学习教材会觉得比较晦涩难以理解因此我们提供了丰富的大模型视频教程以动态、形象的方式展示技术概念帮助你更快、更轻松地掌握核心知识。4. 2026行业报告行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5. 大模型项目实战学以致用当你的理论知识积累到一定程度就需要通过项目实战在实际操作中检验和巩固你所学到的知识同时为你找工作和职业发展打下坚实的基础。6. 大模型面试题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我们将提供精心整理的大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。7. 资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容