明明用了同样的提示词,大模型有时回答得滴水不漏,有时却满嘴跑火车。这种差异的根子往往不在提示词本身,而是两个容易被忽略的生成参数:**Temperature(温度)**和 Top-P(核采样)。它们一个管随机性的强度,一个管候选词的范围,配合起来直接决定模型输出是四平八稳还是放飞自我。
Temperature:缩放概率分布,控制冒险程度
Temperature 取值 0~2,作用是缩放下一个词的概率分布。值小于 1 时,高概率词权重更高,输出会偏向确定、保守,甚至重复;等于 1 时保持原始分布;大于 1 则低概率词被放大,输出更有创造力,但也更容易出现逻辑混乱。
直观对比:
- Temperature=0.1:就像厨师只按固定菜谱来,每道菜味道一致,毫无新意。
- Temperature=1.8:厨师开始用各种新奇搭配,可能惊艳,也可能变成黑暗料理。
Top-P:核采样,限定候选池大小
Top-P 取值 0~1,不改变概率值,而是按概率从高到低累加,达到阈值后只从这批词里选。Top-P=0.1 时,可能只保留两三个词,输出几乎确定;Top-P=1 时,所有词都开放,随机性拉满。
类比一把:
- Top-P=0.2:老师只划 20% 的重点,考试答案集中在很小的范围。
- Top-P=1.0:所有知识点都可能考,答案可能新锐但容易跑题。
两者的关键差异:
| 对比维度 | Temperature | Top-P | | --- | --- | | 调控逻辑 | 缩放概率分布离散度 | 按累积概率截断候选集 | | 对候选词的影响 | 改变所有词的概率高低差距 | 直接控制候选集大小,不改变词本身概率 | | 参数敏感性 | 非线性,0.1→0.2 的变化远大于 1.8→2.0 | 近似线性,0.1→0.2 的候选规模变化稳定 | | 极端值效果 | Temperature=0 时几乎重复输出高概率词 | Top-P=0 时只选概率最高的一个词,完全固定 |
理论说再多,不如跑几个例子实在。下面用同一组提示词,切换不同参数,看看输出到底差在哪里。
场景一:学术摘要,要求数据准确、逻辑严密
提示词:写一段'人工智能在医学影像诊断中的应用现状',需要包含 CNN、Transformer 等核心技术,给出临床效果数据,并总结现存挑战。
先用低温度 + 低 Top-P(Temperature=0.2,Top-P=0.3):

