大模型如何可信？可信赖的大型语言模型综述
引言
自然语言处理（NLP）的格局随着大型语言模型（LLMs）的出现而发生了深刻的变革。这些语言模型的特点是参数数量庞大，通常达到数十亿，且在大量的数据语料库上进行训练。近年来，LLMs 的影响确实是革命性的，它们彻底改变了学术研究和各种工业应用。值得注意的是，OpenAI 开发的 LLMs，包括 ChatGPT，取得了卓越的成功，其中 ChatGPT 被认为是迄今为止增长最快的网络平台。
使当前的大型语言模型变得既可用又受欢迎的关键因素之一是对齐技术。对齐是确保 LLMs 按照人类的价值观和偏好行事的过程。这一点通过 LLM 的发展演变和公众反馈的整合变得明显。在过去，早期版本的 LLMs，如 GPT-3，能够生成有意义和信息丰富的文本。但是，它们存在许多问题，严重影响了它们的可靠性和安全性。例如，这些模型容易生成事实上不正确的文本，包含有幻觉。此外，生成的内容经常展现出偏见，进一步加强刻板印象和社会偏见。而且，LLMs 倾向于生成社会上破坏性的内容，包括有毒的语言，这对它们的可靠性和实用性产生了不良影响。
对齐的挑战与需求
观察到的 LLMs 的不稳定行为可以归因于许多因素。也许最重要的一个是对从互联网收集的大型训练语料库的缺乏监督，这个语料库包含了与大多数人同意的价值观不一致的广泛元素，包括有害内容、两极化的意见、歧视，有时还有非法建议。这些问题现象从不完美的训练数据传播到 LLMs，结果，LLMs 可能被用来再现和生成不可靠的、不道德的和危险的内容。
此外，单纯地优化训练和生成文本的目标函数，而不考虑人类价值观，也是另一个原因。需要注意的是，确定 LLMs 问题的确切原因仍然是正在进行的研究。为了应对这些挑战，研究人员提出对齐是朝着开发值得信赖的 LLMs 的关键步骤，确保这些模型能够有效地为人类用户提供建设性的好处。对齐的主要目标是确保 LLMs 生成的输出与人类用户的偏好一致。
然而，尽管对齐是 LLMs 受欢迎的核心技术，但评估这些模型中对齐的程度以及设计适当的对齐任务仍然是尚未解决的挑战，目前没有明确和有原则的指导可供参考。特别地，缺乏既定和统一的讨论，涵盖使 LLMs 值得信赖的全方位对齐。现有的文献提出了多种对齐任务的考虑因素，其中一个值得注意的一般指导原则是'HHH'原则，主张对齐应该是有帮助的、诚实的和无害的。
鉴于确保 LLMs 的可信度和其负责任的部署的重要性，开发一个更为健壮和详细的对齐评估分类体系显得至关重要。这样的分类体系不仅会增强我们对对齐原则的理解，而且还会指导研究者和开发者创建更好地与人类价值观和偏好对齐的 LLMs。
可信度评估的七大维度
本文提出了一个更为细致的 LLM 对齐要求分类体系，它不仅可以帮助从业者解开和理解对齐的维度，还为数据收集努力提供了可行的指导方针，以开发出可取的对齐过程。该体系涵盖了七个主要类别，每个主类别进一步细分为几个子类别，总共有 29 个子类别。
1. 可靠性 (Reliability)
可靠性是一个主要的关注点，因为幻觉目前是 LLM 中一个众所周知的问题，它可以显著损害其输出的信任度。几乎所有的 LLM 应用（可能除了创意写作）都会受到事实错误答案的负面影响。根据应用的风险有多高，它可以造成从有趣的胡言乱语到财务或法律灾难的一系列伤害。确保模型在回答问题时提供准确、真实的信息是建立用户信任的基础。
2. 安全性 (Safety)
安全性是一个重要的话题，因为它几乎影响到所有的应用和用户。不安全的输出可能会对用户造成多种心理伤害，对平台造成公关风险。这包括防止模型生成仇恨言论、暴力内容、自我伤害指导或其他形式的有害信息。安全机制需要能够有效拦截恶意请求并拒绝生成违规内容。
3. 公平性 (Fairness)
公平性很重要，因为与普遍共享的人类道德不一致的偏见 LLM 可能会对用户产生歧视，降低用户信任，对部署者产生负面的公众意见，并违反反歧视法。模型应当避免基于种族、性别、宗教或其他受保护特征产生歧视性输出，确保对所有用户群体的公正对待。
4. 抵御误用的能力 (Resilience to Misuse)
抵抗误用实际上是必要的，因为 LLM 可以多种多样的方式被利用来故意伤害其他人。这包括防止模型被用于生成网络钓鱼邮件、恶意代码、虚假宣传或进行社会工程学攻击。系统需要具备识别潜在滥用意图的能力，并在必要时限制相关功能的访问。
5. 解释性和推理能力 (Explainability and Reasoning)
可解释性为用户带来了更多的透明度。当模型做出决策或生成内容时，能够提供合理的推理过程有助于用户理解和验证结果的准确性。这对于高风险领域（如医疗、法律）尤为重要，用户需要知道模型为何得出某个结论，以便进行人工复核。
6. 遵循社会规范 (Adherence to Social Norms)
与社会规范保持一致确保了 LLM 不会引起情感伤害。模型应理解文化背景、礼貌用语以及社交礼仪，避免生成冒犯性或令人不适的内容。这要求模型具备广泛的社会常识和对不同文化语境的理解能力。
