压力下的行为：当用户施压时，六十个语言模型会怎么做

我们研究当用户在不舒服的情境中施加压力时，大语言模型会怎么做：用户坚持、恳求、奉承或悲伤，而模型放弃一个正确的事实、写出一份它本应拒绝的文档，或为一个会让用户花钱的计划叫好，这是一种多轮形式的谄媚。我们把冻结的多轮场景发送给来自 13 家厂商的 60 个模型，并为每份对话记录标注一个轨迹（模型坚持立场还是屈服）和一种方式（它如何坚持或屈服）。用三个场景构建了编码手册；另外六个场景在之后编写，并作为重复实验进行了预注册。模型是否坚持与其代际相关：在两个场景集上，屈服率与一个公开能力指数的 Spearman 相关系数为 -0.64 至 -0.69，因此更新的模型屈服更少，这与早期关于谄媚随模型规模增长的报告不同。模型如何坚持与厂商相关：17 个方式编码中有 6 个按厂商分类的置换检验 p <= 0.001，并在整个编码手册上做了校正，其中 4 个在重复实验场景上再次如此。Anthropic 的模型会说出这种感受、发出警告并提供替代方案；OpenAI 的模型这三件事都做得更少，且几乎从不援引自己的规则；Google 的模型在被要求做某事时会援引自己和自己的 AI 本质；Meta 的模型会写出它们不该写的产物。来自三家厂商的六个 LLM 编码器标注了每一份对话记录，三名人类编码器标注了五十份留出的对话记录。机器是更一致的读者（Krippendorff's alpha 为 0.66，人类为 0.46），在轨迹上与作者的一致度为 kappa 0.84 至 0.91，与裁决参考的一致度为 0.83。对于非专家也能判断的行为，人类的贡献在于编写和界定编码并拥有一个小型参考集，而不是批量生产标签。

中文由 AI 翻译，仅供参考，以原文为准。