arXiv · Human-Computer Interaction· Yoonho Shin
· 22 小时前AI 评分35
人格透镜:是什么让视觉语言模型透过其人格的视角看?
Persona Lenses: What Makes a Vision-Language Model See Through Its Persona's Eyes?
预印本 · 尚未经过同行评审
AI 导读
提出文本、像素和权重三种人格透镜,比较不同规模Qwen模型模拟网页注视时区分人格的效果。
摘要 · AI 翻译
视觉语言模型已被用于模拟用户在网页上的注视位置。然而,提示中的角色设定只能部分达到模拟注视的效果。我们将这种达到程度量化为一个模型在两个仅相差单一属性的 MatrAIx 角色之间的注视差异。我们引入了角色透镜,将角色置于模型与页面之间:文本透镜(一种两步提示,模型首先写出该角色会看什么)、像素透镜(在与角色兴趣匹配的区域上做标记)和权重透镜(一种注视停留奖励,经过门控以保持扫视路径自然)。使用 Qwen3-VL(4B 和 32B)和 Qwen3.5-9B 在生成页面和实时页面上,我们将各透镜相互比较,并与规模比较,即无透镜的 32B 模型。已确认文本透镜能强烈区分角色,但对不应改变注视的档案变化不稳健。像素透镜对角色区分较弱,但不受与注视无关属性的影响。在 4B 和 9B 上,权重透镜能在训练中未涉及的感兴趣项上区分角色,且在新页面上无需额外步骤。32B 模型仅凭基础提示即可区分角色。因此,透镜的选择取决于成本和模型规模。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Human-Computer Interaction · arxiv.org