跳到正文
原文
arXiv · Human-Computer Interaction· Ilya Zakharov, Alexey Markin, Konstantin Ostroukhov 等 7 人
· 2 天前

探索面向软件开发的多模态 AI–XR 交互:从专家视角到语义代码大纲

Exploring multimodal AI--XR interactions for software development: From expert perspectives to semantic code outlines

预印本 · 尚未经过同行评审

AI 导读

访谈13名专家并让12名开发者试用两种XR代码原型,发现语义描述可帮助理解陌生代码但比较与操作仍有负担。

摘要 · AI 翻译

AI 工具能够快速生成代码,但开发者仍需理解并检查生成结果。我们探讨了从扩展现实(XR)工作区中获得的丰富多模态上下文如何帮助开发者管理这些信息。我们首先访谈了 13 位 AI、XR 及相关领域的专家,以识别机会与设计挑战(研究 1)。这些访谈为随后由 12 位专业开发者参与评估的两个原型提供了依据(研究 2):其中四人试用了一个版本,代码在被查看后会淡出至不可见;另外八人试用了一个版本,将被查看的代码段替换为对其用途的简短描述。在第二个原型中,头部朝向有助于判断何时提供修改建议,而手动输入则让开发者能够应用修改并重新打开原始代码。另外,我们还与七位软件工程研究者进行了一次开放式演示,获得了补充性反馈。参与者的叙述表明,描述可以为不熟悉的代码提供概览,并在重新查看时充当提醒。然而,将描述与源代码进行比较的困难、头戴设备的限制,以及偏离常规 IDE 操作习惯的控制方式,都可能带来额外的负担。这些探索性发现明确了注意力支持的需求:让摘要易于识别和访问,保留对原始代码的直接检查,并维持熟悉的导航与编辑实践。该研究通过展示输入通道的协调与 AI 生成表征必须考虑用户的注意力、验证需求以及既有的工作方式,为人本多模态系统作出了贡献。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Human-Computer Interaction · arxiv.org

相关事件

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。