跳到正文
原文
arXiv · Human-Computer Interaction· Eduard Barbu, Rodion Krjutškov, Anneli Uusküla
· 1 天前

评估医疗场景中的对话式可解释性:比较可解释性助手与传统 XAI 仪表板

Evaluating Conversational Explainability in Healthcare: Comparing the Explainability Assistant and a Traditional XAI Dashboard

预印本 · 尚未经过同行评审

AI 导读

5 名医疗背景被试对比对话式可解释性助手与仪表板,两者各有优劣,无明确偏好。

摘要 · AI 翻译

对话式界面可能使可解释人工智能(XAI)更容易被不具备机器学习专业知识的用户所使用,但在医疗保健领域,其相对于仪表板的优势仍未得到充分刻画。现有系统通常是在孤立状态下被评估的,因而无法明确对话式交互是否能在底层解释方法之外提升可解释性。我们报告了一项被试内用户研究,比较了可解释性助手(Explainability Assistant,一个基于 LLM 函数调用的对话式 XAI 系统)与传统仪表板在解释一个基于 Cleveland Heart Disease 数据集训练的心脏病分类模型时的表现。两个界面均暴露相同的决策树分类器和事后解释方法:SHAP 特征归因、DiCE 反事实以及 what-if 分析。该设计支持在保持模型和解释方法不变的情况下比较交互模态。五名具有医疗保健背景的参与者(从医学生到执业临床医生和公共卫生研究人员)在两个界面上完成了平行任务区块;其中三人参加了后续访谈。任务准确率、Likert 评分、自由文本问卷回答和访谈揭示出互补的优势与劣势,而非对任一模态的明确偏好。助手提供了更低的进入门槛和针对患者的解释,而仪表板支持对全局与局部信息的同时查看。所有三名访谈参与者都建议将对话式和仪表板元素整合到单一临床工作流程中。

中文由 AI 翻译,仅供参考,以原文为准。

来源:arXiv · Human-Computer Interaction · arxiv.org

相关事件