推出 ReTiNA-Cinema:通过生成式 AI 实现实时神经增强电影
Introducing ReTiNA-Cinema: Real-Time Neuro-Augmented Cinema via Generative AI
预印本 · 尚未经过同行评审
ReTiNA-Cinema 将实时 EEG 与 Stable Diffusion Turbo 结合,按脑电特征调节电影画面。
生成式人工智能(AI)目前正在革新各类媒体中的内容创作。在那些担心它将取代人类创造力的人与那些仅将其视为工具的人之间,创意产业中的许多人开始将生成式 AI 视为合作者。然而,与这些系统的交互往往依赖于离散的、基于轮次的提示,这可能打断心流并将表达限制于符号文本。我们探索将生理信号作为无需显式命令的连续适应来源,作为通往具身共创的一条路径。本文提出 ReTiNA-Cinema,一个方法学概念验证,将脑电图(EEG)与生成式 AI 相结合,实现对电影材料的生理引导视觉调制。通过将生理活动与影片不断演变的外观相连接,该系统为探索具身意义建构提供了基础,其中观看者的身体反应参与塑造他们用以解读展开场景的感官体验。该系统将实时 EEG 信号处理与基于 Stable Diffusion Turbo 的生成式 AI 流水线相结合,用于帧级图像变换。单用户和双用户配置将 EEG 衍生特征映射到提示选择和变换强度。ReTiNA-Cinema 提供了一个框架,用于探索观看者的生理活动如何可能影响影片的视觉呈现,拓展了参与电影体验与叙事的可能性。该系统引发了关于参与度、感知能动性和情绪反应方面影响的问题,这些问题仍有待未来的实证研究。视频示例:https://www.youtube.com/playlist?list=PLMu36WzSQKiVeBnrUdwUAoUhqLqGX3_bw,实现:https://github.com/KairosHive/retina-cinema。
中文由 AI 翻译,仅供参考,以原文为准。
来源:arXiv · Human-Computer Interaction · arxiv.org