ControlAnything：由编码智能体实现的混合现实手部交互生成式 UI 与按需设备集成

将混合现实（MR）中的手部输入连接到附近的物理设备，通常需要预先为该设备、其传输方式及映射关系编写集成代码。ControlAnything 将这一集成推迟到使用时刻，并交由编码智能体完成。在 Meta Quest 3 上，佩戴者选择一个由 SAM 3.1 勾勒出轮廓的物体，并说明其手部应控制什么。随后，一个基于 Meta 的 Muse Spark 模型构建的智能体在佩戴者的笔记本电脑上编写连接器程序，通过手写的 MIDI、蓝牙和按键传输方式对实时设备进行测试，并返回增强现实（AR）控件、逐帧手部程序或两者兼有。这些输出是生成式 UI 的一种形式，即由 AI 模型创建的界面；在这里，智能体还生成并测试将界面绑定到物理设备的代码。在一项以作者为唯一佩戴者的单次会话技术评估中，针对五个目标的十个请求中有九个达到就绪状态，佩戴者中止了一个。达到就绪的中位时间为 32.5 秒（范围 24.9–57.8 秒，不含语音转写）；顺序模型调用占该时间的中位数为 89.9%，且 91.7% 的输入 token 来自提示缓存。该系统的成功证据仅延伸到传输确认，而未延伸到物理效果。这些发现指出，连接器复用以及通过头显自身传感器观察效果，是 MR 中按需设备集成的下一步方向。一项针对首次佩戴者的用户研究正在计划中。

中文由 AI 翻译，仅供参考，以原文为准。