LLM 驱动音色生成与插值中的结构与表征能动性

生成式创意界面通常会报告用户在一个可能性空间中的位置。这类显示暗示所展示的数值是从产物中测量得到的；而在一类日益增多的系统中，这些数值实际上是由语言模型描述自身输出所预测的，二者在屏幕上无法区分。大多数创意领域缺乏一种公认的测量标准来核验这种自我报告；音频领域则具备一种。在一项针对可工作的、由 LLM 驱动的音色界面的测量研究中，用户能够引发的结果被证明可与界面所报告的内容相分离。前者可以被精确刻画：可达集是参数空间中的一个 zonotope（环带体），其维度每放置一个声音就增加一，因此模型可能在其中作用的这个空间可证明是用户自己的。后者则不准确。显示的位置与测量值相差约该区域宽度的三倍，且误差有两个独立来源：模型预测的坐标，其准确度在所评估的两个模型之间相差两倍；以及插值步骤，它源于合成器参数的组合，不受模型质量影响。端到端来看，36 条细化指令中有 27 条未产生可感知的变化，而在较弱模型下，该设施未执行任何操作却报告收敛。因此，有效能动性（用户能够引发什么）与认知能动性（用户能否知道它）是可分离的，并且是独立设计的：结构性强制约束能在模型失效时依然成立，而依赖模型自身报告的保证则不能。仍然存在的失效模式是把沉默呈现为成功。我们最后给出一个用于构建和审计此类显示的简短协议。

中文由 AI 翻译，仅供参考，以原文为准。