跳到正文
热点事件持续更新

分块可加性何时失效?诊断并修复基于蒸馏的架构搜索中的可加性假设

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

该预印本关注基于蒸馏的架构搜索中“分块可加性”假设的适用边界。研究在 DeiT 架构搜索任务中发现,当压缩预算为 55%–40% 时,分块可加性假设明显失效;研究提示,在此条件下采用混合搜索可以更低的成本取得优于成对建模的表现。上述结论来自尚未经同行评审的预印本,且限于 DeiT 架构搜索与相应压缩预算范围,不宜推广到其他模型、任务或压缩比例。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. arXiv · Neural and Evolutionary Computing
    分块可加性何时失效?诊断并修复基于蒸馏的架构搜索中的可加性假设

    在 DeiT 架构搜索中,分块可加性假设在 55%-40% 压缩预算下明显失效,混合搜索以更低成本优于成对建模。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。

PsyBrain 脑心前沿

让每一位脑科学探索者,都不再独行。