热点事件持续更新
分块可加性何时失效?诊断并修复基于蒸馏的架构搜索中的可加性假设
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
该预印本关注基于蒸馏的架构搜索中“分块可加性”假设的适用边界。研究在 DeiT 架构搜索任务中发现,当压缩预算为 55%–40% 时,分块可加性假设明显失效;研究提示,在此条件下采用混合搜索可以更低的成本取得优于成对建模的表现。上述结论来自尚未经同行评审的预印本,且限于 DeiT 架构搜索与相应压缩预算范围,不宜推广到其他模型、任务或压缩比例。
AI 根据报道生成 · 2 小时前更新
最新进展11月6日 13:00
预印本报告:DeiT 搜索中 55%–40% 压缩预算下分块可加性明显失效,混合搜索更优。报道时间线
沿着报道,了解事件的不同侧面。
11月6日
- arXiv · Neural and Evolutionary Computing分块可加性何时失效?诊断并修复基于蒸馏的架构搜索中的可加性假设
在 DeiT 架构搜索中,分块可加性假设在 55%-40% 压缩预算下明显失效,混合搜索以更低成本优于成对建模。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。