一直以来,设计用于移动端视觉模型主要有两种方法:
一种是手工设计轻量级的网络结构,如ShuffleNet、MobileNetV3等已取得一定的进展。
不过钟钊团队研究发现这些模型的卷积核之间仍然存在冗余,限制了模型的速度。
另一种是方法进行模型压缩,通过剪枝、蒸馏等手段获得一个与大模型结构相似的小模型。
但这种方法又会使精度下降,难以满足高端手机的要求。
钟钊来到华为后,带领团队提出过一种根据图像的内容自适应生成卷积核的动态方法。
这种方法可以在保持精度的情况下显著降低计算量,对于不同的CNN网络可以降低37%-71.3%不等。
此外在数据增强方面,钟钊在华为也研究了一种对抗性自动数据增强方法,发表在2020年ICLR上。
而如今这些研究成功的背后,也离不开钟钊本人一直的努力。