本文分享自华为云社区《SAM适配下游任务的探究：SAM Adapter》，作者：Hint。
近期大模型的涌现给AI研究带来显著的发展，META的工作Segment Anything（SAM），就是其中一个为图像分割任务设计的基础大模型。SAM是一种交互型的图像分割大模型，通过提供的prompt如点、框、文本描述等粗略的提示，就可以分割出图像中指定的目标，其demo的效果十分惊艳。然而在某些特殊场景的图片上并不会带来如此惊艳的效果，可能是由训练数据的差异性导致，比如阴影检测、伪装目标检测。但SAM强大的分割能力依然可以作为我们微调模型的基础，更好地为下游任务服务。
本文介绍的方法SAM Adapter[2]，设计了一个Adapter模，它可以在不微调SAM网络的情况下，通过简单而有效的适配器，将领域特定的信息或视觉提示注入到分割网络中，从而提高SAM在特定任务上的性能。该论文在多个任务和数据集上进行了广泛的实验，包括ISTD阴影检测数据集、COD10K、CHAMELEON和CAMO伪装物体检测数据集，以及kvasir-SEG息肉分割（医学图像分割）数据集。实验结果表明，SAM-Adapter不仅显著提升了SAM的性能，而且在这些任务上达到了最先进的水平。
如上图所示，该模型使用了SAM的Image Encoder和Masked Decoder，其中Image Encoder冻结了参数，Decoder是参与梯度回传的。这样可以有效利用SAM已经预训练好的分割能力，同时Decoder更新参数以适配下游任务。此外作者引入了Adaptor模块，用于引入特殊任务的知识，辅助微调模型。Adaptor的网络结构仅有两层MLP层构成，其输入的知识可以是多种多样的，对于文中的任务，其输入可以是纹理信息或者是频率信息等。各种信息用下面的权重来均衡。
作者在多个数据集上进行实验，从以下的实验结果来看，该方法的性能在下游任务中达到SOTA效果，相比原始的SAM提升效果显著，作者也证明了Adaptor模块的有效性。
[1]Kirillov A, Mintun E, Ravi N, et al. Segment anything[J]. arXiv preprint arXiv:2304.02643, 2023.
[2]Chen T, Zhu L, Ding C, et al. SAM Fails to Segment Anything?--SAM-Adapter: Adapting SAM in Underperformed Scenes: Camouflage, Shadow, and More[J]. arXiv preprint arXiv:2304.09148, 2023.