Philip's blog

[p208p2002]

https://blog.philip-huang.tech/?page=IA3

- tags: 論文筆記 PEFT IA3 - date: 2023/12/05

論文連結: Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning

摘要

少樣本情境學習（ICL）使預先訓練的語言模型能夠在沒有基於梯度的訓練的情況下執行以前未見的任務，方法是將少量的訓練示例作為輸入的一部分。ICL 產生相當大的計算、記憶體和存儲成本，因為它涉及在每次進行預測時處理所有的訓練示例。參數高效微調（PEFT）（例如適配器模塊、提示微調、稀疏更新方法等）提供了一種替代範式，其中訓練一小組參數以使模型能夠執行新任務。

雖然 PEFT 的優勢解決了微調相對於 ICL 的一些不足，但相對於極少標記數據的情況下，對於 PEFT 方法是否能夠很好地工作，目前相對較少的關注。本文的主要目標是通過提出一種配方（即模型、PEFT