MITの研究者たちは、「自己適応型言語モデル(Self-Adapting Language Models)」と呼ばれるフレームワークを開発しました。
このフレームワークは、大規模言語モデルが内部パラメータを更新することで継続的に学習・適応することを可能にします。
このフレームワークは強化学習アルゴリズムを用いてモデルを学習し、新しい情報を吸収して新しいタスクを学習できるようにします。
このフレームワークは、学習なしで80%の成功率を達成し、標準的な文脈内学習結果の0%を達成しました。
SEALは、LLMが独自の合成重み更新を生成することも可能にします。
コメント