マイクロソフトの研究者は、「小さなハリー・ポッターの本」モデルから未学習の特定の情報を近似する手法を提案しました。
モデルは、それに最も関連するトークンを特定するようにトレーニングされ、トレーニングなしで代替予測に基づいてベースライン モデルを微調整しました。
これにより、モデルは基本的にハリー関連のコンテンツを再作成または想起することが可能になった、と研究者らは述べた。
さらに、ARC、BoolQ、Winogrande などの標準ベンチマークにおけるモデルのパフォーマンスは影響を受けないままであると付け加えました。
コメント