![](https://venturebeat.com/wp-content/uploads/2023/10/cfr0z3n_child_wizard_with_dark_hair_and_glasses_waves_a_wand_an_5e85ac77-f867-4fde-84ed-22aa8c214dc4.png?w=1200&strip=all)
マイクロソフトの研究者は、「小さなハリー・ポッターの本」モデルから未学習の特定の情報を近似する手法を提案しました。
モデルは、それに最も関連するトークンを特定するようにトレーニングされ、トレーニングなしで代替予測に基づいてベースライン モデルを微調整しました。
これにより、モデルは基本的にハリー関連のコンテンツを再作成または想起することが可能になった、と研究者らは述べた。
さらに、ARC、BoolQ、Winogrande などの標準ベンチマークにおけるモデルのパフォーマンスは影響を受けないままであると付け加えました。
コメント