スタンフォード大学の研究は、言語モデルに関する仮定に疑問を呈する: 文脈が大きいほど理解が深まるわけではない from venturebeat.com

スタンフォード大学、カリフォルニア大学バークレー校、サマヤ AI による研究では、大規模な言語モデルは、より長いコンテキスト ウィンドウで与えられた関連情報にアクセスして使用することができないことが判明しました。
この研究では、関連情報が入力コンテキストの最初または最後に出現する場合に、LLM が最もパフォーマンスが高いことがわかりました。
ただし、明示的に長いコンテキスト モデルであっても、コンテキストが長くなるとパフォーマンスが低下すると研究では付け加えられています。