法律から借用して基礎モデルのトレーニング データをフィルタリングする from venturebeat.com

「トレーニング前のデータをフィルタリングするための、より原理的な方法はないかと考えました」と Henderson 氏は言います。
次に、Pile of Law が、プライバシーと毒性に特に焦点を当てた事前トレーニング データをフィルタリングする原則的な方法を特定するのに役立つかどうかを調査しました。
そこで彼らは、裁判所や政府がプライバシーと透明性のバランスをとるために使用する基準を特定し、Pile of Law でこれらの基準を暗黙的に使用することで、データ フィルタリングへの微妙なアプローチにつながるかどうかをテストすることにしました。
彼らは、モデルの設計者がトレーニング データをフィルタリングするために適用できる明確なルールをいくつか見つけました。
ヘンダーソンと彼のチームは、Pile of Law をトレーニング データとして使用して、モデルがこれらのコンテキスト化された標準を学習できるかどうかをテストすることにしました。
Pile of Law を使用して、法的推論が可能な基礎モデルを構築することです。