RAG リアリティ チェック: 新しいオープンソース フレームワークにより、企業は AI パフォーマンスを科学的に測定できるようになります from venturebeat.com

Open RAG Eval フレームワークは、エンタープライズ プラットフォーム プロバイダーである Vectara によって 2018 年 10 月に開始されました。
このフレームワークは、エンタープライズ AI システム全体の検索精度、生成品質、幻覚率を評価します。
「測定できなければ、改善することはできません」と Vectara CEO の Am Awadallah 氏は述べています。
さらに、このフレームワークは、組み込みモデル、検索システム、チャンキング戦略などがどのように相互作用して、評価結果に基づいた最終出力を生成するかについての可視性を提供します。